Miten lähestytte informaation käsitettä? Shannon määritteli sen entropian kautta, Fisher käytti jatkuvalla tavalla derivaattaa. Informaatiolle on kai äärettömästi määritelmiä. Kiinnostaa erityisesti Shannonin informaatio.
Miksi juuri entropia on
H = -\sum_i p(x_i) log_2 (p(x_i))
Jotenkin tämä liittyy mikroskooppisten tilojen suhteeseen makroskooppisiin tiloihin.
Miksi juuri entropia on
H = -\sum_i p(x_i) log_2 (p(x_i))
Jotenkin tämä liittyy mikroskooppisten tilojen suhteeseen makroskooppisiin tiloihin.
Vastaukset 2
Vanhimmat
... tuo, koska niin on sovittu. Niin sovittiin siksi, että entropia täyttäisi tietyt yksinkertaiset ja intuitiiviset ehdot, joilla taataan että se mittaa epäjärjestyksen määrää ja että se on luku välillä 0 ja 1.
Itse asiassa tuo entropian määritelmä on ainoa määritelmä, joka täyttää ne ehdot.
En tiedä, mitä ajatuskulkuja pitkin juuri Shannon pääsi teoriaansa, mutta axioomista pääsee entropiaan:
-permutaatiosymmetrisyys
-H_2(1/2, 1/2)=1
-H_{k 1}(tp_1,(1-t)p_1,p_2,...,p_k)=
H_k(p_1,...,p_k) p_1H_2(t,1-t)
-monotonisuus väleillä (0,0.5) ja (0.5,1)