Mitä entropia info.teoriassa on?

edelliseen.

Kohta, jossa ei ole enää oikeaa ja väärää, vaan kaiken tarkoituksenmukaisuus. Informaation tarkoituksenmukaisuus. Kun meidän ei tarvitse enää 'kiistellä' asioista ja niiden laidoista keskenämme, vaan hyväksymme jokaisen näkökannan oikeana. Ymmärrämme tämän pelimme monet kasvot... ulottuvuudetkin, ja tiedämme tietävämme tässä pisteessä (entropia lähenee nollaa).... niin, paljon ainakin. Olemme menneet kaksinaisuuden 'tuolle puolen' tavallaan. Emme erottele hyvää sanaa huonosta, eri ilmaisemistapoja hyvinä tai huonoina, vain ns. erilaisina. Kumoamme sanan, sanojen mahdin toisinsanoen.... Eli löydämme totuuden siitä, että sana on aina paradoksi. Sana itsessään ei ole se, joka oikeuttaa tekoon toinen toisiamme kohtaan, eli käytämme sanojamme monesti 'tekosyynä' myös tällaisilla palstoilla kirjoitellessamme, että pääsisimme toinen toistemme 'kimppuun'.... ne saatanatkin, joita ei taida muutoin olla olemassa kuin meidän teoissamme toisiamme kohtaan, kuitenkin ihmisen toimiessa kaikessa inhimillisyydessään. Eli ei taida olla saatanakaana sen varsinaisessa merkityksessä sitäkään... vain toinen toistaan hassumpia ihmisiä tekoineen. Ja kun informaatioentropia tulee kohti täydellistä järjestystä, osaamme lukea tätäkin muotoon tuotua informaatiota eri silmin, kuunnella eri korvin, ymmärtää eri ymmärryksin jne. Niin on symbolista ja vertauskuvallista elämä lopuiltaan, jopa tiede. Elämänsatu.

" ---(informaatio) hajoaa koko ajan vain yhä pienempiin ja pienempiin osatekijöihinsä kunnes on jakaantunut niin laajalle, että saavuttaa järjestyksen, eli etenee kohti nolla-tilaa, joka on täydellinen järjestys. Ja näin ollen palaset loksahtelevat paikoilleen. Piste, jossa informaatiopalapeli on ratkaistu"

Toivottavasti ketjussa käy ketjun aloitajalle samoin, eli kokonaiskuva hahmottuu mitä tähän informaatioentropiaan tulee :). Tämä ketju on mainio esimerkki aiheesta.

'Eikö kukaan osaa vastata täälläkään, vaikka täällä pitäisi olla tieteeseen perehtyneitä ihmisiä.'

- Miksi niin päättelet? Onhan täällä, mutta tiedettä on niin monenlaista. Pitäisikö täältä löytyä erityisesti informaatioteorian asiantuntijoita? Ei, täältä pitäisi löytyä ateisteja. Miksi et menisi kysymään teismi-osastoilta entropiasta, sillä yhtä hyvällä oletuksella sieltä pitäisi löytyä vastauksia.

Jos et ymmärrä mitä tietosanakirjassa asiasta esitetään ja et vieläkään ymmärrä vaikka se sinulle selitetään kansantajuisesti, niin syyhän on tietysti siinä, että muut eivät osaa asiaansa, eikö vain.

Ei ole lainkaan mahdollista, että et pysty sitä ymmärtämään tai viitsi perehtyä asiaan ja analysoimalla selvittää se itsellesi.

Hyi muut! Kyllä te olette sitten yksinkertaisia!

Phoebus kirjoitti:

Jos et ymmärrä mitä tietosanakirjassa asiasta esitetään ja et vieläkään ymmärrä vaikka se sinulle selitetään kansantajuisesti, niin syyhän on tietysti siinä, että muut eivät osaa asiaansa, eikö vain.

Ei ole lainkaan mahdollista, että et pysty sitä ymmärtämään tai viitsi perehtyä asiaan ja analysoimalla selvittää se itsellesi.

Hyi muut! Kyllä te olette sitten yksinkertaisia!

Lue lisää

"Jos et ymmärrä mitä tietosanakirjassa asiasta esitetään ja et vieläkään ymmärrä vaikka se sinulle selitetään kansantajuisesti, niin syyhän on tietysti siinä, että muut eivät osaa asiaansa, eikö vain. "

Katsoin wikipedian artikkelia aiheesta ja siellä se on selitetty varsin selkeästi, joten on aika kummallista, että aloittaja ei sitä ymmärrä. Syy taitaa olla siinä, että hänellä ei ole riittäviä lähtötietoja ja yrityksenä on kiertää oikea asian ymmärtäminen. Joskus on pakko nähdä vaivaa, että ymmärtäisi asioita ja kaikkea ei voi saada suoraan tarjottimella.

taas kysyt samaa ? kirjoitti:

'Eikö kukaan osaa vastata täälläkään, vaikka täällä pitäisi olla tieteeseen perehtyneitä ihmisiä.'

- Miksi niin päättelet? Onhan täällä, mutta tiedettä on niin monenlaista. Pitäisikö täältä löytyä erityisesti informaatioteorian asiantuntijoita? Ei, täältä pitäisi löytyä ateisteja. Miksi et menisi kysymään teismi-osastoilta entropiasta, sillä yhtä hyvällä oletuksella sieltä pitäisi löytyä vastauksia.

Lue lisää

Täältä pitäisi löytyä tosiaan ateisteja, mutta eikö ateistien pitäisi olla tieteellisesti hyvin sivistyneitä ihmisiä, jotka pysytvät näistä entropia-aiheistakin keskustelemaan vaikka väitellessään kreationistien kanssa.

infojanoinen kirjoitti:

Täältä pitäisi löytyä tosiaan ateisteja, mutta eikö ateistien pitäisi olla tieteellisesti hyvin sivistyneitä ihmisiä, jotka pysytvät näistä entropia-aiheistakin keskustelemaan vaikka väitellessään kreationistien kanssa.

Lue lisää

"Täältä pitäisi löytyä tosiaan ateisteja, mutta eikö ateistien pitäisi olla tieteellisesti hyvin sivistyneitä ihmisiä"

Onhan täällä sinulle vastattukin.

"pysytvät näistä entropia-aiheistakin keskustelemaan vaikka väitellessään kreationistien kanssa. "

Kyllä me pystymmekin, mutta harvemmin informaatioteorian entropialla on merkitystä niissä keskusteluissa, koska yleensä käsitellään biologiaa, kemiaa, fysiikkaa jne.

infojanoinen kirjoitti:

Täältä pitäisi löytyä tosiaan ateisteja, mutta eikö ateistien pitäisi olla tieteellisesti hyvin sivistyneitä ihmisiä, jotka pysytvät näistä entropia-aiheistakin keskustelemaan vaikka väitellessään kreationistien kanssa.

Lue lisää

Täällä vaikuttavia ateisteja kuten Siino kiinnostavat tärkeämmät asiat kuten pieru ja pyhähenki sekä pohtiminen tuleeko jeesuksia kamelin perseestä

126 osua asian ytimeen...hukkaamalla nippelitietoatietoa hahmottaa kokonaiskuvan. Jos olet itse perehtynyt kyseiseen alueeseen niin sen pitäisi aukeaa sinulle

_137_ kirjoitti:

126 osua asian ytimeen...hukkaamalla nippelitietoatietoa hahmottaa kokonaiskuvan. Jos olet itse perehtynyt kyseiseen alueeseen niin sen pitäisi aukeaa sinulle

"126 osua asian ytimeen...hukkaamalla nippelitietoatietoa hahmottaa kokonaiskuvan. Jos olet itse perehtynyt kyseiseen alueeseen niin sen pitäisi aukeaa sinulle "

New Age hörhöily ei ole mitään kokonaiskuvan hahmottamista vaan hörhöilyä.

ertert kirjoitti:

"126 osua asian ytimeen...hukkaamalla nippelitietoatietoa hahmottaa kokonaiskuvan. Jos olet itse perehtynyt kyseiseen alueeseen niin sen pitäisi aukeaa sinulle "

New Age hörhöily ei ole mitään kokonaiskuvan hahmottamista vaan hörhöilyä.

Lue lisää

pidä itseäni New Age hörhöilijänä, en uskovaisena sanan varsinaisessa merkityksessä jona monet sen vieläkin ehkä ymmärtävät, en ole tiedeasiantuntija, en liioin minkään muunkaan informaatiohaaramme asiantuntija :). Mutta silti voisin sanoa olevani kaikkea... minäkin, jopa ateisti. :). Olen opiskellut milloin mitäkin, joista jäänyt plakkariin aina jotakin, kuten meistä kuka tahansa :). Elämä on myös opettanut, eikä ole muuta tarvinnut kuin olla virrassa.... elämän virrassa.

Joten eiköpähän meistä jokaisesta tuokin kaikki löytyne, eli informaation muotoon tuoden koko paketti ykkösiä ja nollia.

Selvennän hiukan tuota informaatioentropiaa vielä, eli vedän hatusta nämä vastaukseni, en luen mistään ns. valmiita vastauksia. Eli entropia on siis sitä epäjärjestyksen määrää aina jossakin 'systeemissä' (myös tuo aiempi omakin vastaukseni on tätä samaa informaation määrää tässä ko. systeemissä), jossa emme hahmota tätä kaikkea informaatiota jostakin syystä enää. Sitä on liikaa, se on liiaksi pilkkoutunutta ehkä liian pieniin 'ei samoin hahmotettaviin' osiin jne. Tämän päivän informaatiomäärä on jo niin valtaisaa, ettei yksi ihminen sitä pysty millään hahmottamaan, juuri sitä nippelitietoa kaikkea omaksumaan, mutta kun oppii integroimaan suurempina kokonaisuuksina... löytää ns. punaisen langan, joka tämän kaiken nippelitiedon yhdistää yhdeksi joksikin.. ja katoaa tämä epäjärjestys... blaah. No joo. Eli täydellinen tasapaino. Oma ymmärrys... kun myös bitit 1 ja 0 ovat yhtä ja samaa. Analoginen digitaalista ja päinvastoin. En osaa tätä tämän paremmin itsellenikään selventää.. ;)

126 kirjoitti:

pidä itseäni New Age hörhöilijänä, en uskovaisena sanan varsinaisessa merkityksessä jona monet sen vieläkin ehkä ymmärtävät, en ole tiedeasiantuntija, en liioin minkään muunkaan informaatiohaaramme asiantuntija :). Mutta silti voisin sanoa olevani kaikkea... minäkin, jopa ateisti. :). Olen opiskellut milloin mitäkin, joista jäänyt plakkariin aina jotakin, kuten meistä kuka tahansa :). Elämä on myös opettanut, eikä ole muuta tarvinnut kuin olla virrassa.... elämän virrassa.

Joten eiköpähän meistä jokaisesta tuokin kaikki löytyne, eli informaation muotoon tuoden koko paketti ykkösiä ja nollia.

Selvennän hiukan tuota informaatioentropiaa vielä, eli vedän hatusta nämä vastaukseni, en luen mistään ns. valmiita vastauksia. Eli entropia on siis sitä epäjärjestyksen määrää aina jossakin 'systeemissä' (myös tuo aiempi omakin vastaukseni on tätä samaa informaation määrää tässä ko. systeemissä), jossa emme hahmota tätä kaikkea informaatiota jostakin syystä enää. Sitä on liikaa, se on liiaksi pilkkoutunutta ehkä liian pieniin 'ei samoin hahmotettaviin' osiin jne. Tämän päivän informaatiomäärä on jo niin valtaisaa, ettei yksi ihminen sitä pysty millään hahmottamaan, juuri sitä nippelitietoa kaikkea omaksumaan, mutta kun oppii integroimaan suurempina kokonaisuuksina... löytää ns. punaisen langan, joka tämän kaiken nippelitiedon yhdistää yhdeksi joksikin.. ja katoaa tämä epäjärjestys... blaah. No joo. Eli täydellinen tasapaino. Oma ymmärrys... kun myös bitit 1 ja 0 ovat yhtä ja samaa. Analoginen digitaalista ja päinvastoin. En osaa tätä tämän paremmin itsellenikään selventää.. ;)

Lue lisää

Tämä on sitä New Age hörhöilyä puhtaimmillaan (kts. alla). Jos aloituksessa kysytään jotain asiaa, ei ole mitään järkeä vastata sellaisella hölynpölyllä, mitä sinä olet tänne kirjoitellut.

"Voidaan ymmärtää niin että se (informaatio) hajoaa koko ajan vain yhä pienempiin ja pienempiin osatekijöihinsä kunnes on jakaantunut niin laajalle, että saavuttaa järjestyksen, eli etenee kohti nolla-tilaa, joka on täydellinen järjestys. Ja näin ollen palaset loksahtelevat paikoilleen. Piste, jossa informaatiopalapeli on ratkaistu, ja ihmiset heräävät. Kun emme enää erottele, vaan osaamme yhdistää, ja näemme koko elämämme tarkoituksen informaatioineen. "

ertert kirjoitti:

Tämä on sitä New Age hörhöilyä puhtaimmillaan (kts. alla). Jos aloituksessa kysytään jotain asiaa, ei ole mitään järkeä vastata sellaisella hölynpölyllä, mitä sinä olet tänne kirjoitellut.

"Voidaan ymmärtää niin että se (informaatio) hajoaa koko ajan vain yhä pienempiin ja pienempiin osatekijöihinsä kunnes on jakaantunut niin laajalle, että saavuttaa järjestyksen, eli etenee kohti nolla-tilaa, joka on täydellinen järjestys. Ja näin ollen palaset loksahtelevat paikoilleen. Piste, jossa informaatiopalapeli on ratkaistu, ja ihmiset heräävät. Kun emme enää erottele, vaan osaamme yhdistää, ja näemme koko elämämme tarkoituksen informaatioineen. "

Lue lisää

mielipiteeni tähänkin on se, että ihminen joka itse ei jotakin jostakin syystä välttämättä ymmärrä, pitää sitä jotakin mahdollisesti 'hölynpölynä', tai jollakin muulla tavalla epänormaalina yms. Tai mikäli jotakin asiaa ei ole valtaväestön keskuudessa hyväksi havaittu niin sitä ei samoin hyväksytä ennen kuin siitä itsessään tulee tätä samaista 'valtavirtaa', olipa sitten kyseessä mikä tahansa informaatioonkin liittyvä osa-alue. Informaatioonhan tämäkin kaikki pohjimmiltaan perustuu, eli niihin ykkösiin ja nolliin, eli maailmankaikkeus. Ja sama tieteen teorioinnissa, ensin mielikuvituksen matkassa luodaan näitä mahdollisia hypoteesejakin, jotka sitten kokein laitetaan toimimaan, eli luodaan teoria joka toimii. Mutta jokainen taplaa tavallaan.

126 kirjoitti:

mielipiteeni tähänkin on se, että ihminen joka itse ei jotakin jostakin syystä välttämättä ymmärrä, pitää sitä jotakin mahdollisesti 'hölynpölynä', tai jollakin muulla tavalla epänormaalina yms. Tai mikäli jotakin asiaa ei ole valtaväestön keskuudessa hyväksi havaittu niin sitä ei samoin hyväksytä ennen kuin siitä itsessään tulee tätä samaista 'valtavirtaa', olipa sitten kyseessä mikä tahansa informaatioonkin liittyvä osa-alue. Informaatioonhan tämäkin kaikki pohjimmiltaan perustuu, eli niihin ykkösiin ja nolliin, eli maailmankaikkeus. Ja sama tieteen teorioinnissa, ensin mielikuvituksen matkassa luodaan näitä mahdollisia hypoteesejakin, jotka sitten kokein laitetaan toimimaan, eli luodaan teoria joka toimii. Mutta jokainen taplaa tavallaan.

Lue lisää

Juuri tuollaiset "ihmisten heräämiset" ja "elämän tarkoitukset" eivät ole mitään tieteellistä informaatioteoriaa vaan New Age-juttua, joka ei kuulu tänne.

infojanoinen kirjoitti:

Juuri tuollaiset "ihmisten heräämiset" ja "elämän tarkoitukset" eivät ole mitään tieteellistä informaatioteoriaa vaan New Age-juttua, joka ei kuulu tänne.

kuulua sinäkään tänne.

... kirjoitti:

kuulua sinäkään tänne.

Tiedekysymyksistä keskustelu liittyy ateismiin kiinteästi, sillä tiede on uskottavan ateismin kivijalka.

Tästä syystä tämä aihe kuuluu tänne. Kunpa vain saisin parempia vastauksia. No, luultavasti sellaisiakin vielä tulee.

infojanoinen kirjoitti:

Tiedekysymyksistä keskustelu liittyy ateismiin kiinteästi, sillä tiede on uskottavan ateismin kivijalka.

Tästä syystä tämä aihe kuuluu tänne. Kunpa vain saisin parempia vastauksia. No, luultavasti sellaisiakin vielä tulee.

Lue lisää

>Tiedekysymyksistä keskustelu liittyy ateismiin kiinteästi, sillä tiede on uskottavan ateismin kivijalka.>

Miten niin?

Ja toinen kysymys: Miksi olet vielä täällä? Pätemässä aiheesta joka ei palstalle kuulu? Mikset menisi Matkailu-palstalle? Entropian ja informaatiotieteen käsitteistön tieteellinen analysointi on tunnetusti uskottavan matkailun kivijalka.

infojanoinen kirjoitti:

Tiedekysymyksistä keskustelu liittyy ateismiin kiinteästi, sillä tiede on uskottavan ateismin kivijalka.

Tästä syystä tämä aihe kuuluu tänne. Kunpa vain saisin parempia vastauksia. No, luultavasti sellaisiakin vielä tulee.

Lue lisää

"sillä tiede on uskottavan ateismin kivijalka. "

Höpöhöpö.

"Kunpa vain saisin parempia vastauksia."

Ehkä sinun olisi syytä hieman itse ottaa selvää, koska ei se asia kovin vaikea ole, jos olet edes jonkin verran siihen liittyvästä matematiikasta selvillä. Jos olet tietotekniikkaan suuntautunut, miltä vaikuttaa, on asian todelliseksi ymmärtämiseksi syytä myös ymmärtää sen perusteina käytettävää matematiikkaa. Wikipedian sivuilla on asia selvitetty selkeinä tilastomatemaattisina yhtälöinä ja vielä sanallisin esimerkein höystettynä.

Kenties sinulla on hiukan epäselvää, mitä tilastomatematiikan määritteillä tarkoitetaan ja mitä ovat tilastolliset mallit?

"mikä matemaattinen päättely oikeuttaa tuon määritelmän, kun nyt tuo log-määritelmä tuntuu "hatusta vedetyltä"."

Koska se on sitä. Se on määritelmä. Samaisessa wikipedian artikkelissa selitetään, miksi se on haluttu määritellä niin. Epävarmuus on määritetty logaritmifunktiona, koska silloin epävarmuudet voidaan laskea yhteen. Kahden tapahtuma-avaruuden mahdolliset tulokset kerrotaan, jolloin saadaan niiden yhteinen tapahtuma-avaruus -> kun epävarmuus on määritelty logaritmiksi, voidaan muuttujien epävarmuudet laskea yhteen.

"Eikö pitäisi ajatella, että tällöinkin yhdellä heitolla saamme täyden bitin uutta informaatiota."

"vaan myös sitä missä suhteessa häiriöitä sisältävän kanavan läpi on mahdollista lähettää niin, että alkuperäinen viesti todennäköisesti pystytään purkamaan kanavan läpi saadusta viestistä, jota kanavan sisältämät häiriöt ovat sotkeneet. "

Jep. Oliko sinulla jokin kysymys?

Huomaa, että kyse entropian määritelmässä oli siitä, miten ennustettava tuleva informaatio on, ei pelkästään tapahtuma-avaruuden koosta. Kyseessä on siis todennäköisyydestä riippuva funktio, ei pelkästään informaation määrästä.

"Mihin päättelyyn perustuvat sellaiset entropian määrittelyn "laajennukset" kuten "ehdollinen entropia" ("conditional entropy") ja "entropia-aste" ("entropy rate"). "

Ehdollisessa entropiassa yhden muuttujan entropia on riippuvainen toisen muuttujan tuloksesta.
Entropia-aste on keskimääräinen muuttujien keskimääräinen entropia.

ertert kirjoitti:

"mikä matemaattinen päättely oikeuttaa tuon määritelmän, kun nyt tuo log-määritelmä tuntuu "hatusta vedetyltä"."

Koska se on sitä. Se on määritelmä. Samaisessa wikipedian artikkelissa selitetään, miksi se on haluttu määritellä niin. Epävarmuus on määritetty logaritmifunktiona, koska silloin epävarmuudet voidaan laskea yhteen. Kahden tapahtuma-avaruuden mahdolliset tulokset kerrotaan, jolloin saadaan niiden yhteinen tapahtuma-avaruus -> kun epävarmuus on määritelty logaritmiksi, voidaan muuttujien epävarmuudet laskea yhteen.

"Eikö pitäisi ajatella, että tällöinkin yhdellä heitolla saamme täyden bitin uutta informaatiota."

"vaan myös sitä missä suhteessa häiriöitä sisältävän kanavan läpi on mahdollista lähettää niin, että alkuperäinen viesti todennäköisesti pystytään purkamaan kanavan läpi saadusta viestistä, jota kanavan sisältämät häiriöt ovat sotkeneet. "

Jep. Oliko sinulla jokin kysymys?

Huomaa, että kyse entropian määritelmässä oli siitä, miten ennustettava tuleva informaatio on, ei pelkästään tapahtuma-avaruuden koosta. Kyseessä on siis todennäköisyydestä riippuva funktio, ei pelkästään informaation määrästä.

"Mihin päättelyyn perustuvat sellaiset entropian määrittelyn "laajennukset" kuten "ehdollinen entropia" ("conditional entropy") ja "entropia-aste" ("entropy rate"). "

Ehdollisessa entropiassa yhden muuttujan entropia on riippuvainen toisen muuttujan tuloksesta.
Entropia-aste on keskimääräinen muuttujien keskimääräinen entropia.

Lue lisää

"
Koska se on sitä. Se on määritelmä. Samaisessa wikipedian artikkelissa selitetään, miksi se on haluttu määritellä niin.
"

Määritelmiä nyt voidaan asettaa vaikka kuinka esim. (P^4) log(sin(P) 4) (2^P). Eri asia onkin se, että millainen määritelty käsite on hyödyllinen jatkokehittelyjen kannalta.

"
kun epävarmuus on määritelty logaritmiksi, voidaan muuttujien epävarmuudet laskea yhteen.
"

Tämä kuulostaa jo vähän paremmalta, mutta mitä hyötyä tuosta yhteenlaskettavuudestakaan sinänsä on, koska siinä vain sanotaan sama asia kahdella eri tavalla. (Muunnos on helppo ja suoraviivainen. Lukiossa jo opimme logaritmin ja sen, että log(AB)=log(A) log(B))

Käsittääkseni lopullisen oikeutuksensa informaatioteorian entropian määritelmä saa vasta pakkautuvuutta koskevan tuloksen yhteydessä, mutta tämän tuloksen tarkempi kuvaus ja perustelu olisi kiva.

"
Jep. Oliko sinulla jokin kysymys?
"

No, kysymys on lähinnä siinä, että miksiköhän tuota puolta ei (ainakaan näkemissäni) aiemmissa netin vastaavissa keskusteluissa ole mainittu. Kysymys on myös se, että mitä entropialla tarkalleen ottaen tuossa häiriöllisessä kanavassa tarkoitetaan ja mitä sen saama arvo mittaa. Vielä parempi olisi sen perustelu, että miksi (millainen päättely todistaa tämän) se mittaa juuri sitä mitä sen väitetään mittaavan.

"
Huomaa, että kyse entropian määritelmässä oli siitä, miten ennustettava tuleva informaatio on,
"

Puhuminen pelkästä ennustettavuudesta on ainakin minusta liian epämääräistä. Sillä ennustettavuudella pitäisi olla selvempi konkreettinen yhteys esim. pakkautuvuuden arvoon, jotta epämääräinen "ennustettavuus" tulisi konkreettisemmaksi.

"
ei pelkästään tapahtuma-avaruuden koosta. Kyseessä on siis todennäköisyydestä riippuva funktio, ei pelkästään informaation määrästä.
"

Mielestäni olen kyllä tämän jo aiemmassa kirjoituksessani huomannutkin huomauttamalla, että kaikki jonot eivät ole yleensä yhtä todennäköisiä, vaan esimerkiksi jos P(A)=0.9 ja P(B)=0.1 , niin jono AAAAA on paljon todennäköisempi kuin jono BBBBB.

Miten tästä huomiosta eteenpäin pakkautuvuutta koskeviin tuloksiin, siinä kysymykseni.

"
Ehdollisessa entropiassa yhden muuttujan entropia on riippuvainen toisen muuttujan tuloksesta.
Entropia-aste on keskimääräinen muuttujien keskimääräinen entropia.
"

Kyllä, määritelminä, mutta mitä hyötyä tällaisista käsitteistä on? Mihin niitä voi käyttää?

Entisten lukiokavereitteni kanssa vaan tuli puhe entropiasta ja erityisesti nousi esiin kysymys siitä, että mitä se oikeastaan tarkoittaa informaatioteorian yhteydessä.

infojanoinen kirjoitti:

"
Koska se on sitä. Se on määritelmä. Samaisessa wikipedian artikkelissa selitetään, miksi se on haluttu määritellä niin.
"

Määritelmiä nyt voidaan asettaa vaikka kuinka esim. (P^4) log(sin(P) 4) (2^P). Eri asia onkin se, että millainen määritelty käsite on hyödyllinen jatkokehittelyjen kannalta.

"
kun epävarmuus on määritelty logaritmiksi, voidaan muuttujien epävarmuudet laskea yhteen.
"

Tämä kuulostaa jo vähän paremmalta, mutta mitä hyötyä tuosta yhteenlaskettavuudestakaan sinänsä on, koska siinä vain sanotaan sama asia kahdella eri tavalla. (Muunnos on helppo ja suoraviivainen. Lukiossa jo opimme logaritmin ja sen, että log(AB)=log(A) log(B))

Käsittääkseni lopullisen oikeutuksensa informaatioteorian entropian määritelmä saa vasta pakkautuvuutta koskevan tuloksen yhteydessä, mutta tämän tuloksen tarkempi kuvaus ja perustelu olisi kiva.

"
Jep. Oliko sinulla jokin kysymys?
"

No, kysymys on lähinnä siinä, että miksiköhän tuota puolta ei (ainakaan näkemissäni) aiemmissa netin vastaavissa keskusteluissa ole mainittu. Kysymys on myös se, että mitä entropialla tarkalleen ottaen tuossa häiriöllisessä kanavassa tarkoitetaan ja mitä sen saama arvo mittaa. Vielä parempi olisi sen perustelu, että miksi (millainen päättely todistaa tämän) se mittaa juuri sitä mitä sen väitetään mittaavan.

"
Huomaa, että kyse entropian määritelmässä oli siitä, miten ennustettava tuleva informaatio on,
"

Puhuminen pelkästä ennustettavuudesta on ainakin minusta liian epämääräistä. Sillä ennustettavuudella pitäisi olla selvempi konkreettinen yhteys esim. pakkautuvuuden arvoon, jotta epämääräinen "ennustettavuus" tulisi konkreettisemmaksi.

"
ei pelkästään tapahtuma-avaruuden koosta. Kyseessä on siis todennäköisyydestä riippuva funktio, ei pelkästään informaation määrästä.
"

Mielestäni olen kyllä tämän jo aiemmassa kirjoituksessani huomannutkin huomauttamalla, että kaikki jonot eivät ole yleensä yhtä todennäköisiä, vaan esimerkiksi jos P(A)=0.9 ja P(B)=0.1 , niin jono AAAAA on paljon todennäköisempi kuin jono BBBBB.

Miten tästä huomiosta eteenpäin pakkautuvuutta koskeviin tuloksiin, siinä kysymykseni.

"
Ehdollisessa entropiassa yhden muuttujan entropia on riippuvainen toisen muuttujan tuloksesta.
Entropia-aste on keskimääräinen muuttujien keskimääräinen entropia.
"

Kyllä, määritelminä, mutta mitä hyötyä tällaisista käsitteistä on? Mihin niitä voi käyttää?

Entisten lukiokavereitteni kanssa vaan tuli puhe entropiasta ja erityisesti nousi esiin kysymys siitä, että mitä se oikeastaan tarkoittaa informaatioteorian yhteydessä.

Lue lisää

"Määritelmiä nyt voidaan asettaa vaikka kuinka"

Niin voidaan, mutta käytännöllisyys onkin sitten aivan eri asia.

"Tämä kuulostaa jo vähän paremmalta, mutta mitä hyötyä tuosta yhteenlaskettavuudestakaan sinänsä on, koska siinä vain sanotaan sama asia kahdella eri tavalla."

Koita soveltaa sitä entropiaan, niin ehkä se sinulle selvenee. Jos huomaat, on kyseessä summa, jonka muuttujina/alkioina on tn-massafunktio ja epävarmuuden funktio. Nyt tuota joukkoa on helppo käsitellä (lisätä jne.) ja se täyttää kaikki entropian määritelmän vaatimukset.


"Käsittääkseni lopullisen oikeutuksensa informaatioteorian entropian määritelmä saa vasta pakkautuvuutta koskevan tuloksen yhteydessä"

Ei, kyllä perustelu on ihan käytännöllinen muutenkin.

"No, kysymys on lähinnä siinä, että miksiköhän tuota puolta ei (ainakaan näkemissäni) aiemmissa netin vastaavissa keskusteluissa ole mainittu."

Ehkä sinä olet keskustellut ihmisten kanssa, jotka ovat kiinnostuneempia pakkausalgoritmeista kuin signaalinkäsittelystä. Informaation kannalta niissä ei ole eroa.

"Kysymys on myös se, että mitä entropialla tarkalleen ottaen tuossa häiriöllisessä kanavassa tarkoitetaan ja mitä sen saama arvo mittaa."

Se mittaa ihan sitä samaa asiaa kuin mitä tähän mennessä on käsitelty.

"Vielä parempi olisi sen perustelu, että miksi (millainen päättely todistaa tämän) se mittaa juuri sitä mitä sen väitetään mittaavan. "

Informaatiolla on tietty tilastollinen jakauma. Siksi siitä voidaan tehdä erilaisia sitä kuvaavia malleja ja sitä jakaumaa kuvaavia arvoja voidaan määrittää.

"Sillä ennustettavuudella pitäisi olla selvempi konkreettinen yhteys esim. pakkautuvuuden arvoon, jotta epämääräinen "ennustettavuus" tulisi konkreettisemmaksi. "

Ennustettavuus liittyy pakkautuvuuteen ihan konkreettisesti sillä tavalla, että me voimme laskea pakatusta informaatiosta tietyillä siihen sopivilla algoritmeilla, mitä informaatiota se tietyllä todennäköisyydellä esittää. Jos entropia on pieni, voimme helpommin ennustaa, mitä seuraavan informaation palanen pitää sisällään.

"Mielestäni olen kyllä tämän jo aiemmassa kirjoituksessani huomannutkin huomauttamalla, että kaikki jonot eivät ole yleensä yhtä todennäköisiä, vaan esimerkiksi jos P(A)=0.9 ja P(B)=0.1 , niin jono AAAAA on paljon todennäköisempi kuin jono BBBBB. "
Sinä kirjoitit:
"Eikö pitäisi ajatella, että tällöinkin yhdellä heitolla saamme täyden bitin uutta informaatiota."

Entropiastahan tässä on ollut koko ajan kyse, ei pelkistä biteistä, joten älä juutu siihen. Älä sotke keskenään tilastollista informaation määrää ja muuttujan informaation määrää.

"Kyllä, määritelminä, mutta mitä hyötyä tällaisista käsitteistä on? Mihin niitä voi käyttää? "

Niitä voi käyttää hyväksi vaikkapa siinä informaation pakkaamisessa.

"Entisten lukiokavereitteni kanssa vaan tuli puhe entropiasta ja erityisesti nousi esiin kysymys siitä, että mitä se oikeastaan tarkoittaa informaatioteorian yhteydessä. "

Kannattaa opiskella lisää matematiikkaa, niin ehkä se siitä aukeaa. Esimerkiksi informaation käsittely on usein stokastinen prosessi ja siinä erilaisilla informaatiota kuvaavilla luvuilla on merkityksensä.

ertert kirjoitti:

"Määritelmiä nyt voidaan asettaa vaikka kuinka"

Niin voidaan, mutta käytännöllisyys onkin sitten aivan eri asia.

"Tämä kuulostaa jo vähän paremmalta, mutta mitä hyötyä tuosta yhteenlaskettavuudestakaan sinänsä on, koska siinä vain sanotaan sama asia kahdella eri tavalla."

Koita soveltaa sitä entropiaan, niin ehkä se sinulle selvenee. Jos huomaat, on kyseessä summa, jonka muuttujina/alkioina on tn-massafunktio ja epävarmuuden funktio. Nyt tuota joukkoa on helppo käsitellä (lisätä jne.) ja se täyttää kaikki entropian määritelmän vaatimukset.


"Käsittääkseni lopullisen oikeutuksensa informaatioteorian entropian määritelmä saa vasta pakkautuvuutta koskevan tuloksen yhteydessä"

Ei, kyllä perustelu on ihan käytännöllinen muutenkin.

"No, kysymys on lähinnä siinä, että miksiköhän tuota puolta ei (ainakaan näkemissäni) aiemmissa netin vastaavissa keskusteluissa ole mainittu."

Ehkä sinä olet keskustellut ihmisten kanssa, jotka ovat kiinnostuneempia pakkausalgoritmeista kuin signaalinkäsittelystä. Informaation kannalta niissä ei ole eroa.

"Kysymys on myös se, että mitä entropialla tarkalleen ottaen tuossa häiriöllisessä kanavassa tarkoitetaan ja mitä sen saama arvo mittaa."

Se mittaa ihan sitä samaa asiaa kuin mitä tähän mennessä on käsitelty.

"Vielä parempi olisi sen perustelu, että miksi (millainen päättely todistaa tämän) se mittaa juuri sitä mitä sen väitetään mittaavan. "

Informaatiolla on tietty tilastollinen jakauma. Siksi siitä voidaan tehdä erilaisia sitä kuvaavia malleja ja sitä jakaumaa kuvaavia arvoja voidaan määrittää.

"Sillä ennustettavuudella pitäisi olla selvempi konkreettinen yhteys esim. pakkautuvuuden arvoon, jotta epämääräinen "ennustettavuus" tulisi konkreettisemmaksi. "

Ennustettavuus liittyy pakkautuvuuteen ihan konkreettisesti sillä tavalla, että me voimme laskea pakatusta informaatiosta tietyillä siihen sopivilla algoritmeilla, mitä informaatiota se tietyllä todennäköisyydellä esittää. Jos entropia on pieni, voimme helpommin ennustaa, mitä seuraavan informaation palanen pitää sisällään.

"Mielestäni olen kyllä tämän jo aiemmassa kirjoituksessani huomannutkin huomauttamalla, että kaikki jonot eivät ole yleensä yhtä todennäköisiä, vaan esimerkiksi jos P(A)=0.9 ja P(B)=0.1 , niin jono AAAAA on paljon todennäköisempi kuin jono BBBBB. "
Sinä kirjoitit:
"Eikö pitäisi ajatella, että tällöinkin yhdellä heitolla saamme täyden bitin uutta informaatiota."

Entropiastahan tässä on ollut koko ajan kyse, ei pelkistä biteistä, joten älä juutu siihen. Älä sotke keskenään tilastollista informaation määrää ja muuttujan informaation määrää.

"Kyllä, määritelminä, mutta mitä hyötyä tällaisista käsitteistä on? Mihin niitä voi käyttää? "

Niitä voi käyttää hyväksi vaikkapa siinä informaation pakkaamisessa.

"Entisten lukiokavereitteni kanssa vaan tuli puhe entropiasta ja erityisesti nousi esiin kysymys siitä, että mitä se oikeastaan tarkoittaa informaatioteorian yhteydessä. "

Kannattaa opiskella lisää matematiikkaa, niin ehkä se siitä aukeaa. Esimerkiksi informaation käsittely on usein stokastinen prosessi ja siinä erilaisilla informaatiota kuvaavilla luvuilla on merkityksensä.

Lue lisää

Nähtävästi sinä kyllä tiedät näistä asioista, mutta et viitsi ryhtyä kovin pitkästi selittämään. Kommentoin vielä muutamaa kohtaa.

"
Ei, kyllä perustelu on ihan käytännöllinen muutenkin
"

Minun mielestäni määritelmän oikeutus kyllä vaatisi muutakin kuin sen, että summautuvuutta on helppo käsitellä.

"
Ehkä sinä olet keskustellut ihmisten kanssa, jotka ovat kiinnostuneempia pakkausalgoritmeista kuin signaalinkäsittelystä.
"

Voi olla, mutta luulen myös, että moni vastaa tällaisiin kysymyksiin pätemisentarvettaan eikä hän itsekään kovin hyvin ymmärrä asiaa, ja tästä syystä hän osaa vain puhua jotain entropian ja pakkautuvuuden yhteydestä. En väitä, että tämä koskisi juuri sinua.

"
Informaatiolla on tietty tilastollinen jakauma. Siksi siitä voidaan tehdä erilaisia sitä kuvaavia malleja ja sitä jakaumaa kuvaavia arvoja voidaan määrittää.
"

Tuo oli vastaus siihen, kun olin itse sanonut

"Vielä parempi olisi sen perustelu, että miksi (millainen päättely todistaa tämän) se mittaa juuri sitä mitä sen väitetään mittaavan. "

Ilmaisin ehkä itseni vähän huonosti, mutta jokatapauksessa tarkoitin tuolla sitä, että mitä muutakin tuohon kanavaan sovellettuna entropia mittaa kuin pelkästään itseään. (=määritelmänsä mukainen arvo) Onko häiriöllisen kanavan yhteydessä entropian arvolla jotain tekemistä kanssa sen kuinka hyvällä "hyötysuhteella" voi kanavan läpi luotettavasti lähettää. Tätä kysymystä tarkoitin sanoessani "se mittaa juuri sitä mitä sen väitetään mittaavan". Lisäksi mietin sitä, että onko kanavan kohdalla käytettävä jonkinlaista muuta entropiaa kuin klassista -Plog(P) - summaa. Lisäksi tulee sekin kysymys, että jos tällaisen entropian arvolla on jokin yhteys kanavan kapasiteettiin (Kutsun kapasiteetiksi sitä arvoa, jolla kanavasta voi vielä luotettavasti lähettää.), tämä yhteys pitää kaiketi matemaattisesti todistaa eikä se seuraa aivan suoraan entropian summautuvuus-ominaisuudesta. Olen kuullut sanottavan, että Shannonin julkaisema kuuluisa tutkielmakaan ei sisältänäyt kaikkiin väitteisiin täydellisiä todistuksia, vaan täydelliset todistukset löydettiin vasta myöhemmin.

"
Entropiastahan tässä on ollut koko ajan kyse, ei pelkistä biteistä, joten älä juutu siihen. Älä sotke keskenään tilastollista informaation määrää ja muuttujan informaation määrää.
"

Jos tarkoitat muuttujan informaation määrällä sitä, että en huomioisi todennäköisyyksistä tulevaa "painotusta", en olekaan sotkenut pitkään aikaan. Esimerkiksi pienellä todennäköisyydellä tulevat kymmenen bittiä merkitsee odotusarvon kannalta paljon vähemmän kuin suurella todennäköisyydellä tulevat viisi bittiä. Kysymys kuuluukin, että miten tästä huomiosta eteenpäin. Jos käytössä esimerkiksi on painotettu kolikko, jolla P(A)=0.9 ja P(B)=0.1, voidaanko todennäköisyyseron perusteella käytännössä jättää tietyt jonot huomiotta (esimerkiksi pitkä BBB...BBBB on hyvin epätodennäköinen), ja juuri tätäkautta saada pakkautuvuutta varaamalla lyhyet bittijonot merkitsemään todennäköisesti saatavia tuloksia.

"
Kannattaa opiskella lisää matematiikkaa, niin ehkä se siitä aukeaa. Esimerkiksi informaation käsittely on usein stokastinen prosessi ja siinä erilaisilla informaatiota kuvaavilla luvuilla on merkityksensä.
"

Kirjoitin pari vuotta sitten pitkästä matematiikasta E:n, ja luultavasti ensi syksynä menen opiskelemaan teknistieteellistä alaa. Nyt kuitenkin satuin parin vanhan lukiotuttuni kanssa yhteen ja puhuimme entropiasta ihan yleistajuisen tiedon pohjalta, jolloin huomasimme, että ei meistä kellään tainnut olla edes sitä yleistajuista ymmärrystä aiheesta tarpeeksi. Pakko kyllä sanoa, että en sitä juurikaan lisää täältäkään saanut.

infojanoinen kirjoitti:

Nähtävästi sinä kyllä tiedät näistä asioista, mutta et viitsi ryhtyä kovin pitkästi selittämään. Kommentoin vielä muutamaa kohtaa.

"
Ei, kyllä perustelu on ihan käytännöllinen muutenkin
"

Minun mielestäni määritelmän oikeutus kyllä vaatisi muutakin kuin sen, että summautuvuutta on helppo käsitellä.

"
Ehkä sinä olet keskustellut ihmisten kanssa, jotka ovat kiinnostuneempia pakkausalgoritmeista kuin signaalinkäsittelystä.
"

Voi olla, mutta luulen myös, että moni vastaa tällaisiin kysymyksiin pätemisentarvettaan eikä hän itsekään kovin hyvin ymmärrä asiaa, ja tästä syystä hän osaa vain puhua jotain entropian ja pakkautuvuuden yhteydestä. En väitä, että tämä koskisi juuri sinua.

"
Informaatiolla on tietty tilastollinen jakauma. Siksi siitä voidaan tehdä erilaisia sitä kuvaavia malleja ja sitä jakaumaa kuvaavia arvoja voidaan määrittää.
"

Tuo oli vastaus siihen, kun olin itse sanonut

"Vielä parempi olisi sen perustelu, että miksi (millainen päättely todistaa tämän) se mittaa juuri sitä mitä sen väitetään mittaavan. "

Ilmaisin ehkä itseni vähän huonosti, mutta jokatapauksessa tarkoitin tuolla sitä, että mitä muutakin tuohon kanavaan sovellettuna entropia mittaa kuin pelkästään itseään. (=määritelmänsä mukainen arvo) Onko häiriöllisen kanavan yhteydessä entropian arvolla jotain tekemistä kanssa sen kuinka hyvällä "hyötysuhteella" voi kanavan läpi luotettavasti lähettää. Tätä kysymystä tarkoitin sanoessani "se mittaa juuri sitä mitä sen väitetään mittaavan". Lisäksi mietin sitä, että onko kanavan kohdalla käytettävä jonkinlaista muuta entropiaa kuin klassista -Plog(P) - summaa. Lisäksi tulee sekin kysymys, että jos tällaisen entropian arvolla on jokin yhteys kanavan kapasiteettiin (Kutsun kapasiteetiksi sitä arvoa, jolla kanavasta voi vielä luotettavasti lähettää.), tämä yhteys pitää kaiketi matemaattisesti todistaa eikä se seuraa aivan suoraan entropian summautuvuus-ominaisuudesta. Olen kuullut sanottavan, että Shannonin julkaisema kuuluisa tutkielmakaan ei sisältänäyt kaikkiin väitteisiin täydellisiä todistuksia, vaan täydelliset todistukset löydettiin vasta myöhemmin.

"
Entropiastahan tässä on ollut koko ajan kyse, ei pelkistä biteistä, joten älä juutu siihen. Älä sotke keskenään tilastollista informaation määrää ja muuttujan informaation määrää.
"

Jos tarkoitat muuttujan informaation määrällä sitä, että en huomioisi todennäköisyyksistä tulevaa "painotusta", en olekaan sotkenut pitkään aikaan. Esimerkiksi pienellä todennäköisyydellä tulevat kymmenen bittiä merkitsee odotusarvon kannalta paljon vähemmän kuin suurella todennäköisyydellä tulevat viisi bittiä. Kysymys kuuluukin, että miten tästä huomiosta eteenpäin. Jos käytössä esimerkiksi on painotettu kolikko, jolla P(A)=0.9 ja P(B)=0.1, voidaanko todennäköisyyseron perusteella käytännössä jättää tietyt jonot huomiotta (esimerkiksi pitkä BBB...BBBB on hyvin epätodennäköinen), ja juuri tätäkautta saada pakkautuvuutta varaamalla lyhyet bittijonot merkitsemään todennäköisesti saatavia tuloksia.

"
Kannattaa opiskella lisää matematiikkaa, niin ehkä se siitä aukeaa. Esimerkiksi informaation käsittely on usein stokastinen prosessi ja siinä erilaisilla informaatiota kuvaavilla luvuilla on merkityksensä.
"

Kirjoitin pari vuotta sitten pitkästä matematiikasta E:n, ja luultavasti ensi syksynä menen opiskelemaan teknistieteellistä alaa. Nyt kuitenkin satuin parin vanhan lukiotuttuni kanssa yhteen ja puhuimme entropiasta ihan yleistajuisen tiedon pohjalta, jolloin huomasimme, että ei meistä kellään tainnut olla edes sitä yleistajuista ymmärrystä aiheesta tarpeeksi. Pakko kyllä sanoa, että en sitä juurikaan lisää täältäkään saanut.

Lue lisää

"Minun mielestäni määritelmän oikeutus kyllä vaatisi muutakin kuin sen, että summautuvuutta on helppo käsitellä. "

Matematiikka on työkalu. Kun siitä on hyötyä, ei sinun mielipiteesi paljon paina vaakakupissa.

"En väitä, että tämä koskisi juuri sinua. "

Minä käsittelen asiaa lähinnä yleiseltä kannalta, en yksittäisten sovellusten kautta.

"Ilmaisin ehkä itseni vähän huonosti, mutta jokatapauksessa tarkoitin tuolla sitä, että mitä muutakin tuohon kanavaan sovellettuna entropia mittaa kuin pelkästään itseään."

Se mittaa sen informaation ennustettavuutta. Johan tätä on käsitelty.

"Onko häiriöllisen kanavan yhteydessä entropian arvolla jotain tekemistä kanssa sen kuinka hyvällä "hyötysuhteella" voi kanavan läpi luotettavasti lähettää."

Aika vaikea sanoa, kun en voi tietää, mitä tarkoitat "hyötysuhteella". Jos kanavaan lähetettävän informaation entropia on pieni, voidaan siinä esiintyvät virheet havaita ja korjata helpommin kuin ison entropian informaation.

"Lisäksi tulee sekin kysymys, että jos tällaisen entropian arvolla on jokin yhteys kanavan kapasiteettiin"

Ei sillä suoraan ole. Informaation entropia on sama riippumatta siitä, mitä kanavaa pitkin sitä lähetetään.

"Jos tarkoitat muuttujan informaation määrällä sitä, että en huomioisi todennäköisyyksistä tulevaa "painotusta", en olekaan sotkenut pitkään aikaan."
Kirjoitit:
"Eikö pitäisi ajatella, että tällöinkin yhdellä heitolla saamme täyden bitin uutta informaatiota."

"voidaanko todennäköisyyseron perusteella käytännössä jättää tietyt jonot huomiotta"

Ei voida, koska silloin informaatiota häviää. Meillä on kuitenkin syytä epäillä informaation oikeellisuutta.

"juuri tätäkautta saada pakkautuvuutta varaamalla lyhyet bittijonot merkitsemään todennäköisesti saatavia tuloksia."

Näin sitä voidaan esimerkiksi käyttää.

"Kirjoitin pari vuotta sitten pitkästä matematiikasta E:n"

Lukion matematiikka on enemmänkin laskentoa kuin matematiikan ymmärtämistä.

"jolloin huomasimme, että ei meistä kellään tainnut olla edes sitä yleistajuista ymmärrystä aiheesta tarpeeksi. Pakko kyllä sanoa, että en sitä juurikaan lisää täältäkään saanut. "

Ehkäpä se ei ole mahdollista ennenkuin todella ymmärrät, mitä tilastolliset mallit todella tarkoittavat. Eihän tuo matematiikka asian taustalla ole mitään kovin vaikeaa, jos vaikkapa käyt hieman jonkun teknillisen yliopiston kursseja. Yleistajuisuudessa on se ongelma, että matemaattiset mallit eivät välttämättä ole sillä tavalla helposti hahmotettavissa.

ertert kirjoitti:

"Minun mielestäni määritelmän oikeutus kyllä vaatisi muutakin kuin sen, että summautuvuutta on helppo käsitellä. "

Matematiikka on työkalu. Kun siitä on hyötyä, ei sinun mielipiteesi paljon paina vaakakupissa.

"En väitä, että tämä koskisi juuri sinua. "

Minä käsittelen asiaa lähinnä yleiseltä kannalta, en yksittäisten sovellusten kautta.

"Ilmaisin ehkä itseni vähän huonosti, mutta jokatapauksessa tarkoitin tuolla sitä, että mitä muutakin tuohon kanavaan sovellettuna entropia mittaa kuin pelkästään itseään."

Se mittaa sen informaation ennustettavuutta. Johan tätä on käsitelty.

"Onko häiriöllisen kanavan yhteydessä entropian arvolla jotain tekemistä kanssa sen kuinka hyvällä "hyötysuhteella" voi kanavan läpi luotettavasti lähettää."

Aika vaikea sanoa, kun en voi tietää, mitä tarkoitat "hyötysuhteella". Jos kanavaan lähetettävän informaation entropia on pieni, voidaan siinä esiintyvät virheet havaita ja korjata helpommin kuin ison entropian informaation.

"Lisäksi tulee sekin kysymys, että jos tällaisen entropian arvolla on jokin yhteys kanavan kapasiteettiin"

Ei sillä suoraan ole. Informaation entropia on sama riippumatta siitä, mitä kanavaa pitkin sitä lähetetään.

"Jos tarkoitat muuttujan informaation määrällä sitä, että en huomioisi todennäköisyyksistä tulevaa "painotusta", en olekaan sotkenut pitkään aikaan."
Kirjoitit:
"Eikö pitäisi ajatella, että tällöinkin yhdellä heitolla saamme täyden bitin uutta informaatiota."

"voidaanko todennäköisyyseron perusteella käytännössä jättää tietyt jonot huomiotta"

Ei voida, koska silloin informaatiota häviää. Meillä on kuitenkin syytä epäillä informaation oikeellisuutta.

"juuri tätäkautta saada pakkautuvuutta varaamalla lyhyet bittijonot merkitsemään todennäköisesti saatavia tuloksia."

Näin sitä voidaan esimerkiksi käyttää.

"Kirjoitin pari vuotta sitten pitkästä matematiikasta E:n"

Lukion matematiikka on enemmänkin laskentoa kuin matematiikan ymmärtämistä.

"jolloin huomasimme, että ei meistä kellään tainnut olla edes sitä yleistajuista ymmärrystä aiheesta tarpeeksi. Pakko kyllä sanoa, että en sitä juurikaan lisää täältäkään saanut. "

Ehkäpä se ei ole mahdollista ennenkuin todella ymmärrät, mitä tilastolliset mallit todella tarkoittavat. Eihän tuo matematiikka asian taustalla ole mitään kovin vaikeaa, jos vaikkapa käyt hieman jonkun teknillisen yliopiston kursseja. Yleistajuisuudessa on se ongelma, että matemaattiset mallit eivät välttämättä ole sillä tavalla helposti hahmotettavissa.

Lue lisää

LOGARITMIN OTTAMINEN VIELÄ

Jos asian A esiintymistodennäköisyys on p, niin kuinka suuri luku voisi kuvata
asiaa A (eli kuinka suurella luvulla voitaisiin koodata A) jos tahdotaan, että
koodauksen odotusarvo olisi pienin mahdollinen eli 1.

Selvästi kyseinen luku on 1/p, sillä silloin odotusarvo on 1/p x p =1.
Nyt kyseisen luvun 1/p tarvitsema bittimäärä saadaan logaritmilla
log(1/p)= - log(p)
Ja tästä siis syntyy tuo log(p) ja lisäksi se miinus-merkki sinne määritelmän alkuun.
log on tässä 2-kantainen logaritmi, mutta oikeastaan sama mikä logaritmi, koska lause
eroaa ainoastaan vakiokertoimen verran.

ertert kirjoitti:

"Minun mielestäni määritelmän oikeutus kyllä vaatisi muutakin kuin sen, että summautuvuutta on helppo käsitellä. "

Matematiikka on työkalu. Kun siitä on hyötyä, ei sinun mielipiteesi paljon paina vaakakupissa.

"En väitä, että tämä koskisi juuri sinua. "

Minä käsittelen asiaa lähinnä yleiseltä kannalta, en yksittäisten sovellusten kautta.

"Ilmaisin ehkä itseni vähän huonosti, mutta jokatapauksessa tarkoitin tuolla sitä, että mitä muutakin tuohon kanavaan sovellettuna entropia mittaa kuin pelkästään itseään."

Se mittaa sen informaation ennustettavuutta. Johan tätä on käsitelty.

"Onko häiriöllisen kanavan yhteydessä entropian arvolla jotain tekemistä kanssa sen kuinka hyvällä "hyötysuhteella" voi kanavan läpi luotettavasti lähettää."

Aika vaikea sanoa, kun en voi tietää, mitä tarkoitat "hyötysuhteella". Jos kanavaan lähetettävän informaation entropia on pieni, voidaan siinä esiintyvät virheet havaita ja korjata helpommin kuin ison entropian informaation.

"Lisäksi tulee sekin kysymys, että jos tällaisen entropian arvolla on jokin yhteys kanavan kapasiteettiin"

Ei sillä suoraan ole. Informaation entropia on sama riippumatta siitä, mitä kanavaa pitkin sitä lähetetään.

"Jos tarkoitat muuttujan informaation määrällä sitä, että en huomioisi todennäköisyyksistä tulevaa "painotusta", en olekaan sotkenut pitkään aikaan."
Kirjoitit:
"Eikö pitäisi ajatella, että tällöinkin yhdellä heitolla saamme täyden bitin uutta informaatiota."

"voidaanko todennäköisyyseron perusteella käytännössä jättää tietyt jonot huomiotta"

Ei voida, koska silloin informaatiota häviää. Meillä on kuitenkin syytä epäillä informaation oikeellisuutta.

"juuri tätäkautta saada pakkautuvuutta varaamalla lyhyet bittijonot merkitsemään todennäköisesti saatavia tuloksia."

Näin sitä voidaan esimerkiksi käyttää.

"Kirjoitin pari vuotta sitten pitkästä matematiikasta E:n"

Lukion matematiikka on enemmänkin laskentoa kuin matematiikan ymmärtämistä.

"jolloin huomasimme, että ei meistä kellään tainnut olla edes sitä yleistajuista ymmärrystä aiheesta tarpeeksi. Pakko kyllä sanoa, että en sitä juurikaan lisää täältäkään saanut. "

Ehkäpä se ei ole mahdollista ennenkuin todella ymmärrät, mitä tilastolliset mallit todella tarkoittavat. Eihän tuo matematiikka asian taustalla ole mitään kovin vaikeaa, jos vaikkapa käyt hieman jonkun teknillisen yliopiston kursseja. Yleistajuisuudessa on se ongelma, että matemaattiset mallit eivät välttämättä ole sillä tavalla helposti hahmotettavissa.

Lue lisää

"
Aika vaikea sanoa, kun en voi tietää, mitä tarkoitat "hyötysuhteella". Jos kanavaan lähetettävän informaation entropia on pieni, voidaan siinä esiintyvät virheet havaita ja korjata helpommin kuin ison entropian informaation.
"

Tarkoitan "hyötysuhteella" jotakien senkaltaista, että häiriöllisen kanavan läpi lähetettäessä ilmeisesti alkuperäisen viestin pituutta on ensin kasvatettava, jotta saataisiin siihen redundanssia, ja häiriöiden jälkeenkin alkuperäinen viesti pystyttäisiin todennäköisesti päättelemään. Tunnettu esimerkki on, että jos kanava muuttaa bitin toiseksi todennäköisyydellä P(

infojanoinen kirjoitti:

"
Aika vaikea sanoa, kun en voi tietää, mitä tarkoitat "hyötysuhteella". Jos kanavaan lähetettävän informaation entropia on pieni, voidaan siinä esiintyvät virheet havaita ja korjata helpommin kuin ison entropian informaation.
"

Tarkoitan "hyötysuhteella" jotakien senkaltaista, että häiriöllisen kanavan läpi lähetettäessä ilmeisesti alkuperäisen viestin pituutta on ensin kasvatettava, jotta saataisiin siihen redundanssia, ja häiriöiden jälkeenkin alkuperäinen viesti pystyttäisiin todennäköisesti päättelemään. Tunnettu esimerkki on, että jos kanava muuttaa bitin toiseksi todennäköisyydellä P(

Lue lisää

"Tarkoitan "hyötysuhteella" jotakien senkaltaista, että häiriöllisen kanavan läpi lähetettäessä ilmeisesti alkuperäisen viestin pituutta on ensin kasvatettava, jotta saataisiin siihen redundanssia, ja häiriöiden jälkeenkin alkuperäinen viesti pystyttäisiin todennäköisesti päättelemään."

Ok. Kyllä, mitä isompi on entropia, sitä enemmän viestiin on lisättävä korjaavaa metainformaatiota.

"Tässähän satunnaisuutta tulee nyt kahdesta eri lähteestä, lähettäjältä tulevista symboleista S1,...,Sn ja siitä miten häiriöllinen kanava niitä lähetyksessä muuntaa, jolloin vastaanottajan kannalta vastaanotetun symbolin sisältämä "yllätys" on jonkinlainen yhdistelmä näistä kahdesta."

Ok. Olet aivan oikeassa siinä, että saapuvan informaation entropiaan vaikuttaa sekä alkuperäisen informaation entropia ja kanavan tuottama entropia. Ajattelin sen olevan itsestään selvää. Sitä entropian määritelmää eri entropian lähteet eivät kuitenkaan muuta vaan määritelmän sisäiset funktiot/algoritmit muuttuvat (p(x)) kanavan häiriöiden mukaan. Viittaan siis tähän kirjoittamaasi: "Lisäksi mietin sitä, että onko kanavan kohdalla käytettävä jonkinlaista muuta entropiaa kuin klassista -Plog(P) - summaa."

Toki näiden entropioiden yhdistelmä vaikuttaa kapasiteettiin, koska entropia on ehdollista (conditional entropy) riippuen alkuperäisen informaation koodauksesta.

"Kirjoitin viestiketjun alkupuolella, mutta olen sen jälkeen tekstissäni melko selvästi jättänyt tuon tulkinnan.
"

Ok. Jätetään se siis huomioimatta.

"Puhuinkin "käytännössä" huomiottajättämisestä ja tarkoitin sillä sitä, että olisi jonkinlainen jonojen osajoukko, joka olisi oleellinen pakkautuvuuden arvon kannalta, kun pakkautuvuutta mitataan esimerkiksi odotusarvolla siitä kuinka monta lähetettävää bittiä tarvitaan per lähetetty lähdesymboli."

Mitä pienempi on lähteen entropia, sitä enemmän sitä tietysti voidaan pakata. Koska esimerkkisi entropia on pieni esimerkiksi perinteiseen tapaukseen (painottamaton kolikko) verrattuna, voidaan sitä paremmin pakata eli sillä on suurempi pakkautuvuus. Esittämääsi jonoa ei voida kuitenkaan jättää huomioimatta vain sillä perusteella, että sillä on pieni todennäköisyys.

"Kyllä siinäkin jo saa ja joutuu käyttämään välillä matemaattista kekseliäisyyttä, johon läheskään kaikki lukiokaverini eivät pystyneet. "

Tietysti siinä voidaan käyttää matemaattista kekseliäisyyttä, mutta ei se muuta sitä tosiasiaa, että lukion matematiikka on ennemminkin laskentoa matematiikan todellista ymmärtämistä.

"Aikalailla on kyllä epäselvää se mitä sinä tilastollisilla malleilla tarkoitat. Eivätkö nyt lähtötilanteet ole todennäköisyyden kannalta melko yksinkertaisia, sentyylisiä kuten vaikka painotetut nopan jakauma, esim. (0.1 , 0.3 , 0.1 , 0.2 , 0.2 , 0.1), jossa siis vaikkapa P(tulee 1)=0.1 ja P(tulee 5)=0.2 eikä tarvitse mennä edes todennäköisyyksiin, joiden tarkastelussa tarvitaan integraaleja. "

Kyllä, lähtötilanne on yksinkertainen, mutta ei se vaikuta siihen, ymmärtääkö sitä, mitä erilaiset tilastoa mallintavat ja kuvaavat määritelmät tarkoittavat, kuten esimerkiksi entropia, tässä siis H(X)=E(I(X)).