Ihan tuore, eiliselle päivätty, hyvin luettava dokumentti HTM-algoritmista.
http://www.numenta.com/htm-overview/education/HTM_CorticalLearningAlgorithms.pdf
Ymmärrettävän selostuksen ja pseudokoodien avulla voi kuka tahansa riittävät hoksottimet omaava alkaa toteuttaa oma projektiaan, jossa sovelletaan uusinta ymmärrystaä siitä, miten nisäkkäiden aivokuori tulkitsee aistihavaintoja, mallintaa todellisuutta ja ennakoi tilanteita. Dokumentti oli jo viime viikolla osoitteessa, mutta sitä ilmeiseti vielä hiotaan, koska tämänpäiväinen on päivätty eiliselle. Tämä asiasisältö voi olla tärkeimpiä mitä on vuosiin nähty koko tieteen ja tekniikan kentässä.
http://www.numenta.com/htm-overview/education/HTM_CorticalLearningAlgorithms.pdf
Ymmärrettävän selostuksen ja pseudokoodien avulla voi kuka tahansa riittävät hoksottimet omaava alkaa toteuttaa oma projektiaan, jossa sovelletaan uusinta ymmärrystaä siitä, miten nisäkkäiden aivokuori tulkitsee aistihavaintoja, mallintaa todellisuutta ja ennakoi tilanteita. Dokumentti oli jo viime viikolla osoitteessa, mutta sitä ilmeiseti vielä hiotaan, koska tämänpäiväinen on päivätty eiliselle. Tämä asiasisältö voi olla tärkeimpiä mitä on vuosiin nähty koko tieteen ja tekniikan kentässä.
Vastaukset 7
Vanhimmat
Mielenkiintoisin asia tuossa oli sparse distributed representation, eli havainnon esittäminen pelkistetyssä muodossa. Väitettiin että aistitiedosta voidaan "rikastaa" muutaman prosentin osuus tietoa, joka riittää ulkoisen maailman kulloisenkin tilanteen kuvaamiseen!
Melkein kaikki taide ja muu ei-symbolinen viestintä perustuu pelkistämiseen. Esim. liikennemerkissä käytetään muutamasta monikulmiosta koostuvaa yksiväristä hirven siluetti. Hahmon tunnistaminen ei helpotu yhtään, vaikka tolpassa näytettäisiin teräväpiirtoista stereovideokuvaa hirvestä, tai tien viereen tuotaisiin täytetty hirvi.
Carl Barksia arvostetaan kai siksi että hän osasi karsia kuvista kaikki epäolennaiset, ja käyttää tarvittaessa siluettia. En tiedä sitten onko taiteessa pelkistämisellä muukin tarkoitus kuin turhan työn vähentäminen ja yleensäkin tarinan kertominen rajoitetuin keinoin, mutta nämähän ovat tähän asti olleet olennaisia taitoja. Ehkä tekniikalla itsellään on nykyään isompi rooli, kuin pelkistämisellä.
"Mielenkiintoisin asia tuossa oli sparse distributed representation, eli havainnon esittäminen pelkistetyssä muodossa. Väitettiin että aistitiedosta voidaan "rikastaa" muutaman prosentin osuus tietoa, joka riittää ulkoisen maailman kulloisenkin tilanteen kuvaamiseen!"
Niin no, tämä on peruslähtökohta ihan kaikessa insinööritieteissä, mukaanlukien koneoppiminen. Eli ideana on aina esittää monimutkainen asia "projektiona" yksinkertaisimpien asioiden yhdistelmälle. Matemaattisesti näitä yksinkertaisempia asioita kutsutaan aliavaruuksiksi, jotka ovat aina lähtökohtana. Kyllähän se maallikolle kuulostaa uudelta asialta mutta... Oikeasti kyllä joskus tuntuu siltä että asioiden perusteet unohtuvat ihmisiltä ajan kuluessa ja asiat keksitään aina vaan uudestaan.
"Niin no, tämä on peruslähtökohta ihan kaikessa insinööritieteissä, mukaanlukien koneoppiminen. Eli ideana on aina esittää monimutkainen asia "projektiona" yksinkertaisimpien asioiden yhdistelmälle."
Monilla aloilla on tietenkin päällekkäisyyttä. Mutta lähtökohdassasi ei olekaan kyse aistihavainnon, vaan asian esittämisestä, kuten sanot. Insinööri ei pidättäydy siinä miltä jokin asia näyttää jonkin aistimen tai mittaussuureiden kautta, vaan näkee asian mallina mielessään. Koneoppimisessa systeemi on pelkän aistitiedon varassa.
Don Rosa piirtää sarjakuvia insinöörimäisesti, mutta hän ei pelkistä "näkemäänsä" samaan tapaan kuin Barks. Hän käyttää malleja, jotka perustuvan Barksin pelkistyksiin. Rosan jälki ei ole elävää, vaan konemaista.
http://fi.wikipedia.org/wiki/Impressionismi
"ideana on aina esittää monimutkainen asia "projektiona" yksinkertaisimpien asioiden yhdistelmälle"
Jep. Koko HTM-hierarkia on alusta asti ollut juuri tämän ajatuksen mukaista. Mutta Numentan porukalla meni vuosia keksiä, että vanha "isoäitineuroni-idea" ei ole hyvä. Aivokuoren yksi taso ei esitä tunnistettua tila- tai sekvenssihahmoa yhdellä aktiivisella neuronilla eikä edes muutaman neuronin yhdistelmällä, vaan "tuhlaamalla" rinnakkaista signaalikaistaa ainakin pinnallisesti katsoen kohtuuttomasti. Hahmo viedään muille tasoille, hierarkiassa ylös alas ja sivuille, käyttäen satoja tai tuhansia aksoneja, joista vain muutama prosentti kerrallaan on aktiivinen. Tällä menettelytavalla voitetaan enemmän kuin hävitään. Mutta ehkä on liioittelua kopioida lukuja liian tarkkaan biologiasta. Bioaivoilla on sekä varaa, että tarvetta liioitellun redundanssin harrastamiseen. Esim SW-toteutuksella ei ole varaa, eikä yhtä paljon tarvettakaan muistin ja prosessointikapasiteetin tuhlailuun. Seuraavaksi on edessä optimointivaihe. Linkin paperi myöntää tämän.
Niin no minun pitää lukea tuo vielä muutaman kerran läpi, jotta en sotke käsitteitä...
Isoäitineuronin olemassaolo on hieman ihmetyttänyt minua koko ajan. Aivojen representaatio ei voi perustua sen varaan, että isoäiti olisi kokoajan yksi ja sama jakamaton asia. Maailma on monimutkaisempi, ja aivojen on pitäydyttävä vain aistihavainnoissa. Sen päällä sitten voidaan leikkiä vaikka minkälaisia kielellisiä, ontologisia ajatusleikkejä isoäidistä.
Ilmeisesti kieli hämää tässä. Isoäitiä ei tunneta, vaan tunnetaan vain miten isoäiti ilmenee maailmassa aisteillemme.
"Sen päällä sitten voidaan leikkiä vaikka minkälaisia kielellisiä, ontologisia ajatusleikkejä isoäidistä."
"Päällä" ei ollut ihan oikein sanottu, koska mielestäni aivoissa itsessään ei ole mitään ontologiaa, vaan se on kielessä. Kielihän opitaan erillisenä aistihavaintoina muiden havaintojen rinnalle. Vähän kuten sarjakuvissa kieli on puhekuplissa kuvan rinnalla. Ehkä on kieliä, joista puuttuu ontologinen kieli ja samoin koko ontologia. Uskonnot ovat puhdasta kieltä. Tai "sanaa", kuten useimmin sanotaan. Kieli tuo ajatteluun logiikan ja filosofian.
Britteinsaarten 1600-luvun empirismi ymmärsi mielestäni ennen kaikkea aivojen toimintaa, vaikka ei niinkään loogista ajattelua. Tämän tietopohjan myötä Yhdistynyt kuningaskunnasta on tullut populaarikulttuurin supervalta.
toivottavasti sopinee että tälläisen tähän tyrkkään ;)
Ray Kurzweil: The Mind and How to Build One
by Singularity Institute
Will we ever create an accurate simulation of the human mind? Can we detect and measure consciousness? When will artificial intelligence surpass human intelligence?
http://vimeo.com/18073142