Tiedon pakkaaminen = ennustaminen = älykkyys

On paljon kivempaa vain ampua termejä ilmaan julistavasti, kuin varsinaisesti istua alas opettelemaan edes perusteita asioista.

"Kannattaisikohan aloittaa ennen tekoälyä jostain ihan perus tietotekniikan kurssista, jossa käsitellään miten yleisimmät pakkausalgoritmit toimivat? Erityisesti LZW voisi avartaa mieltä. "

Aina kannatettavaa, mutta ei nyt oleellista. Hutterin kisassa ei pääse alkua pidemmälle, jos lähtökohtana ovat perinteiset pakkausalgoritmit. Voittoa tavoittelevan algoritmin on todella ymmärrettävä tekstiä aika paljon samalla tavalla kuten ihminen. Sen on osattava muuttaa todennäköisyyksiä asiayhteyden mukaan, perustuen siihen, mitä edellisissä lauseissa, jopa edellisissä kappaleissa puhuttiin. Ainoa ratkaisumalli on hyvin syvä, hierarkinen tekstianalyysi. Hierarkian alimmat tasot tutkivat viereisiä kirjaimia, välitasot sanoja, seuraavat lauseilmauksia, sitä ylemmät lauseyhdistelmiä, virkkeitä, sitä ylemmät vielä isompia kokonaisuuksia, kappaleita sivuja...

Voittavan ohjelman pitää ikäänkuin muodostaa laaja maailmankuva koko Wikipedian sisällöstä, ymmärtää mitä voi olla tulossa edellisen perusteella. Niin toimii ihmisen aivokuori. Pakkausoperaation muistuttaa lapsen oppimista kasvaessaan, vanhetessaan, hankkiessan kokemusta ja jäsentäessään todellisuutta ja sen todennäköisyyksiä. Aivokuori on äärimmäisen kehittynyt "ennustuskone".

UPDATE_6997029 kirjoitti:

"Kannattaisikohan aloittaa ennen tekoälyä jostain ihan perus tietotekniikan kurssista, jossa käsitellään miten yleisimmät pakkausalgoritmit toimivat? Erityisesti LZW voisi avartaa mieltä. "

Aina kannatettavaa, mutta ei nyt oleellista. Hutterin kisassa ei pääse alkua pidemmälle, jos lähtökohtana ovat perinteiset pakkausalgoritmit. Voittoa tavoittelevan algoritmin on todella ymmärrettävä tekstiä aika paljon samalla tavalla kuten ihminen. Sen on osattava muuttaa todennäköisyyksiä asiayhteyden mukaan, perustuen siihen, mitä edellisissä lauseissa, jopa edellisissä kappaleissa puhuttiin. Ainoa ratkaisumalli on hyvin syvä, hierarkinen tekstianalyysi. Hierarkian alimmat tasot tutkivat viereisiä kirjaimia, välitasot sanoja, seuraavat lauseilmauksia, sitä ylemmät lauseyhdistelmiä, virkkeitä, sitä ylemmät vielä isompia kokonaisuuksia, kappaleita sivuja...

Voittavan ohjelman pitää ikäänkuin muodostaa laaja maailmankuva koko Wikipedian sisällöstä, ymmärtää mitä voi olla tulossa edellisen perusteella. Niin toimii ihmisen aivokuori. Pakkausoperaation muistuttaa lapsen oppimista kasvaessaan, vanhetessaan, hankkiessan kokemusta ja jäsentäessään todellisuutta ja sen todennäköisyyksiä. Aivokuori on äärimmäisen kehittynyt "ennustuskone".

"Ainoa ratkaisumalli on hyvin syvä, hierarkinen tekstianalyysi."

Tää on täyttä puppua. Oletko edes lukenut tehtävänantoa?

Miksi sinä julistat täällä soopaa kerrasta toiseen? Ärsyttää lukea potaskaa, koska ihmiset tuntuvat uskovan sinua.

annelin grilli kirjoitti:

"Ainoa ratkaisumalli on hyvin syvä, hierarkinen tekstianalyysi."

Tää on täyttä puppua. Oletko edes lukenut tehtävänantoa?

Miksi sinä julistat täällä soopaa kerrasta toiseen? Ärsyttää lukea potaskaa, koska ihmiset tuntuvat uskovan sinua.

Minä nyt olen seurannut Hutterin puuhastelua ja n.10v ajan. Koko ajatuksena on Kolmogorov kompleksisuus:
http://en.wikipedia.org/wiki/Kolmogorov_complexity
"To define Kolmogorov complexity, we must first specify a description language for strings. Such a description language can be based on any programming language, such as Lisp, Pascal, or Java Virtual Machine bytecode. If P is a program which outputs a string x, then P is a description of x. The length of the description is just the length of P as a character string. In determining the length of P, the lengths of any subroutines used in P must be accounted for. The length of any integer constant n which occurs in the program P is the number of bits required to represent n, that is (roughly) log2n."

Siten tehtävä:
"If you can compress the first 100MB of Wikipedia.."
On luoda ohjelma, joka ajaessaan tulostaa 100Mb tekstitiedoston, mutta on itse kooltaan mahdollisimman pieni. Paras, ainoa tapa pakata älykkäästi 100Mb erittäin merkityksellistä, johdonmukaista tietämystä nyt vain sama, jonka avulla meidän aivokuoremme pakkaa maaimankuvamme. Jos olet eri mieltä, perusteiden on oltava hyviä.

Kysymys ei ole vain "pakkaamisesta" vaan "universaalisesta älykkyydestä":
http://www.hutter1.net/ai/uaibook.htm
Minulla sattuu oleman tämä kirja (vaikka n. 50% siitä meneekin yli matemaattisen osaamiseni, en ole PhD).

UPDATE_6997029 kirjoitti:

Minä nyt olen seurannut Hutterin puuhastelua ja n.10v ajan. Koko ajatuksena on Kolmogorov kompleksisuus:
http://en.wikipedia.org/wiki/Kolmogorov_complexity
"To define Kolmogorov complexity, we must first specify a description language for strings. Such a description language can be based on any programming language, such as Lisp, Pascal, or Java Virtual Machine bytecode. If P is a program which outputs a string x, then P is a description of x. The length of the description is just the length of P as a character string. In determining the length of P, the lengths of any subroutines used in P must be accounted for. The length of any integer constant n which occurs in the program P is the number of bits required to represent n, that is (roughly) log2n."

Siten tehtävä:
"If you can compress the first 100MB of Wikipedia.."
On luoda ohjelma, joka ajaessaan tulostaa 100Mb tekstitiedoston, mutta on itse kooltaan mahdollisimman pieni. Paras, ainoa tapa pakata älykkäästi 100Mb erittäin merkityksellistä, johdonmukaista tietämystä nyt vain sama, jonka avulla meidän aivokuoremme pakkaa maaimankuvamme. Jos olet eri mieltä, perusteiden on oltava hyviä.

Kysymys ei ole vain "pakkaamisesta" vaan "universaalisesta älykkyydestä":
http://www.hutter1.net/ai/uaibook.htm
Minulla sattuu oleman tämä kirja (vaikka n. 50% siitä meneekin yli matemaattisen osaamiseni, en ole PhD).

Lainasin yllä väärän paikan Kolmogorov kompleksisuudesta. Tässä oikea:

"the Kolmogorov complexity of an object, such as a piece of text, is a measure of the computational resources needed to specify the object"

"Now, suppose there is a program in the language L1 which acts as an interpreter for L2:

function InterpretLanguage(string p)

where p is a program in L2. The interpreter is characterized by the following property:

Running InterpretLanguage on input p returns the result of running p.

Thus if P is a program in L2 which is a minimal description of s, then InterpretLanguage(P) returns the string s. The length of this description of s is the sum of

1. The length of the program InterpretLanguage, which we can take to be the constant c.
2. The length of P which by definition is K2(s)."

annelin grilli kirjoitti:

"Ainoa ratkaisumalli on hyvin syvä, hierarkinen tekstianalyysi."

Tää on täyttä puppua. Oletko edes lukenut tehtävänantoa?

Miksi sinä julistat täällä soopaa kerrasta toiseen? Ärsyttää lukea potaskaa, koska ihmiset tuntuvat uskovan sinua.

Että lukisit
http://prize.hutter1.net/hfaq.htm

UPDATE_6997029 kirjoitti:

"Kannattaisikohan aloittaa ennen tekoälyä jostain ihan perus tietotekniikan kurssista, jossa käsitellään miten yleisimmät pakkausalgoritmit toimivat? Erityisesti LZW voisi avartaa mieltä. "

Aina kannatettavaa, mutta ei nyt oleellista. Hutterin kisassa ei pääse alkua pidemmälle, jos lähtökohtana ovat perinteiset pakkausalgoritmit. Voittoa tavoittelevan algoritmin on todella ymmärrettävä tekstiä aika paljon samalla tavalla kuten ihminen. Sen on osattava muuttaa todennäköisyyksiä asiayhteyden mukaan, perustuen siihen, mitä edellisissä lauseissa, jopa edellisissä kappaleissa puhuttiin. Ainoa ratkaisumalli on hyvin syvä, hierarkinen tekstianalyysi. Hierarkian alimmat tasot tutkivat viereisiä kirjaimia, välitasot sanoja, seuraavat lauseilmauksia, sitä ylemmät lauseyhdistelmiä, virkkeitä, sitä ylemmät vielä isompia kokonaisuuksia, kappaleita sivuja...

Voittavan ohjelman pitää ikäänkuin muodostaa laaja maailmankuva koko Wikipedian sisällöstä, ymmärtää mitä voi olla tulossa edellisen perusteella. Niin toimii ihmisen aivokuori. Pakkausoperaation muistuttaa lapsen oppimista kasvaessaan, vanhetessaan, hankkiessan kokemusta ja jäsentäessään todellisuutta ja sen todennäköisyyksiä. Aivokuori on äärimmäisen kehittynyt "ennustuskone".

"""Kannattaisikohan aloittaa ennen tekoälyä jostain ihan perus tietotekniikan kurssista, jossa käsitellään miten yleisimmät pakkausalgoritmit toimivat? Erityisesti LZW voisi avartaa mieltä. "

Aina kannatettavaa, mutta ei nyt oleellista. Hutterin kisassa ei pääse alkua pidemmälle, jos lähtökohtana ovat perinteiset pakkausalgoritmit. Voittoa tavoittelevan algoritmin on todella ymmärrettävä tekstiä aika paljon samalla tavalla kuten ihminen. Sen on osattava muuttaa todennäköisyyksiä asiayhteyden mukaan, perustuen siihen, mitä edellisissä lauseissa, jopa edellisissä kappaleissa puhuttiin. Ainoa ratkaisumalli on hyvin syvä, hierarkinen tekstianalyysi. Hierarkian alimmat tasot tutkivat viereisiä kirjaimia, välitasot sanoja, seuraavat lauseilmauksia, sitä ylemmät lauseyhdistelmiä, virkkeitä, sitä ylemmät vielä isompia kokonaisuuksia, kappaleita sivuja...""

Taisin jo jossain vaiheessa selostaa, että tuossa Hutterin hommassa ei ole mitään uutta 50-luvulla kehitettyyn dynaamiseen ohjelmointiin, jota mm. reinforcement-learning-nimellä nykyään myydään. Dynaaminen ohjelmointi taas on ihan sitä perus Turing/Church-huttua, jolla ei mitään tekoälyä edelleenkään tehdä niin kuin ei ennenkään. Hierarkkinen tekstianalyysi on vain Markov-mallien tuomista dynaamiseen ohjelmointiin, mikä oli mukana jo silloin 50-luvulla.

Perusteiden opiskelusta olisi se hyöty, että ymmärtäisi mikä on jo hyvin tunnettua kamaa, eikä kävisi niin ettei muut naura, kun kommentoi jotain hienon kuuloista perushuttua "uutena juttuna"...

UPDATE_6997029 kirjoitti:

Että lukisit
http://prize.hutter1.net/hfaq.htm

""Että lukisit
http://prize.hutter1.net/hfaq.htm""

Tuo vaikuttaa kyllä sellaiselta tehtävänannolta, että LZW:tä Huffmanin varianttia on hyvin vaikea peitota. Eikös hyvä lähestymistapa olisi ensin koodata tällainen tavallinen menetelmä ja sitten parantaa sitä? Perustuu muuten yllättävän paljon "hierarkkiseen tekstianalyysiin", niin kuin kaikki sanakirjapakkausmenetelmät:

http://en.wikipedia.org/wiki/Dictionary_coder

Tietty voit kehittää menetelmän, jossa sanoja ei lisätäkään sokeasti sanarkirjaan vaan käyttäen hyväksi tunnettuja kielen säännöllisyyksiä.

wqeqweqwrq kirjoitti:

""Että lukisit
http://prize.hutter1.net/hfaq.htm""

Tuo vaikuttaa kyllä sellaiselta tehtävänannolta, että LZW:tä Huffmanin varianttia on hyvin vaikea peitota. Eikös hyvä lähestymistapa olisi ensin koodata tällainen tavallinen menetelmä ja sitten parantaa sitä? Perustuu muuten yllättävän paljon "hierarkkiseen tekstianalyysiin", niin kuin kaikki sanakirjapakkausmenetelmät:

http://en.wikipedia.org/wiki/Dictionary_coder

Tietty voit kehittää menetelmän, jossa sanoja ei lisätäkään sokeasti sanarkirjaan vaan käyttäen hyväksi tunnettuja kielen säännöllisyyksiä.

"Why is "understanding" of the text or "intelligence" needed to achieve maximal compression?"

"Consider the following little excerpt from a Wikipedia page, where 12 words have been replaced by the placeholders [1]-[12].

In [1], HTML and XML documents, the logical constructs known as character data and [2] [3] consist of sequences of characters, in which each [4] can manifest directly (representing itself), or can be [5] by a series of characters called a [6] reference, of which there are [7] types: a numeric character reference and a character entity [8]. This article lists the [9] entity [10] that are valid in [11] and [12] documents.

If you do not understand any English, there is little hope that you can fill in the missing words."

Eikö tämä nyt ole "hieman" enemmän kuin LZW? Ja tuo jo saavutetun n. 16%:n parannus vaatii tämäntasoista osaamista toteutukselta.

wqeqweqwrq kirjoitti:

"""Kannattaisikohan aloittaa ennen tekoälyä jostain ihan perus tietotekniikan kurssista, jossa käsitellään miten yleisimmät pakkausalgoritmit toimivat? Erityisesti LZW voisi avartaa mieltä. "

Aina kannatettavaa, mutta ei nyt oleellista. Hutterin kisassa ei pääse alkua pidemmälle, jos lähtökohtana ovat perinteiset pakkausalgoritmit. Voittoa tavoittelevan algoritmin on todella ymmärrettävä tekstiä aika paljon samalla tavalla kuten ihminen. Sen on osattava muuttaa todennäköisyyksiä asiayhteyden mukaan, perustuen siihen, mitä edellisissä lauseissa, jopa edellisissä kappaleissa puhuttiin. Ainoa ratkaisumalli on hyvin syvä, hierarkinen tekstianalyysi. Hierarkian alimmat tasot tutkivat viereisiä kirjaimia, välitasot sanoja, seuraavat lauseilmauksia, sitä ylemmät lauseyhdistelmiä, virkkeitä, sitä ylemmät vielä isompia kokonaisuuksia, kappaleita sivuja...""

Taisin jo jossain vaiheessa selostaa, että tuossa Hutterin hommassa ei ole mitään uutta 50-luvulla kehitettyyn dynaamiseen ohjelmointiin, jota mm. reinforcement-learning-nimellä nykyään myydään. Dynaaminen ohjelmointi taas on ihan sitä perus Turing/Church-huttua, jolla ei mitään tekoälyä edelleenkään tehdä niin kuin ei ennenkään. Hierarkkinen tekstianalyysi on vain Markov-mallien tuomista dynaamiseen ohjelmointiin, mikä oli mukana jo silloin 50-luvulla.

Perusteiden opiskelusta olisi se hyöty, että ymmärtäisi mikä on jo hyvin tunnettua kamaa, eikä kävisi niin ettei muut naura, kun kommentoi jotain hienon kuuloista perushuttua "uutena juttuna"...

"Taisin jo jossain vaiheessa selostaa, että tuossa Hutterin hommassa ei ole mitään uutta 50-luvulla kehitettyyn dynaamiseen ohjelmointiin, jota mm. reinforcement-learning-nimellä nykyään myydään."

Totta.

"Hierarkkinen tekstianalyysi on vain Markov-mallien tuomista dynaamiseen ohjelmointiin, mikä oli mukana jo silloin 50-luvulla."

En väitä ettei sellaista ole tehty. Mutta mitä saavutettiin?

Harri Valpolan / Jeff Hawkinsin "kortikaalinen arkkitehtuuri" on tietysti ollut ollut periaatteessa tunnettu jo 80-luvulta, neurologien keskuudessa, mutta vain periaatteessa. Ei Suomessa eikä jenkeissäkään sitä ole vielä joka suhteessa saatu toimimaan, simuloinneissa. Kuka niitä rakenteli 50-luvulla? Minä nyt kyllä väittäisin, että Valpola ja Hawkins ovat uranuurtajia, eivät vanhan toistajia (jos ei biologian "kopiointia" pidetä sellaisena).

Voisit kohdistaa kritiikin suoraan niihin. Miksi ne eivät voi johtaa mihinkään? Mikä niissä on vikana? Mikä nisäkkäiden aivokuoren arkkitehtuurissa on vikana? Vai oletko sitä mieltä, että ne eivät sovellu symboliseen informationkäsittelyyn (mikä on hivenen totta, siihen niitä on käytetty vai ehkä 200000v).

Hutter ei kilpailussaa etsi erityisesti uutta, tehokasta pakkausmenetelmää vaan uutta tekoälyratkaisua, jonka benchmark testinä on tekstin pakkaus, siten että hyödynnetään tekstin sisällön todellista ymmärtämistä. Onko tämä turha tavoite, joka ratkaistiin jo 50-luvulla?

Hutterin on AIXI-malli on tässä yhteydessä vain viitekehys, epäkäytännöllinen, ideaalinen matemaattinen ajatus, mutta minusta tekoälyn yksinkertaistettuna testiympäristönä hieno.

UPDATE_6997029 kirjoitti:

Lainasin yllä väärän paikan Kolmogorov kompleksisuudesta. Tässä oikea:

"the Kolmogorov complexity of an object, such as a piece of text, is a measure of the computational resources needed to specify the object"

"Now, suppose there is a program in the language L1 which acts as an interpreter for L2:

function InterpretLanguage(string p)

where p is a program in L2. The interpreter is characterized by the following property:

Running InterpretLanguage on input p returns the result of running p.

Thus if P is a program in L2 which is a minimal description of s, then InterpretLanguage(P) returns the string s. The length of this description of s is the sum of

1. The length of the program InterpretLanguage, which we can take to be the constant c.
2. The length of P which by definition is K2(s)."

Minä tiedän vallan hyvin mitä Kolmogorov-monimutkaisuus tarkoittaa. Sinulle taas lienee epäselvää mistä edes kuvaus (description) tässä kontekstissa tarkoittaa.

Sitä matemaattista osaamista kannattaa hankkia. Kun jollain keinolla viitsisit opetella täsmällisen ajattelun ja ilmaisun, niin rupeaisit näkemään tuon oman puppusi läpi. Puhu faktoilla äläkä julista puolitotuuksia, joille sinulle ei ole tarjota mitään pohjaa.

Ja se olis Sinä, joka esitti väitteen ja jolla on todistustaakka. Minä en taaskaan näe todisteita, näen vain tyylillesi sopivaa julistamista.

Solomonoff-induktio saattaa kiinnostaa sinua. Mutta silloin sinun pitäisi ymmärtää ratkeavuuden käsite (tai jokin sen "variantti") sekä perusteet tilastoista.

UPDATE_6997029 kirjoitti:

"Why is "understanding" of the text or "intelligence" needed to achieve maximal compression?"

"Consider the following little excerpt from a Wikipedia page, where 12 words have been replaced by the placeholders [1]-[12].

In [1], HTML and XML documents, the logical constructs known as character data and [2] [3] consist of sequences of characters, in which each [4] can manifest directly (representing itself), or can be [5] by a series of characters called a [6] reference, of which there are [7] types: a numeric character reference and a character entity [8]. This article lists the [9] entity [10] that are valid in [11] and [12] documents.

If you do not understand any English, there is little hope that you can fill in the missing words."

Eikö tämä nyt ole "hieman" enemmän kuin LZW? Ja tuo jo saavutetun n. 16%:n parannus vaatii tämäntasoista osaamista toteutukselta.

""Eikö tämä nyt ole "hieman" enemmän kuin LZW? Ja tuo jo saavutetun n. 16%:n parannus vaatii tämäntasoista osaamista toteutukselta.""

Kyllä se on hyvin tiedossa, että optimaalinen sanakirjapakkaus vaatii varsin vahvan mallin pakattavasta materiaalista. Esimerkiksi jos tiedetään, että kieli on englantia, voidaan sille tehdä joku Huffman-tyyppinen symbolikoodaus ja käyttää sitä sanakirjatyyppisesti. Mutta ei tässä tekstin ymmärtämistä tarvita. Ihan mekaaninen sanasto sekä kielioppisäännöt riittävät. Siltikin LZW:n päihittäminen oikeasti on työn ja tuskan takana.

UPDATE_6997029 kirjoitti:

"Taisin jo jossain vaiheessa selostaa, että tuossa Hutterin hommassa ei ole mitään uutta 50-luvulla kehitettyyn dynaamiseen ohjelmointiin, jota mm. reinforcement-learning-nimellä nykyään myydään."

Totta.

"Hierarkkinen tekstianalyysi on vain Markov-mallien tuomista dynaamiseen ohjelmointiin, mikä oli mukana jo silloin 50-luvulla."

En väitä ettei sellaista ole tehty. Mutta mitä saavutettiin?

Harri Valpolan / Jeff Hawkinsin "kortikaalinen arkkitehtuuri" on tietysti ollut ollut periaatteessa tunnettu jo 80-luvulta, neurologien keskuudessa, mutta vain periaatteessa. Ei Suomessa eikä jenkeissäkään sitä ole vielä joka suhteessa saatu toimimaan, simuloinneissa. Kuka niitä rakenteli 50-luvulla? Minä nyt kyllä väittäisin, että Valpola ja Hawkins ovat uranuurtajia, eivät vanhan toistajia (jos ei biologian "kopiointia" pidetä sellaisena).

Voisit kohdistaa kritiikin suoraan niihin. Miksi ne eivät voi johtaa mihinkään? Mikä niissä on vikana? Mikä nisäkkäiden aivokuoren arkkitehtuurissa on vikana? Vai oletko sitä mieltä, että ne eivät sovellu symboliseen informationkäsittelyyn (mikä on hivenen totta, siihen niitä on käytetty vai ehkä 200000v).

Hutter ei kilpailussaa etsi erityisesti uutta, tehokasta pakkausmenetelmää vaan uutta tekoälyratkaisua, jonka benchmark testinä on tekstin pakkaus, siten että hyödynnetään tekstin sisällön todellista ymmärtämistä. Onko tämä turha tavoite, joka ratkaistiin jo 50-luvulla?

Hutterin on AIXI-malli on tässä yhteydessä vain viitekehys, epäkäytännöllinen, ideaalinen matemaattinen ajatus, mutta minusta tekoälyn yksinkertaistettuna testiympäristönä hieno.

""Voisit kohdistaa kritiikin suoraan niihin. Miksi ne eivät voi johtaa mihinkään? Mikä niissä on vikana? Mikä nisäkkäiden aivokuoren arkkitehtuurissa on vikana? Vai oletko sitä mieltä, että ne eivät sovellu symboliseen informationkäsittelyyn (mikä on hivenen totta, siihen niitä on käytetty vai ehkä 200000v).""

Tuota olen vähän jäävi kritisoimaan, mutta jos se lopullinen systeemin toteutus (yksityiskohdat) joka tapauksessa perustuu siihen samaan 50-luvulla kehitettyyn tekniikkaan, niin en oikein usko että se äly jotenkin jostain ihmeellisesti sinne putkahtaa. Voin toki olla väärässäkin, itse asiassa toivottavasti olen väärässä.

wqeqweqwrq kirjoitti:

""Voisit kohdistaa kritiikin suoraan niihin. Miksi ne eivät voi johtaa mihinkään? Mikä niissä on vikana? Mikä nisäkkäiden aivokuoren arkkitehtuurissa on vikana? Vai oletko sitä mieltä, että ne eivät sovellu symboliseen informationkäsittelyyn (mikä on hivenen totta, siihen niitä on käytetty vai ehkä 200000v).""

Tuota olen vähän jäävi kritisoimaan, mutta jos se lopullinen systeemin toteutus (yksityiskohdat) joka tapauksessa perustuu siihen samaan 50-luvulla kehitettyyn tekniikkaan, niin en oikein usko että se äly jotenkin jostain ihmeellisesti sinne putkahtaa. Voin toki olla väärässäkin, itse asiassa toivottavasti olen väärässä.

Ymmärtäminen itsessään on käsitteenä hirveän vaikea. Tässä pitää muistaa, että kone on mekaaninen laatikko, joka osaa vain kääntää bittejä asennosta toiseen. Ei se mitään ymmärrä. Parhaillaan voi syntyä illuusio ymmärtämisestä, mutta tällöinkin takana on bittejä annettujen sääntöjen mukaan kääntävä mekaaninen laite.

Tämä on tärkeä muistaa. Tämän takia koko "älyn etsiminen" palautuu mallintamiseen.

UPDATE_6997029 kirjoitti:

"Taisin jo jossain vaiheessa selostaa, että tuossa Hutterin hommassa ei ole mitään uutta 50-luvulla kehitettyyn dynaamiseen ohjelmointiin, jota mm. reinforcement-learning-nimellä nykyään myydään."

Totta.

"Hierarkkinen tekstianalyysi on vain Markov-mallien tuomista dynaamiseen ohjelmointiin, mikä oli mukana jo silloin 50-luvulla."

En väitä ettei sellaista ole tehty. Mutta mitä saavutettiin?

Harri Valpolan / Jeff Hawkinsin "kortikaalinen arkkitehtuuri" on tietysti ollut ollut periaatteessa tunnettu jo 80-luvulta, neurologien keskuudessa, mutta vain periaatteessa. Ei Suomessa eikä jenkeissäkään sitä ole vielä joka suhteessa saatu toimimaan, simuloinneissa. Kuka niitä rakenteli 50-luvulla? Minä nyt kyllä väittäisin, että Valpola ja Hawkins ovat uranuurtajia, eivät vanhan toistajia (jos ei biologian "kopiointia" pidetä sellaisena).

Voisit kohdistaa kritiikin suoraan niihin. Miksi ne eivät voi johtaa mihinkään? Mikä niissä on vikana? Mikä nisäkkäiden aivokuoren arkkitehtuurissa on vikana? Vai oletko sitä mieltä, että ne eivät sovellu symboliseen informationkäsittelyyn (mikä on hivenen totta, siihen niitä on käytetty vai ehkä 200000v).

Hutter ei kilpailussaa etsi erityisesti uutta, tehokasta pakkausmenetelmää vaan uutta tekoälyratkaisua, jonka benchmark testinä on tekstin pakkaus, siten että hyödynnetään tekstin sisällön todellista ymmärtämistä. Onko tämä turha tavoite, joka ratkaistiin jo 50-luvulla?

Hutterin on AIXI-malli on tässä yhteydessä vain viitekehys, epäkäytännöllinen, ideaalinen matemaattinen ajatus, mutta minusta tekoälyn yksinkertaistettuna testiympäristönä hieno.

Tiesin Hutterin kisasta heti sen julkistamisen jälkeen, vuosia sitten, mutta en ole ollut siitä kovin kiinnostunut. Siksi en huomannut, että hän nimenomaan edellyttää häviötöntä pakkausta, mikä oleellisesti ideana poikkeaa biologisen neuraalisen aivokuoren yleisestä periaattesta (josta vielä selvittämättömänä poikkeuksena ovat esim autistiset nerot). Kuvittelisin cortex-arkkitehtuurin sopivan luonnostaan häviölliseen pakkaukseen: ei ole niin tärkeää oikea sanamuoto, kunhan ajatus on oikea.
Siispä asiaa pitää harkita tarkemmin...

wqeqweqwrq kirjoitti:

""Voisit kohdistaa kritiikin suoraan niihin. Miksi ne eivät voi johtaa mihinkään? Mikä niissä on vikana? Mikä nisäkkäiden aivokuoren arkkitehtuurissa on vikana? Vai oletko sitä mieltä, että ne eivät sovellu symboliseen informationkäsittelyyn (mikä on hivenen totta, siihen niitä on käytetty vai ehkä 200000v).""

Tuota olen vähän jäävi kritisoimaan, mutta jos se lopullinen systeemin toteutus (yksityiskohdat) joka tapauksessa perustuu siihen samaan 50-luvulla kehitettyyn tekniikkaan, niin en oikein usko että se äly jotenkin jostain ihmeellisesti sinne putkahtaa. Voin toki olla väärässäkin, itse asiassa toivottavasti olen väärässä.

Vaikka "Valpola/Hawkins-arkkitehtuuri" käyttää (molemmat selvästi eri tavalla) vanhoja tunnettuja, toimivia periaatteita, jotka muilla tavoilla käytettynä eivät ole johtaneet pitkällle, niin eikö "devil is in the details", eli ei tarvitse vetää hätäisiä johtopäätöksiä, vaan katsotaan mitä tapahtuu. Kyllä minä taas "heilutan käsiä", kun jotakin kuulen.

annelin grilli kirjoitti:

Minä tiedän vallan hyvin mitä Kolmogorov-monimutkaisuus tarkoittaa. Sinulle taas lienee epäselvää mistä edes kuvaus (description) tässä kontekstissa tarkoittaa.

Sitä matemaattista osaamista kannattaa hankkia. Kun jollain keinolla viitsisit opetella täsmällisen ajattelun ja ilmaisun, niin rupeaisit näkemään tuon oman puppusi läpi. Puhu faktoilla äläkä julista puolitotuuksia, joille sinulle ei ole tarjota mitään pohjaa.

Ja se olis Sinä, joka esitti väitteen ja jolla on todistustaakka. Minä en taaskaan näe todisteita, näen vain tyylillesi sopivaa julistamista.

Solomonoff-induktio saattaa kiinnostaa sinua. Mutta silloin sinun pitäisi ymmärtää ratkeavuuden käsite (tai jokin sen "variantti") sekä perusteet tilastoista.

"Minä tiedän vallan hyvin mitä Kolmogorov-monimutkaisuus tarkoittaa. Sinulle taas lienee epäselvää mistä edes kuvaus (description) tässä kontekstissa tarkoittaa."

Minusta se on aivan ilmeistä. Olen kahlannut läpi esim mainitsemani Hutterin teoksen (jossa on parempi selitys sekä Kolmogrov-kompleksiuudesta, että Solomonoff-induktiosta. Ja olen jo myöntänyt, että matematiikan osaamiseni ei ole niin korkealla tasolla kuin itse haluaisin. En siis pysty esim seuraamaan kirjan kaikkia esityksiä, mutta onneksi hyvä kirjan tavoin lopputuloksia arviodaan myös selväsanaisesti.

"Ja se olis Sinä, joka esitti väitteen ja jolla on todistustaakka. Minä en taaskaan näe todisteita, näen vain tyylillesi sopivaa julistamista."

Ai tämäkö:
""Ainoa ratkaisumalli on hyvin syvä, hierarkinen tekstianalyysi."
Tää on täyttä puppua. Oletko edes lukenut tehtävänantoa?"

En todellakaan tajua puppuutta. Ilmaisuni on täysin sopusoinnussa sen kanssa, mitä Hutter itse esittää tehtävästä, sen vaikeustasosta ja ratkaisun edellyttämästä lähestymistavasta FAQ:ssa.

annelin grilli kirjoitti:

Ymmärtäminen itsessään on käsitteenä hirveän vaikea. Tässä pitää muistaa, että kone on mekaaninen laatikko, joka osaa vain kääntää bittejä asennosta toiseen. Ei se mitään ymmärrä. Parhaillaan voi syntyä illuusio ymmärtämisestä, mutta tällöinkin takana on bittejä annettujen sääntöjen mukaan kääntävä mekaaninen laite.

Tämä on tärkeä muistaa. Tämän takia koko "älyn etsiminen" palautuu mallintamiseen.

"Tässä pitää muistaa, että kone on mekaaninen laatikko, joka osaa vain kääntää bittejä asennosta toiseen. Ei se mitään ymmärrä. Parhaillaan voi syntyä illuusio ymmärtämisestä, mutta tällöinkin takana on bittejä annettujen sääntöjen mukaan kääntävä mekaaninen laite."

Ihan tuttu väite. Tunnen hyvin "Kiinalaisen huoneen", "CRA" ja olen lukenut paljon argumentin jälkikeskustelua. Ja myös paljon itse pohdiskellut.

Voidaan myös sanoa:
"Ihmisaivot ovat vain märkä hyytelöklimppi, jossa sähkökemialliset aktiopotentiaalit triggailevat toisiaan. Eivät ne mitään ymmärrä. Parhaimmillaan ne voivat luoda illuusion ymmärtämisestä, mutta tällöinkin takana on vain ehdollinen adaptoituminen ympäristön vasteisiin."

Tavallisin keskustelun suuntaus CRA:n puutteista, erityisesti "ymmärtämisestä", on suuntautunut symbolisen, semanttisen tiedon "maadoittumiseen" ei-symbolisiin aistihahmoihin ja niiden sekvensseihin. Minusta tämä riittää. En näe ihmisen "ymmärtämisessä" sen enempää mystiikkaa. Aivokuoren toiminnallisuus (vaikka sen selvittäminen on vielä kesken) esittää asian riittävän hyvin. En näe mitään syytä, miksei "wetwaren" toiminnallisuutta voi myös toteuttaa piipohjaisella (tai joskus lähitulevaisuudessa hiilinanoputkiin perustuvalla) binäärilogiikalla. Kunhan maadoittamisesta huolehditaan (esim robottien arkkitehtuureissa), voidaan puhua ymmärtämisestä kutakuinkin samassa merkityksessä kuin ihmisaivoissa.

Mitä tulee Hutterin pakkaustehtävään: voimme suosiolla luopua maadoituksesta ja tarkoittaa ymmärtämisellä vain semanttisten, induktiivisesti kerättyjen sääntöjen kokonaisuutta, eteenkin hierarkisessa merkityksessä: asia ymmärretään, jos sen semanttiset yhteydet korkeampien (myös alempien ja rinnakkaisten) hierarkioiden asiantiloihin ovat hallussa. Juuri siitä Hutterin esimerkkilainauksessa on kysymys, minun mielestäni.

Muuten jos ymmärtämisestä tulee lisäkeskustelua, olisi parempi aloittaa uusin ketju esim. filosofiaosastolla. Olen valmis jatkamaan.

UPDATE_6997029 kirjoitti:

"Minä tiedän vallan hyvin mitä Kolmogorov-monimutkaisuus tarkoittaa. Sinulle taas lienee epäselvää mistä edes kuvaus (description) tässä kontekstissa tarkoittaa."

Minusta se on aivan ilmeistä. Olen kahlannut läpi esim mainitsemani Hutterin teoksen (jossa on parempi selitys sekä Kolmogrov-kompleksiuudesta, että Solomonoff-induktiosta. Ja olen jo myöntänyt, että matematiikan osaamiseni ei ole niin korkealla tasolla kuin itse haluaisin. En siis pysty esim seuraamaan kirjan kaikkia esityksiä, mutta onneksi hyvä kirjan tavoin lopputuloksia arviodaan myös selväsanaisesti.

"Ja se olis Sinä, joka esitti väitteen ja jolla on todistustaakka. Minä en taaskaan näe todisteita, näen vain tyylillesi sopivaa julistamista."

Ai tämäkö:
""Ainoa ratkaisumalli on hyvin syvä, hierarkinen tekstianalyysi."
Tää on täyttä puppua. Oletko edes lukenut tehtävänantoa?"

En todellakaan tajua puppuutta. Ilmaisuni on täysin sopusoinnussa sen kanssa, mitä Hutter itse esittää tehtävästä, sen vaikeustasosta ja ratkaisun edellyttämästä lähestymistavasta FAQ:ssa.

Tossa on kohtalaisen selvästi kirjoitettuna Solomonoff-induktiosta ja Kolmogorovin monimutkaisuudesta: http://www.vetta.org/documents/Machine_Super_Intelligence.pdf

Myös scholarpediassa on jotain juttua, en ole tarkemmin lukenut tosin: http://www.scholarpedia.org/article/Algorithmic_complexity

Tuo AGI-porukka on nykyään koteloitunut aika omaksi jengiksi ja yleisesti ottaen tiedepiireissä touhuun suhtaudutaan vältellen. En osaa oikein itse ottaa tarkemmin kantaa heidän tekemisiinsä, mutta vähäisen lukemisen perusteella siellä mennään aika korkeissa sfääreissä "normaaliin" tieteeseen verrattuna. En kauheasti laskisi heidän tulostensa varaan.

Ja mitä tulee tohon väitteeseesi, niin sanot, että ongelmaan on vain ja ainoastaan yksi ratkaisuväylä. Sinä esitit tällaisen väitteen ilman sen kummempaa perustelua. En näe, että Hutterkaan olisi tuota kauheasti perustellut. Minä ymmärrän tuollaiset heitot ylimalkaisina, oman varmuuden tuomina puheina vailla pohjaa.

UPDATE_6997029 kirjoitti:

"Tässä pitää muistaa, että kone on mekaaninen laatikko, joka osaa vain kääntää bittejä asennosta toiseen. Ei se mitään ymmärrä. Parhaillaan voi syntyä illuusio ymmärtämisestä, mutta tällöinkin takana on bittejä annettujen sääntöjen mukaan kääntävä mekaaninen laite."

Ihan tuttu väite. Tunnen hyvin "Kiinalaisen huoneen", "CRA" ja olen lukenut paljon argumentin jälkikeskustelua. Ja myös paljon itse pohdiskellut.

Voidaan myös sanoa:
"Ihmisaivot ovat vain märkä hyytelöklimppi, jossa sähkökemialliset aktiopotentiaalit triggailevat toisiaan. Eivät ne mitään ymmärrä. Parhaimmillaan ne voivat luoda illuusion ymmärtämisestä, mutta tällöinkin takana on vain ehdollinen adaptoituminen ympäristön vasteisiin."

Tavallisin keskustelun suuntaus CRA:n puutteista, erityisesti "ymmärtämisestä", on suuntautunut symbolisen, semanttisen tiedon "maadoittumiseen" ei-symbolisiin aistihahmoihin ja niiden sekvensseihin. Minusta tämä riittää. En näe ihmisen "ymmärtämisessä" sen enempää mystiikkaa. Aivokuoren toiminnallisuus (vaikka sen selvittäminen on vielä kesken) esittää asian riittävän hyvin. En näe mitään syytä, miksei "wetwaren" toiminnallisuutta voi myös toteuttaa piipohjaisella (tai joskus lähitulevaisuudessa hiilinanoputkiin perustuvalla) binäärilogiikalla. Kunhan maadoittamisesta huolehditaan (esim robottien arkkitehtuureissa), voidaan puhua ymmärtämisestä kutakuinkin samassa merkityksessä kuin ihmisaivoissa.

Mitä tulee Hutterin pakkaustehtävään: voimme suosiolla luopua maadoituksesta ja tarkoittaa ymmärtämisellä vain semanttisten, induktiivisesti kerättyjen sääntöjen kokonaisuutta, eteenkin hierarkisessa merkityksessä: asia ymmärretään, jos sen semanttiset yhteydet korkeampien (myös alempien ja rinnakkaisten) hierarkioiden asiantiloihin ovat hallussa. Juuri siitä Hutterin esimerkkilainauksessa on kysymys, minun mielestäni.

Muuten jos ymmärtämisestä tulee lisäkeskustelua, olisi parempi aloittaa uusin ketju esim. filosofiaosastolla. Olen valmis jatkamaan.

Joo, aivot ovat märkä klöntti. Totta. Olen itse asiassa tuosta samaa mieltä.

Ongelma on, että pitäisi olla joku keino "mitata" ymmärtämistä ja toistaiseksi sellaista keinoa ei ole. Ei ole oikein mitään keinoa sanoa onko A älykkäämpi (siis ymmärtääkö enemmän) kuin B, olivat A ja B sitten mitä tahansa. Tämä on ongelmallista.

Voidaan tietysti puhua vain illuusiosta ja siitä, että "matkiminen" riittää. Mutta onko matkiminen älykkyyttä?

Ehkä tähän ei kannata lähteä enempää. Halusin vain tuoda esiin raadolliset faktat koneiden takana. Mukava kuulla, että olet asiaa ajatellut.

UPDATE_6997029 kirjoitti:

"Why is "understanding" of the text or "intelligence" needed to achieve maximal compression?"

"Consider the following little excerpt from a Wikipedia page, where 12 words have been replaced by the placeholders [1]-[12].

In [1], HTML and XML documents, the logical constructs known as character data and [2] [3] consist of sequences of characters, in which each [4] can manifest directly (representing itself), or can be [5] by a series of characters called a [6] reference, of which there are [7] types: a numeric character reference and a character entity [8]. This article lists the [9] entity [10] that are valid in [11] and [12] documents.

If you do not understand any English, there is little hope that you can fill in the missing words."

Eikö tämä nyt ole "hieman" enemmän kuin LZW? Ja tuo jo saavutetun n. 16%:n parannus vaatii tämäntasoista osaamista toteutukselta.

State-of-the-art pakkausmenetelmä kielen pakkaamiseen näyttää perustuvan tekstin Markov-mallinnukseen ja ennustamiseen sen avulla:

http://en.wikipedia.org/wiki/PPM_compression_algorithm

Tämä toki perustuu hierarkkiseen analyysiin, jos mallit tehdään hierarkkisiksi. Mutta ehdottomasti mitään tekoälyä tässä ei ole. Ja on hieman liiottelua sanoa, että malli oppii "ymmärtämään" kieltä vaikkakin tämä "oppiminen" on se termi mitä käytetään joskus koneoppimispiireissä mallin identifioinnista datasta. Niin kuin alkuperäisessä artikkelissa sanotaan, tuo on hyvin paljon sukua ihan perus LZW:lle aritmeettiselle koodaukselle.

wqeqweqwrq kirjoitti:

State-of-the-art pakkausmenetelmä kielen pakkaamiseen näyttää perustuvan tekstin Markov-mallinnukseen ja ennustamiseen sen avulla:

http://en.wikipedia.org/wiki/PPM_compression_algorithm

Tämä toki perustuu hierarkkiseen analyysiin, jos mallit tehdään hierarkkisiksi. Mutta ehdottomasti mitään tekoälyä tässä ei ole. Ja on hieman liiottelua sanoa, että malli oppii "ymmärtämään" kieltä vaikkakin tämä "oppiminen" on se termi mitä käytetään joskus koneoppimispiireissä mallin identifioinnista datasta. Niin kuin alkuperäisessä artikkelissa sanotaan, tuo on hyvin paljon sukua ihan perus LZW:lle aritmeettiselle koodaukselle.

"Tämä toki perustuu hierarkkiseen analyysiin, jos mallit tehdään hierarkkisiksi. Mutta ehdottomasti mitään tekoälyä tässä ei ole. Ja on hieman liiottelua sanoa, että malli oppii "ymmärtämään" kieltä vaikkakin tämä "oppiminen" on se termi mitä käytetään joskus koneoppimispiireissä mallin identifioinnista datasta. "

Ehdottomasti? "Teko-" on ilmeisesti ok, mutta miksei "-äly". Mitä tarkoitat älyllä? Mikä Hutterin AIXI-määritelmässä on vikana:
http://alife.co.uk/essays/on_aixi/graphics/aixi.png
http://www.hutter1.net/official/aixi3d.gif
Eikö pakkaustehtävä ole hyvin lähellä tätä, täytä ulkoiset tuntomerkit?
Vain onko niin, että jos käytettävä algoritmi on "ymmärrettävä" ja "mekanistinen", niin kysymys ei voi olla älystä, vaikka ulkoapäin niin näyttäisi. Pitääkö älyn olla "mystistä", tekoälynkin?
Miten määrittelet älyn?

annelin grilli kirjoitti:

Tossa on kohtalaisen selvästi kirjoitettuna Solomonoff-induktiosta ja Kolmogorovin monimutkaisuudesta: http://www.vetta.org/documents/Machine_Super_Intelligence.pdf

Myös scholarpediassa on jotain juttua, en ole tarkemmin lukenut tosin: http://www.scholarpedia.org/article/Algorithmic_complexity

Tuo AGI-porukka on nykyään koteloitunut aika omaksi jengiksi ja yleisesti ottaen tiedepiireissä touhuun suhtaudutaan vältellen. En osaa oikein itse ottaa tarkemmin kantaa heidän tekemisiinsä, mutta vähäisen lukemisen perusteella siellä mennään aika korkeissa sfääreissä "normaaliin" tieteeseen verrattuna. En kauheasti laskisi heidän tulostensa varaan.

Ja mitä tulee tohon väitteeseesi, niin sanot, että ongelmaan on vain ja ainoastaan yksi ratkaisuväylä. Sinä esitit tällaisen väitteen ilman sen kummempaa perustelua. En näe, että Hutterkaan olisi tuota kauheasti perustellut. Minä ymmärrän tuollaiset heitot ylimalkaisina, oman varmuuden tuomina puheina vailla pohjaa.

"Ja mitä tulee tohon väitteeseesi, niin sanot, että ongelmaan on vain ja ainoastaan yksi ratkaisuväylä. "

Totta. Näin oli typerää asia ilmaista. Jos joku toinen olisi noin sanonut jostakin toisesta asiasta, olisin itse älähtänyt.

UPDATE_6997029 kirjoitti:

"Tämä toki perustuu hierarkkiseen analyysiin, jos mallit tehdään hierarkkisiksi. Mutta ehdottomasti mitään tekoälyä tässä ei ole. Ja on hieman liiottelua sanoa, että malli oppii "ymmärtämään" kieltä vaikkakin tämä "oppiminen" on se termi mitä käytetään joskus koneoppimispiireissä mallin identifioinnista datasta. "

Ehdottomasti? "Teko-" on ilmeisesti ok, mutta miksei "-äly". Mitä tarkoitat älyllä? Mikä Hutterin AIXI-määritelmässä on vikana:
http://alife.co.uk/essays/on_aixi/graphics/aixi.png
http://www.hutter1.net/official/aixi3d.gif
Eikö pakkaustehtävä ole hyvin lähellä tätä, täytä ulkoiset tuntomerkit?
Vain onko niin, että jos käytettävä algoritmi on "ymmärrettävä" ja "mekanistinen", niin kysymys ei voi olla älystä, vaikka ulkoapäin niin näyttäisi. Pitääkö älyn olla "mystistä", tekoälynkin?
Miten määrittelet älyn?

Älykkään järjestelmän älyn määritelmä on tosiaan aika ongelmallinen. Kaikissa määritelmissä mitä olen nähnyt on se ongelma, että niiden mukaan moni arkinen laitekin olisi älykäs. Esimerkiksi lämpöpatteri on laite joka tarkkailee ympäristöään ja muuttaa toimintaansa sen perusteella (siinä on termostaatti eli bang-bang-säätöalgoritmi). ABS-jarrut ovat hyvinkin älykkäät, koska tarkkailun lisäksi siinä tehdään ennustamista ja talletaan jopa tilatietoa havaintojen perusteella. Nämäkin voidaan nähdä erikoistapauksina dynaamisesta ohjelmoinnista, josta taas se AIXI-malli myöskin on erikoistapaus.

Mikä on älyn määritelmä? Ei kai se kuitenkaan ole AIXI eli dynaaminen ohjelmointi?

annelin grilli kirjoitti:

Tossa on kohtalaisen selvästi kirjoitettuna Solomonoff-induktiosta ja Kolmogorovin monimutkaisuudesta: http://www.vetta.org/documents/Machine_Super_Intelligence.pdf

Myös scholarpediassa on jotain juttua, en ole tarkemmin lukenut tosin: http://www.scholarpedia.org/article/Algorithmic_complexity

Tuo AGI-porukka on nykyään koteloitunut aika omaksi jengiksi ja yleisesti ottaen tiedepiireissä touhuun suhtaudutaan vältellen. En osaa oikein itse ottaa tarkemmin kantaa heidän tekemisiinsä, mutta vähäisen lukemisen perusteella siellä mennään aika korkeissa sfääreissä "normaaliin" tieteeseen verrattuna. En kauheasti laskisi heidän tulostensa varaan.

Ja mitä tulee tohon väitteeseesi, niin sanot, että ongelmaan on vain ja ainoastaan yksi ratkaisuväylä. Sinä esitit tällaisen väitteen ilman sen kummempaa perustelua. En näe, että Hutterkaan olisi tuota kauheasti perustellut. Minä ymmärrän tuollaiset heitot ylimalkaisina, oman varmuuden tuomina puheina vailla pohjaa.

Tuo Shane Leggin paperi on hieno, kiitos linkistä. Suosittelen muillekin.

Mitä tarkalleen ottaen tarkoitat kysymyksellä ja vastauksella?

3.213 kirjoitti:

Mitä tarkalleen ottaen tarkoitat kysymyksellä ja vastauksella?

Tässä tapauksessa kyselyt ovat yksinkertaisimmillaan esim. mikä merkki sijaitsee kohdassa 83957576. Hieman monimutkaisempi kysymys voisi olla, sijaitseeko kohdassa 2599454 merkki 'n', sijaitseeko kohdassa 5454774 merkkijono "apina", tai sijaitseeko kohtien 349395 ja 351454 välillä merkkijono "kulttuuri".

Monimutkaiset kysymykset ja lyhyet vastaukset mahdollistavat tiiviin pakkauksen, eikö? Ainoastaan vastaukset pitää tallentaa.

KN$ kirjoitti:

Tässä tapauksessa kyselyt ovat yksinkertaisimmillaan esim. mikä merkki sijaitsee kohdassa 83957576. Hieman monimutkaisempi kysymys voisi olla, sijaitseeko kohdassa 2599454 merkki 'n', sijaitseeko kohdassa 5454774 merkkijono "apina", tai sijaitseeko kohtien 349395 ja 351454 välillä merkkijono "kulttuuri".

Monimutkaiset kysymykset ja lyhyet vastaukset mahdollistavat tiiviin pakkauksen, eikö? Ainoastaan vastaukset pitää tallentaa.

""mikä merkki sijaitsee kohdassa 83957576.""

Tätä kutsutaan epäsuoraksi osoitukseksi tai taulukon indeksoinniksi peruskoulutietotekniikassa.

""sijaitseeko kohdassa 2599454 merkki 'n',""

Edelleen sama juttu.

""sijaitseeko kohdassa 5454774 merkkijono "apina"""

Edelleen sama juttu.

""sijaitseeko kohtien 349395 ja 351454 välillä merkkijono "kulttuuri". ""

Ja edelleen.

""Monimutkaiset kysymykset ja lyhyet vastaukset mahdollistavat tiiviin pakkauksen, eikö? Ainoastaan vastaukset pitää tallentaa.""

Kyllä, mutta et taida osata kuvitellakaan kuinka ovelia menetelmiä esimerkiksi LZW ja Huffman-koodaus ovat tähän verrattuna. Tai PPM.

LZW:ssä luodaan lennossa sanakirja, ja pakkaamisessa talletetaan sanojen sijainteja sanakirjassa sanojen sijaan. Ovelaksi homman tekee se, että koodaus on suunniteltu niin, että itse sanakirjaa ei tarvitse lähettää tai tallettaa ollenkaan, jolloin se voi olla mielivaltaisen suuri. Huffmanissa etsitään kirjaimille sellainen koodaus, että bittien määrä minimoituu. Tällä päästää hyvin lähelle entropian asettamaa minimiä. PPM:ssä lisäksi mallinnetaan tekstin Markovilaisuutta useammassa eri hierarkiatasossa sekä ennustetaan sen perusteella ja tiedostoon talletetaan vain väärin mennyt osa. Mutta tämäkin on ihan perustekniikka ja käytössä monessa muussakin insinöörisovelluksessa.

wqeqweqwrq kirjoitti:

""mikä merkki sijaitsee kohdassa 83957576.""

Tätä kutsutaan epäsuoraksi osoitukseksi tai taulukon indeksoinniksi peruskoulutietotekniikassa.

""sijaitseeko kohdassa 2599454 merkki 'n',""

Edelleen sama juttu.

""sijaitseeko kohdassa 5454774 merkkijono "apina"""

Edelleen sama juttu.

""sijaitseeko kohtien 349395 ja 351454 välillä merkkijono "kulttuuri". ""

Ja edelleen.

""Monimutkaiset kysymykset ja lyhyet vastaukset mahdollistavat tiiviin pakkauksen, eikö? Ainoastaan vastaukset pitää tallentaa.""

Kyllä, mutta et taida osata kuvitellakaan kuinka ovelia menetelmiä esimerkiksi LZW ja Huffman-koodaus ovat tähän verrattuna. Tai PPM.

LZW:ssä luodaan lennossa sanakirja, ja pakkaamisessa talletetaan sanojen sijainteja sanakirjassa sanojen sijaan. Ovelaksi homman tekee se, että koodaus on suunniteltu niin, että itse sanakirjaa ei tarvitse lähettää tai tallettaa ollenkaan, jolloin se voi olla mielivaltaisen suuri. Huffmanissa etsitään kirjaimille sellainen koodaus, että bittien määrä minimoituu. Tällä päästää hyvin lähelle entropian asettamaa minimiä. PPM:ssä lisäksi mallinnetaan tekstin Markovilaisuutta useammassa eri hierarkiatasossa sekä ennustetaan sen perusteella ja tiedostoon talletetaan vain väärin mennyt osa. Mutta tämäkin on ihan perustekniikka ja käytössä monessa muussakin insinöörisovelluksessa.

"Kyllä, mutta et taida osata kuvitellakaan kuinka ovelia menetelmiä esimerkiksi LZW ja Huffman-koodaus ovat tähän verrattuna."

En tiedä osaanko? Tuottavatko ne monimutkaisempia kysymyksiä, jos ne aluksi muutettaisiin kysymyksiksi.

"pakkaamisessa talletetaan sanojen sijainteja sanakirjassa sanojen sijaan."

Jos tuo muutettaisiin kysymyksen muotoon, niin se menisi jotakuinkin näin: "Missä kohdissa merkkijono "apina" sijaitsee?" (Vastaus paketissa) Mutta tuo ei ole sellaisenaan vielä kovin monimutkaista, eli ei mahdollista erityisen tiivistä pakkaamista. On turha varautua siihen, että merkkijono voisi sijaita ihan missä sattuu, koska silloin joudutaan osoittamaan liian suurta avaruutta ja osoittimet kuluttavat muistia. Kannattaisi esim. kysyä ensin, "sijaitseeko sana kohtien 349395 ja 351454 välillä" ja jos löytyy, kysellä tarkkaa sijaintia vasta sitten. Jokainen vastaus kuluttaa tilaa.

Halusin vain ehdottaa, että tämä kyselypohjainen lähestymistapa on yksi tapa lähestyä ongelmaa. Onko älykkyys siis perimmältään kysymysten muodostamista?

KN$ kirjoitti:

"Kyllä, mutta et taida osata kuvitellakaan kuinka ovelia menetelmiä esimerkiksi LZW ja Huffman-koodaus ovat tähän verrattuna."

En tiedä osaanko? Tuottavatko ne monimutkaisempia kysymyksiä, jos ne aluksi muutettaisiin kysymyksiksi.

"pakkaamisessa talletetaan sanojen sijainteja sanakirjassa sanojen sijaan."

Jos tuo muutettaisiin kysymyksen muotoon, niin se menisi jotakuinkin näin: "Missä kohdissa merkkijono "apina" sijaitsee?" (Vastaus paketissa) Mutta tuo ei ole sellaisenaan vielä kovin monimutkaista, eli ei mahdollista erityisen tiivistä pakkaamista. On turha varautua siihen, että merkkijono voisi sijaita ihan missä sattuu, koska silloin joudutaan osoittamaan liian suurta avaruutta ja osoittimet kuluttavat muistia. Kannattaisi esim. kysyä ensin, "sijaitseeko sana kohtien 349395 ja 351454 välillä" ja jos löytyy, kysellä tarkkaa sijaintia vasta sitten. Jokainen vastaus kuluttaa tilaa.

Halusin vain ehdottaa, että tämä kyselypohjainen lähestymistapa on yksi tapa lähestyä ongelmaa. Onko älykkyys siis perimmältään kysymysten muodostamista?

"""Missä kohdissa merkkijono "apina" sijaitsee?" (Vastaus paketissa) Mutta tuo ei ole sellaisenaan vielä kovin monimutkaista, eli ei mahdollista erityisen tiivistä pakkaamista. On turha varautua siihen, että merkkijono voisi sijaita ihan missä sattuu, koska silloin joudutaan osoittamaan liian suurta avaruutta ja osoittimet kuluttavat muistia. ""

Ota nyt ihan oikeasti selvää miten (a) LZW toimii (b) Huffmankoodaus toimii. Ne ovat ihan perus tietotekniikkaa ja ratkaisevat nuo hommat erittäin hyvin. Esimerkiksi zip-pakkaus (vaikkapa WinZIPissä) käyttää LZW:tä ja Huffmania. Taas se tällä hetkellä Hutterin kisassa johdossa oleva systeemi käyttää PPM:ää (eli tekstin Markov-mallinnusta) sekä aritmeettista koodausta (joka on Huffmanin paranneltu versio).

LZW säästää tilaa, kun sanakirjaa ei tarvitse talletaa, ainoastaan pointterit (oikeastaan indeksit). Huffman taas koodaa nämä pointterit niin pieneen tilaan kuin niiden ensimmäisen kertaluvun entropia antaa myöden.

wqeqweqwrq kirjoitti:

"""Missä kohdissa merkkijono "apina" sijaitsee?" (Vastaus paketissa) Mutta tuo ei ole sellaisenaan vielä kovin monimutkaista, eli ei mahdollista erityisen tiivistä pakkaamista. On turha varautua siihen, että merkkijono voisi sijaita ihan missä sattuu, koska silloin joudutaan osoittamaan liian suurta avaruutta ja osoittimet kuluttavat muistia. ""

Ota nyt ihan oikeasti selvää miten (a) LZW toimii (b) Huffmankoodaus toimii. Ne ovat ihan perus tietotekniikkaa ja ratkaisevat nuo hommat erittäin hyvin. Esimerkiksi zip-pakkaus (vaikkapa WinZIPissä) käyttää LZW:tä ja Huffmania. Taas se tällä hetkellä Hutterin kisassa johdossa oleva systeemi käyttää PPM:ää (eli tekstin Markov-mallinnusta) sekä aritmeettista koodausta (joka on Huffmanin paranneltu versio).

LZW säästää tilaa, kun sanakirjaa ei tarvitse talletaa, ainoastaan pointterit (oikeastaan indeksit). Huffman taas koodaa nämä pointterit niin pieneen tilaan kuin niiden ensimmäisen kertaluvun entropia antaa myöden.

Näköjään zip käyttääkin LZ77:aa sekä LZW:tä sekä Huffmania muinaisista patenttisyistä:

http://en.wikipedia.org/wiki/DEFLATE

Mutta LZW on vielä LZ77:aa ovelampi systeemi.

wqeqweqwrq kirjoitti:

"""Missä kohdissa merkkijono "apina" sijaitsee?" (Vastaus paketissa) Mutta tuo ei ole sellaisenaan vielä kovin monimutkaista, eli ei mahdollista erityisen tiivistä pakkaamista. On turha varautua siihen, että merkkijono voisi sijaita ihan missä sattuu, koska silloin joudutaan osoittamaan liian suurta avaruutta ja osoittimet kuluttavat muistia. ""

Ota nyt ihan oikeasti selvää miten (a) LZW toimii (b) Huffmankoodaus toimii. Ne ovat ihan perus tietotekniikkaa ja ratkaisevat nuo hommat erittäin hyvin. Esimerkiksi zip-pakkaus (vaikkapa WinZIPissä) käyttää LZW:tä ja Huffmania. Taas se tällä hetkellä Hutterin kisassa johdossa oleva systeemi käyttää PPM:ää (eli tekstin Markov-mallinnusta) sekä aritmeettista koodausta (joka on Huffmanin paranneltu versio).

LZW säästää tilaa, kun sanakirjaa ei tarvitse talletaa, ainoastaan pointterit (oikeastaan indeksit). Huffman taas koodaa nämä pointterit niin pieneen tilaan kuin niiden ensimmäisen kertaluvun entropia antaa myöden.

Mutta pakkausohjelmat eivät kuitenkaan ole kehittyneet niin pitkälle, että ne ymmärtäisivät datan merkityksen siinä missä ihminen. Siksi tekstinpakkaus on vaan aika tehotonta. Ja esim. kun pakkaa videon liian pieneen tilaan, niin aika rumaa jälkeä on.