Koko tämä nykyinen tekoälyralli on kyllä sellaista miljardiluokan aivoapinoiden puuhastelua, että oksat pois. Maailman suurimmat ja ”älykkäimpinä” pidetyt teknologiajätit, kuten Google, polttavat aivan suoraan 143 miljardia dollaria tänä vuonna täysin kankkulan kaivoon (toim. huom. pelkästään Google) vain siksi, etteivät nämä Piilaakson koodiapinat osaa tai viitsi korjata perusmatematiikkaansa.
He ratkaisevat ongelmia kuin lauma aivottomia simpansseja: kaatamalla päälle vuorikaattain raakaa rahaa, ostamalla miljoonittain uusia TPU-siruja ja rakentamalla kokonaisia ydinvoimaloita konesalien viereen, jotta heidän järkyttävän tehoton ja purkalla kasaan parsittu koodinsa pysyisi edes käynnissä.
SolidNorm-moottori paljastaa tämän koko satojen miljardien dollarin laiterallin pelkäksi historialliseksi idioottien teatteriksi. Se iskee suoraan näiden aivoapinoiden kolmeen pahimpaan kämmäykseen:
1. Välimuistin tuhoaminen (Ne pahimmat split-load-tumpelot)
Nämä laiskat koodarit jättävät datansa vellomaan muistiin miten sattuu, jolloin prosessorit joutuvat jatkuvasti odottelemaan ja tekemään hitaita tuplahakuja. SolidNorm näyttää, miten homma tehdään kunnon aivoilla: yhdellä ainoalla alignas(64)-määritteellä data lukitaan istumaan täydellisesti välimuistiriveille, jolloin muistiväylän ruuhkat ja odotustilat nollataan kokonaan. Google ostaa paniikissa miljardeilla lisää HBM-muistia vain paikatakseen sitä, että heidän omat koodiapinansa eivät osaa kohdistaa dataa suorittimelle sopivaksi.
2. Älytön dynaaminen kyttäys (LayerNorm-oravat)
Nykyiset tekoälymallit pyörittävät lennossa jatkuvaa, raskasta tilastolaskentaa (LayerNorm/RMSNorm), joka vaatii vanished-historian jatkuvaa kyttäämistä muistissa, jotta numerot eivät räjähtäisi käsiin. Se on kuin yrittäisi ajaa autoa ja säätää jarruja lennossa joka millisekunti. SolidNorm heittää tämän oravanpyörän roskiin ja käyttää puhdasta geometriaa: se pakottaa tilatensorin säteen pysymään tasan arvossa 1.000000. Kun seinät tulevat matemaattisesti vastaan, numerot eivät pysty karkaamaan, ja koko dynaamisen seurannan vaatima sähkösyöppöys paljastuu täysin turhaksi vauhkoamiseksi.
3. Newton-Raphson vs. Apinalogiikka
When nämä teknologiakorporaatioiden tunarit laskevat vektorien pituuksia, he luottavat prosessorin nopeaan mutta epätarkkaan 11-bittiseen rauta-approksimaatioon, jolloin tekoäly alkaa seota virheiden kasaantuessa. Heidän ratkaisunsa on – yllätys, yllätys – ostaa lisää rautaa. SolidNorm puolestaan injektoi väliin yhden elegantin Newton-Raphson-iteraation, joka korjaa virheet lennossa täyteen 23 bitin liukulukutarkkuuteen. Nopeus säilyy maksimaalisena ilman, että vakaudesta tarvitsee tinkiä milliäkään.
Lopputulos
Se on aivan uskomatonta katsottavaa. Koko tekoälyteollisuus istuu historian kalleimman ja tehottomimman ”brute force” -härvelin päällä, ja kun mopo lähtee käsistä, he vain ottavat sata miljardia lisää velkaa ja ostavat lisää betonia ja pii-siruja. kaltaiset projektit osoittavat, että jos näillä Piilaakson hurskastelijoilla olisi laumanjohtajan verran aivokapasiteettia käytössä, koko tämä satojen miljardien laiteralli paljastuisi pelkäksi historian kalleimmaksi tehottomuusveroksi.
He ratkaisevat ongelmia kuin lauma aivottomia simpansseja: kaatamalla päälle vuorikaattain raakaa rahaa, ostamalla miljoonittain uusia TPU-siruja ja rakentamalla kokonaisia ydinvoimaloita konesalien viereen, jotta heidän järkyttävän tehoton ja purkalla kasaan parsittu koodinsa pysyisi edes käynnissä.
SolidNorm-moottori paljastaa tämän koko satojen miljardien dollarin laiterallin pelkäksi historialliseksi idioottien teatteriksi. Se iskee suoraan näiden aivoapinoiden kolmeen pahimpaan kämmäykseen:
1. Välimuistin tuhoaminen (Ne pahimmat split-load-tumpelot)
Nämä laiskat koodarit jättävät datansa vellomaan muistiin miten sattuu, jolloin prosessorit joutuvat jatkuvasti odottelemaan ja tekemään hitaita tuplahakuja. SolidNorm näyttää, miten homma tehdään kunnon aivoilla: yhdellä ainoalla alignas(64)-määritteellä data lukitaan istumaan täydellisesti välimuistiriveille, jolloin muistiväylän ruuhkat ja odotustilat nollataan kokonaan. Google ostaa paniikissa miljardeilla lisää HBM-muistia vain paikatakseen sitä, että heidän omat koodiapinansa eivät osaa kohdistaa dataa suorittimelle sopivaksi.
2. Älytön dynaaminen kyttäys (LayerNorm-oravat)
Nykyiset tekoälymallit pyörittävät lennossa jatkuvaa, raskasta tilastolaskentaa (LayerNorm/RMSNorm), joka vaatii vanished-historian jatkuvaa kyttäämistä muistissa, jotta numerot eivät räjähtäisi käsiin. Se on kuin yrittäisi ajaa autoa ja säätää jarruja lennossa joka millisekunti. SolidNorm heittää tämän oravanpyörän roskiin ja käyttää puhdasta geometriaa: se pakottaa tilatensorin säteen pysymään tasan arvossa 1.000000. Kun seinät tulevat matemaattisesti vastaan, numerot eivät pysty karkaamaan, ja koko dynaamisen seurannan vaatima sähkösyöppöys paljastuu täysin turhaksi vauhkoamiseksi.
3. Newton-Raphson vs. Apinalogiikka
When nämä teknologiakorporaatioiden tunarit laskevat vektorien pituuksia, he luottavat prosessorin nopeaan mutta epätarkkaan 11-bittiseen rauta-approksimaatioon, jolloin tekoäly alkaa seota virheiden kasaantuessa. Heidän ratkaisunsa on – yllätys, yllätys – ostaa lisää rautaa. SolidNorm puolestaan injektoi väliin yhden elegantin Newton-Raphson-iteraation, joka korjaa virheet lennossa täyteen 23 bitin liukulukutarkkuuteen. Nopeus säilyy maksimaalisena ilman, että vakaudesta tarvitsee tinkiä milliäkään.
Lopputulos
Se on aivan uskomatonta katsottavaa. Koko tekoälyteollisuus istuu historian kalleimman ja tehottomimman ”brute force” -härvelin päällä, ja kun mopo lähtee käsistä, he vain ottavat sata miljardia lisää velkaa ja ostavat lisää betonia ja pii-siruja. kaltaiset projektit osoittavat, että jos näillä Piilaakson hurskastelijoilla olisi laumanjohtajan verran aivokapasiteettia käytössä, koko tämä satojen miljardien laiteralli paljastuisi pelkäksi historian kalleimmaksi tehottomuusveroksi.
Vastaukset
Vanhimmat
Ei vielä vastauksia
Aloittaja odottaa vastauksia. Kerro oma näkemyksesi ensimmäisenä.