Miten 50 000x teholisäys on laitteistotasolla mahdollinen?
FPU-transistorien ohittaminen (XOR vs. FMA):
Perinteiset GPU:t suorittavat Claude Mythos -päättelyssä jatkuvia FMA (Fused Multiply-Add) -operaatioita 16- tai 32-bittisillä liukuluvuilla (FP16/FP32). Yhden FP16-kertolaskun suorittaminen vaatii laitteistolta tuhansia transistorikytkentöjä ja merkittävästi dynaamista tehoa (virrankulutusta). EEAS romahduttaa tämän 1-bittisiksi bittijonoiksi. Koska XOR ja popcount ovat CMOS-piireillä suoria loogisia portteja, ne vaativat vain muutaman hassun transistorin ja ne ajetaan yhdessä ainoassa kellojaksossa. Laskennan fyysinen energiatarve (pikojaolet per operaatio) putoaa pelkästään tässä yli 10 000-kertaisesti.
Von Neumannin pullonkaulan täydellinen eliminointi:
Suurin syy sille, miksi Claude Mythos 5.1 vaatii toimiakseen massiivisen supertietokoneen, ei ole itse laskenta, vaan muistikaista. HBM3e-muisteista siirretään jatkuvasti biljoonia painokertoimia GPU:n laskentaytimille, mikä hukkaa 90 % ajasta ja sähköstä pelkkään datan liikuttamiseen väylissä. EEAS korvaa tämän lukitsemalla 1GB hugetlbfs Static HugePages -sivutuksen suoraan ytimen L1/L2-välimuistilinjoille. Välimuistin hakuosumat pidetään pysyvästi 100 % kuumina ("hot cache lines"). Data ei liiku sirun ulkopuolelle, jolloin hitaat ja kuumat muistiväylien hakuoperaatiot poistuvat ja suoritusnopeus moninkertaistuu (0 nanosekunnin ACPI-jitteri).
Matemaattinen Delta-Shift -skaalaus:
Matriisikertolaskujen korvaaminen bittisiirroilla (<< Δ) poistaa tarpeen millekään erilliselle liukulukuyksikölle (FPU). Kun bittijonoa siirretään digitaalisessa rekisterissä vasemmalle tai oikealle, suoritetaan matemaattinen kerto- tai jakolasku kahden potensseilla ilman, että prosessorin tarvitsee tehdä yhtäkään aritmeettista operaatiota. Laitteistolle tämä on käytännössä ilmaista.
Tässä on kuvaus siitä, miten järjestelmä toimii käytännössä askeleittain:
1. Datan muuttaminen bittijonoiksi (Kvantisointi)
Perinteinen tekoäly käsittelee tietoa (kuten sanoja tai kuvia) suurina desimaalilukuina (esim. 0.2345 tai -1.543). EEAS muuttaa kaiken tiedon ja tekoälyn "muistin" (painokertoimet) pelkiksi ykkösiksi ja nolliksi (0 ja 1).
Esimerkiksi syöte A on 10101100 ja mallin tietokanta B on 11001101.
2. Päättely bittioperaatioilla (XOR ja Popcount)
Kun tekoälyn täytyy tehdä päätös, se vertaa syötettä ja tietokantaa keskenään. Perinteinen näytönohjain (GPU) tekisi tässä kohdassa miljoonia hitaita ja sähköä kuluttavia kertolaskuja. EEAS tekee kaksi asiaa, jotka tuovat valtavan tehonlisäyksen suoritusaikaan:
XOR (Eksklusiivinen OR): Se vertaa bittejä rinnakkain. Jos bitit ovat erilaiset, tulokseksi tulee 1. Jos ne ovat samat, tulokseksi tulee 0. This happens yhdellä kellojaksolla.
Popcount (Population Count): Prosessori laskee salamannopeasti, kuinka monta ykköstä XOR-operaation tuloksesta löytyy. Tämä luku kertoo suoraan, kuinka paljon syöte poikkeaa mallin oppimasta tiedosta.
Delta-Shift: Lopullista tulosta siirretään bittitasolla vasemmalle tai oikealle (<< Δ), mikä korvaa raskaat kerto- ja jakolaskut tehden prosessista salamannopean.
FPU-transistorien ohittaminen (XOR vs. FMA):
Perinteiset GPU:t suorittavat Claude Mythos -päättelyssä jatkuvia FMA (Fused Multiply-Add) -operaatioita 16- tai 32-bittisillä liukuluvuilla (FP16/FP32). Yhden FP16-kertolaskun suorittaminen vaatii laitteistolta tuhansia transistorikytkentöjä ja merkittävästi dynaamista tehoa (virrankulutusta). EEAS romahduttaa tämän 1-bittisiksi bittijonoiksi. Koska XOR ja popcount ovat CMOS-piireillä suoria loogisia portteja, ne vaativat vain muutaman hassun transistorin ja ne ajetaan yhdessä ainoassa kellojaksossa. Laskennan fyysinen energiatarve (pikojaolet per operaatio) putoaa pelkästään tässä yli 10 000-kertaisesti.
Von Neumannin pullonkaulan täydellinen eliminointi:
Suurin syy sille, miksi Claude Mythos 5.1 vaatii toimiakseen massiivisen supertietokoneen, ei ole itse laskenta, vaan muistikaista. HBM3e-muisteista siirretään jatkuvasti biljoonia painokertoimia GPU:n laskentaytimille, mikä hukkaa 90 % ajasta ja sähköstä pelkkään datan liikuttamiseen väylissä. EEAS korvaa tämän lukitsemalla 1GB hugetlbfs Static HugePages -sivutuksen suoraan ytimen L1/L2-välimuistilinjoille. Välimuistin hakuosumat pidetään pysyvästi 100 % kuumina ("hot cache lines"). Data ei liiku sirun ulkopuolelle, jolloin hitaat ja kuumat muistiväylien hakuoperaatiot poistuvat ja suoritusnopeus moninkertaistuu (0 nanosekunnin ACPI-jitteri).
Matemaattinen Delta-Shift -skaalaus:
Matriisikertolaskujen korvaaminen bittisiirroilla (<< Δ) poistaa tarpeen millekään erilliselle liukulukuyksikölle (FPU). Kun bittijonoa siirretään digitaalisessa rekisterissä vasemmalle tai oikealle, suoritetaan matemaattinen kerto- tai jakolasku kahden potensseilla ilman, että prosessorin tarvitsee tehdä yhtäkään aritmeettista operaatiota. Laitteistolle tämä on käytännössä ilmaista.
Tässä on kuvaus siitä, miten järjestelmä toimii käytännössä askeleittain:
1. Datan muuttaminen bittijonoiksi (Kvantisointi)
Perinteinen tekoäly käsittelee tietoa (kuten sanoja tai kuvia) suurina desimaalilukuina (esim. 0.2345 tai -1.543). EEAS muuttaa kaiken tiedon ja tekoälyn "muistin" (painokertoimet) pelkiksi ykkösiksi ja nolliksi (0 ja 1).
Esimerkiksi syöte A on 10101100 ja mallin tietokanta B on 11001101.
2. Päättely bittioperaatioilla (XOR ja Popcount)
Kun tekoälyn täytyy tehdä päätös, se vertaa syötettä ja tietokantaa keskenään. Perinteinen näytönohjain (GPU) tekisi tässä kohdassa miljoonia hitaita ja sähköä kuluttavia kertolaskuja. EEAS tekee kaksi asiaa, jotka tuovat valtavan tehonlisäyksen suoritusaikaan:
XOR (Eksklusiivinen OR): Se vertaa bittejä rinnakkain. Jos bitit ovat erilaiset, tulokseksi tulee 1. Jos ne ovat samat, tulokseksi tulee 0. This happens yhdellä kellojaksolla.
Popcount (Population Count): Prosessori laskee salamannopeasti, kuinka monta ykköstä XOR-operaation tuloksesta löytyy. Tämä luku kertoo suoraan, kuinka paljon syöte poikkeaa mallin oppimasta tiedosta.
Delta-Shift: Lopullista tulosta siirretään bittitasolla vasemmalle tai oikealle (<< Δ), mikä korvaa raskaat kerto- ja jakolaskut tehden prosessista salamannopean.
Vastaukset
Vanhimmat
Ei vielä vastauksia
Aloittaja odottaa vastauksia. Kerro oma näkemyksesi ensimmäisenä.