Pythonia nopeampi kieli datatieteeseen hakusessa

Eipä siihen taida olla muita vaihtoehtoja kuin Fortran-ohjelmontikieli. Uusin standardoitu versio on Fortran 2008. Saatavilla tilastollisia yms. aliohjelmakirjastoja. On kääntäjällä käännettävä kieli. Voi käyttää yhdessä R-kielen kanssa.

Vai "matemaagikko", kirjoitusvirheistä päätellen, et ole vielä kansakoulua suorittanut.

Esim. Pascal on kertaluokkaa nopeampi kieli kuin Python mutta paljon riippuu siitä minkälaista algoritmiä ja / tai kirjastoa käyttää.

Tässä jotain linkkejä:
http://wiki.freepascal.org/Functions_for_descriptive_statistics
http://wiki.freepascal.org/NumLib_Documentation
http://wiki.freepascal.org/Category:Statistical_algorithms

Työkalu riippuu ratkaistavasta ongelmasta. Kivikautisten työkalujen valintaa tarvitsee vähän perustella että miksi kun kerran parempiakin on.

Minä käyttäisin C -kieltä. Tehokas, ohjelmistoteknisesti OK. Kirjastoja löytyy maailmalta.

Kannattaa kokeilla Delphiä. Tai sen ilmaista "kloonia" FreePascalia (ja Lazarusta jos haluat graafisen paikallisen käyttöliittymän).

Toki voit C -kieltäkin käyttää, mutta jos kokeilet molempia, huomaat nopeasti, että C -kieli muodostuu sitä hankalammaksi, mitä monimutkaisempi ohjelmia kirjoitat.

Delphillä ei käy näin.

HUOM: M-Kar on tunnettu Delphi -vihaaja.
Jätä siis ko. vihaajan delphiä haukkuvat kommentit ihan omaan arvoonsa.
Tähän mennessä Delphillä on voinut kätevästi ratkaista kaikki omat ohjelmointitarpeeni.

JOS tarvitset jossain kohdassa aivan erityistä nopeutta, voit koodata myös assembleria sekaan.
Tämä antaa mahdollisuuden esim. SIMD (Single Instruction, Multiple Data) -käskykannan käyttöön.

Jos matemaattisia algoritmeja ohjelmoit, huomaa:

Delphissä kannattaa käyttää SinCos -proseduuria (uses Math) sen sijaan, että kutsut erikseen Sin ja Cos -funktiota.

Siis jos samasta argumentista tarvitsee laskea sekä sini että kosini, SinCos -proseduurin käyttö on melkein 2 kertaa nopeampaa kuin se, että samasta argumentista laskettaisiin erikseen sini ja kosini, Sin ja Cos -funktioita käyttäen.

Delphin uusimman version osalta:

http://docwiki.embarcadero.com/Libraries/Tokyo/en/System.Math

http://docwiki.embarcadero.com/Libraries/Tokyo/en/System.Math.SinCos



tosin: tuo "big data" tuntuu olevan tietotekniikka-alan muotisanoja.

Siis konsultit rahastavat idealla.

Toki dataa joissakin tarkoituksissa kannattaakin analysoida, mutta kannattaisi välttää ns. ylianalysointia (joka on resurssien tuhlaamista).

Delphi -koodi on luettavaa ja ymmärrettävää vielä 10 tai 20 vuodenkin kuluttua.
Monestako muusta kielestä voi sanoa samaa ?

Pythoniin ja varmaan R:äänkin voi tehdä lisäosia C:llä ja C :lla, että sillä tavalla ainakin saisit vauhtia niihin kriittisiin kohtiin mutta voisit muuten pysyä niissä kielissä, missä on nuuten jo parhaat työkalut tuohon hommaan.

C ja C sinäänsä molemmat ovat loistavia kieliä, kun on tarve päästä lähemmäs rautaa.

Itse alkaisin vain kokeilemaan . . .

Tuleeko python nimi käärmeen hitaasta tavasta luikerrella pusikoissa?

Haskell ilman muuta. Kääntyy todella nopeaksi C--:ksi.

Kun kerran olet matemaatikko, Haskell käy myös parhaiten järkeesi ja abstraktiot vaikuttaa siinä muutenkin matemaattisiin teorioihin perustuvilta.

Jos olet huono koodari niin sinun kirjoittamasi koodisi on aina hidasta. Ei asiat vaihtamalla parane

Fortran 90/95, 2003 voisi olla tarkoitukseesi sopiva.

Kokeilepa Delphiä !

Nopeudeltaan n. 90-99 % C:n ja C :n nopeudesta, jos et käytä ns. inline assemblyä (mahdollisuus kirjoittaa assembleria Delphi -koodin sekaan).

Jos taas käytät ns. inline assemblyä, niin Delphi -ohjelma voi olla jopa nopeampi kuin C tai C -ohjelma (edellyttää toki assemblerin hyvää osaamista).

Ei ehkä suosituin väline, mutta osaavissa käsissä erittäin tehokas - Tarjoaa pätevämmän välineen kuin C ja C mutta ei ole läheskään niin virhealtis !

Vinkki:

Käännä kaikki koodisi

{$R }

tai

{$Rangecheck ON}

-tilassa. Silloin suurin osa koodiasi on 100% turvassa puskurin ylivuotohaavoittuvuuksilta. (toki tuo hieman hidastaa suoritusnopeutta, mutta ei kovin paljoa).

Huomaa:

Kun kutsut sellaisia aliohjelmia, jotka ottavat osoitin- eli pointteriparametreja tai tyypittömiä parametreja, tällöin kääntäjä ei {$Rangecheck ON} -tilassakaan kykene varmistamaan, että kutsusi on oikein koodattu (siis tällöin varomattomalla koodauksella on edelleen olemassa riski puskurin ylivuotohaavoittuvuuksien syntymiselle).

Eli kun käytät em. aliohjelmia, silloin ei riitä, että olet huolellinen, vaan silloin pitää olla äärimmäisen huolellinen !

Tässä oma epätäydellinen lista em. kaltaisista aliohjelmista:

BlockRead()
BlockWrite()
FillChar()
Move()
ZeroMemory()

TStream.Write()
TStream.WriteBuffer()
TStream.Read()
TStream.ReadBuffer()

JOS käytät suoraan ns. Windows API -kutsuja, näissä on paljon lisääkin tällaisia.

Kaikkia näitä kutsuttaessa noudata äärimmäistä huolellisuutta.

MUTTA:

Jos ohjelmoisit C tai C -kielillä, niin noiden kielten alkeellisuuden ja turvattomuuden takia joka ikisellä koodirivillä pitäisi noudattaa äärimmäistä huolellisuutta, teetpä mitä tahansa (jos et toimi näin, niin C/C johtaa väistämättä puskurin ylivuotohaavoittuvuuksien syntyyn).

Voit itse miettiä, kumpi on helpompaa:

a) Noudattaa äärimmäistä huolellisuutta JOKAISELLA kirjoittamallasi koodirivillä
(tarpeen, jos koodaat C tai C -kielillä)

vai

b) Noudattaa äärimmäistä huolellisuutta vain, kun kutsut aliohjelmia, jotka ottavat tyypittömiä tai osoitinparametrejä, muuten riittää ihan tavallinen huolellisuus (jos koodaat Delphillä).

Ennustus: Hetken päästä M-Kar kirjoittaa, kuinka huono Delphi on.

Oma neuvoni: jätä nuo kommentit omaan arvoonsa, ei niitä tarvitse ottaa tosissaan.

Itse olen koodannut Delphillä 1995 alkaen, ja lopputuloksena syntyy laadukkaita ohjelmia, jotka tekevät halutun asian, eivät sekoile, eivätkä sisällä tietoturvan vaarantavia haavoittuvuuksia.

Assembly Language :D

Itseäni oikeastikin huvittaa miten voi myydä jotain läppåäriä alle TERA-tavun kiintolevbyllä, täyttä huijausta, eihän yhteen teratavuun mahdu yhdään dataa.

Ehdotan Seagate Barracuda 1TB jokaiseen läppäriin vaatimukseksi.