Pythonia nopeampi kieli datatieteeseen hakusessa

Pitäisi opetella joku Pythonia ja R:ää nopeampi kieli, kun haluaisin opetella big data-analyysiä. Olen koulutukseltani matemaagikko. Sanokaahan vinkkejä, mitä kannattaisi opetella? Kuulemma C, C++ ja Julia voisivat tulla kysymykseen, mutta miten käteviä kukin olisi datatieteessä? Löytyykö paketteja, jotka hoitavat symbolisen ja numeerisen algebran sekä tilastollliset testit suoraan vai pitääkö kaikki vääntää itse?
Ilmianna
Jaa

17 Vastausta


Eipä siihen taida olla muita vaihtoehtoja kuin Fortran-ohjelmontikieli. Uusin standardoitu versio on Fortran 2008. Saatavilla tilastollisia yms. aliohjelmakirjastoja. On kääntäjällä käännettävä kieli. Voi käyttää yhdessä R-kielen kanssa.
Ilmianna
Jaa
Vai "matemaagikko", kirjoitusvirheistä päätellen, et ole vielä kansakoulua suorittanut.
Ilmianna
Jaa
Esim. Pascal on kertaluokkaa nopeampi kieli kuin Python mutta paljon riippuu siitä minkälaista algoritmiä ja / tai kirjastoa käyttää.

Tässä jotain linkkejä:
http://wiki.freepascal.org/Functions_for_descriptive_statistics
http://wiki.freepascal.org/NumLib_Documentation
http://wiki.freepascal.org/Category:Statistical_algorithms
Ilmianna
Jaa
Työkalu riippuu ratkaistavasta ongelmasta. Kivikautisten työkalujen valintaa tarvitsee vähän perustella että miksi kun kerran parempiakin on.
Ilmianna
Jaa
Minä käyttäisin C++ -kieltä. Tehokas, ohjelmistoteknisesti OK. Kirjastoja löytyy maailmalta.
Kommentoi
Ilmianna
Jaa
1 VASTAUS:
C++:n käyttöä puoltaa lähinnä OpenMP.
Kommentoi
Ilmianna
Jaa
+Lisää kommentti
Kannattaa kokeilla Delphiä. Tai sen ilmaista "kloonia" FreePascalia (ja Lazarusta jos haluat graafisen paikallisen käyttöliittymän).

Toki voit C -kieltäkin käyttää, mutta jos kokeilet molempia, huomaat nopeasti, että C -kieli muodostuu sitä hankalammaksi, mitä monimutkaisempi ohjelmia kirjoitat.

Delphillä ei käy näin.

HUOM: M-Kar on tunnettu Delphi -vihaaja.
Jätä siis ko. vihaajan delphiä haukkuvat kommentit ihan omaan arvoonsa.
Tähän mennessä Delphillä on voinut kätevästi ratkaista kaikki omat ohjelmointitarpeeni.

JOS tarvitset jossain kohdassa aivan erityistä nopeutta, voit koodata myös assembleria sekaan.
Tämä antaa mahdollisuuden esim. SIMD (Single Instruction, Multiple Data) -käskykannan käyttöön.

Jos matemaattisia algoritmeja ohjelmoit, huomaa:

Delphissä kannattaa käyttää SinCos -proseduuria (uses Math) sen sijaan, että kutsut erikseen Sin ja Cos -funktiota.

Siis jos samasta argumentista tarvitsee laskea sekä sini että kosini, SinCos -proseduurin käyttö on melkein 2 kertaa nopeampaa kuin se, että samasta argumentista laskettaisiin erikseen sini ja kosini, Sin ja Cos -funktioita käyttäen.

Delphin uusimman version osalta:

http://docwiki.embarcadero.com/Libraries/Tokyo/en/System.Math

http://docwiki.embarcadero.com/Libraries/Tokyo/en/System.Math.SinCos

tosin: tuo "big data" tuntuu olevan tietotekniikka-alan muotisanoja.

Siis konsultit rahastavat idealla.

Toki dataa joissakin tarkoituksissa kannattaakin analysoida, mutta kannattaisi välttää ns. ylianalysointia (joka on resurssien tuhlaamista).

Delphi -koodi on luettavaa ja ymmärrettävää vielä 10 tai 20 vuodenkin kuluttua.
Monestako muusta kielestä voi sanoa samaa ?
Kommentoi
Ilmianna
Jaa
1 VASTAUS:
"Tähän mennessä Delphillä on voinut kätevästi ratkaista kaikki omat ohjelmointitarpeeni."

No jokos sait tehtyä sillä Chromeen lisäosan?

"JOS tarvitset jossain kohdassa aivan erityistä nopeutta, voit koodata myös assembleria sekaan. Tämä antaa mahdollisuuden esim. SIMD (Single Instruction, Multiple Data) -käskykannan käyttöön."

Paremmissa välineissä ei tarvitse käyttää assembleria, kuten käyttämällä vaikka OpenMP:tä: https://www.openmp.org/

"Delphi -koodi on luettavaa ja ymmärrettävää vielä 10 tai 20 vuodenkin kuluttua."

Miksi se on jo nyt heikompaa kuin monet muut?
Kommentoi
Ilmianna
Jaa
+Lisää kommentti
Pythoniin ja varmaan R:äänkin voi tehdä lisäosia C:llä ja C++:lla, että sillä tavalla ainakin saisit vauhtia niihin kriittisiin kohtiin mutta voisit muuten pysyä niissä kielissä, missä on nuuten jo parhaat työkalut tuohon hommaan.

C ja C++ sinäänsä molemmat ovat loistavia kieliä, kun on tarve päästä lähemmäs rautaa.

Itse alkaisin vain kokeilemaan . . .
Ilmianna
Jaa
Tuleeko python nimi käärmeen hitaasta tavasta luikerrella pusikoissa?
Kommentoi
Ilmianna
Jaa
7 VASTAUSTA:
Ei ole niin liukas. Wikipedia kertoo:

"Python on alun perin nimetty brittiläisen komediaryhmä Monty Pythonin tunnetun Monty Pythonin lentävä sirkus -televisiosarjan mukaan. Python-nimi koettiin lisäksi tarpeeksi lyhyeksi, yksilöiväksi sekä sopivan mysteeriseksi."
Kommentoi
Ilmianna
Jaa
QT lla on kivakoodata C++ kielellä ja lopputulos taittuu helposti eri alustoille.
Kommentoi
Ilmianna
Jaa
bööörb kirjoitti:
QT lla on kivakoodata C++ kielellä ja lopputulos taittuu helposti eri alustoille.
Jollakin tavalla se sovelluksen liittymä kielii, mistä kehitysympäristöstä tuotos on lähtöisin. Tuskin kenellekkään tästä tulee mieleen Lazaus: https://i.imgur.com/x2uSvBy.gif
Kommentoi
Ilmianna
Jaa
bööörb kirjoitti:
QT lla on kivakoodata C++ kielellä ja lopputulos taittuu helposti eri alustoille.
Tuossa edellisessä ei ollut edes yritystä saada Qt Creatorista peräisin tulevaa tunniste perimää sovellukseen, mutta tässä jo oli, mutta satavarmasti alkuperän tunnistaa silti:
https://i.imgur.com/IU1QsQF.gif
Kommentoi
Ilmianna
Jaa
Arvaustoimisto kirjoitti:
Ei ole niin liukas. Wikipedia kertoo:

"Python on alun perin nimetty brittiläisen komediaryhmä Monty Pythonin tunnetun Monty Pythonin lentävä sirkus -televisiosarjan mukaan. Python-nimi koettiin lisäksi tarpeeksi lyhyeksi, yksilöiväksi sekä sopivan mysteeriseksi."
Qt Creatori asentuu Mintissä näin:

sudo apt-get install qtcreator
sudo apt-get install qtdeclarative5-dev
sudo apt-get install g++
Kommentoi
Ilmianna
Jaa
Turbo-Urpo1 kirjoitti:
Tuossa edellisessä ei ollut edes yritystä saada Qt Creatorista peräisin tulevaa tunniste perimää sovellukseen, mutta tässä jo oli, mutta satavarmasti alkuperän tunnistaa silti:
https://i.imgur.com/IU1QsQF.gif
Hämäävästi näyttää XP:ltä tuo sinun systeemi, mutta XP:ssä ei tosin ole ikkunoiden nimet yläpalkin keskellä ainakaan oletuksena, että se paljastaa . . .

Kyseessä lienee jokin linux?
Kommentoi
Ilmianna
Jaa
trollerson kirjoitti:
Hämäävästi näyttää XP:ltä tuo sinun systeemi, mutta XP:ssä ei tosin ole ikkunoiden nimet yläpalkin keskellä ainakaan oletuksena, että se paljastaa . . .

Kyseessä lienee jokin linux?
Linux _Mint 19 Xfce 64-bit + XP-teema.
Kommentoi
Ilmianna
Jaa
+Lisää kommentti

Vastaa alkuperäiseen viestiin

Pythonia nopeampi kieli datatieteeseen hakusessa

Pitäisi opetella joku Pythonia ja R:ää nopeampi kieli, kun haluaisin opetella big data-analyysiä. Olen koulutukseltani matemaagikko. Sanokaahan vinkkejä, mitä kannattaisi opetella? Kuulemma C, C++ ja Julia voisivat tulla kysymykseen, mutta miten käteviä kukin olisi datatieteessä? Löytyykö paketteja, jotka hoitavat symbolisen ja numeerisen algebran sekä tilastollliset testit suoraan vai pitääkö kaikki vääntää itse?

5000 merkkiä jäljellä

Peruuta