Eli täysyisi hakea tieto erilaisilta sivuilta ja tallentaa ne suoraan database'ihin - niin kuin Googlella, mutta hieman yksityiskohtaisempaa hakua. Vaatimuksina olisi käyttäjä kohtainen helppous ja nopeus. Olisi myös suotavaa, että koodi olisi helposti päivitettävissä.
Rohkaisevia ehdotuksia tehokkaaseen tiedonhakuun palvelimelle?
KIITOS
Mikä on tehokas kieli tiedon hakuun?
2
1726
Vastaukset
- Otsikko
Perl
- azk.py
Ilmeisesti tarvitset kieltä, jossa on helpot kirjastot www-sivujen hakuun, mukavat rajapinnat tietokantojen käsittelyyn ja tehokkaat funktiot merkkijonojen käsittelyyn (ellet sitten halua tunkea tietokantaan hakemaasi sivua ihan sellaisenaan).
Sivun hakeminen onnistuu Pythonilla näin:
import urllib2
sivu=urllib2.urlopen("http://blaablaa").read()
ja tietokantoja voi käsitellä seuraavilla kirjastoilla:
http://www.python.org/topics/database/modules.html
Perlillä www-sivu haetaan näin:
use LWP::Simple;
$sivu = get 'http://blaablaa';
ja tietokantoihin pääsee käsiksi DBD-kirjastoilla:
http://search.cpan.org/search?m=module&q=DBD::&s=1
www-sivujen sisällön jäsennykseen (tai ylipäätään merkkijonojen käsittelyyn) molemmissa kielissä on tehokkaat säännölliset lausekkeet:
http://docs.python.org/lib/module-re.html
http://www.perl.com/doc/manual/html/pod/perlre.html
***
En nyt tiedä, millaista tietoa olet tallentamassa tietokantaan, ja saattaa toki olla, että tarvitset tietokantaa ihan oikeasti. Minulle on kuitenkin tullut vastaan niin usein tilanteita, joissa tietokantaa käytetään aivan turhaan, että pitää heittää vielä vinkki. Monissa tilanteissa muilla tallennusmuodoilla, esimerkiksi pelkillä tekstitiedostoilla, olisi saatu aikaan paljon vähemmän tilaa vievä, paljon nopeammin toimiva ja paljon yksinkertaisempi ohjelma. Tietokantaa on käytetty vain siksi, että tekijät ovat niin tottuneet käyttämään sitä, etteivät osaa ajatellakaan vaihtoehtoja.
Ketjusta on poistettu 0 sääntöjenvastaista viestiä.
Luetuimmat keskustelut
Hoitajalakko peruuntuu, tilalle joukkoirtisanoutumiset
"Tehyn ja Superin hallitukset kokoontuivat tänään toteamaan, että tilanne edellyttää järeämpiä työtaistelutoimia." https://www.hs.fi/politiikka/art-27399126Johan tuli oikea aivopieru Britti Lordilta
Emeritusprofessori Lordi Robert Skidelsky sanoi Suomen rikkovan YYA sopimusta joka on tehty Neuvostoliiton kanssaa 1948. Mitä pir3737846Tehyn Rytkösellä tallessa tekstiviestit A-studiokohussa
https://www.mtvuutiset.fi/artikkeli/a-studiosta-kohu-tehyn-rytkosen-mukaan-ministeri-linden-sai-paattaa-osallistujat-ohjelma-kiistaa-vaitteen/84070681605503William ja Sonja Aiello ERO
Hyvä Sonja! Nyt etsit uudet kaverit ja jätät nuo huume- ja rahanpesu porukat haisemaan taaksesi!542316Oho! Seurapiirikaunotar, ex-missi Sabina Särkkä yllättää tällä harvinaisella kyvyllä: "Mulla on..."
Sabina Särkkä on nähty monissa tv-reality-sarjoissa. Mutta tiesitkö, että Särkällä on valokuvamuisti? https://www.suomi24.fi/viihde/oho-seurapiirikaun62076Se siitä sitten
Kirjoitan tänne kun en sulle voi. En vaivaa sua enää koskaan. En ikinä tarkoittanut olla ahdistava tai takertuva. Tunteet heräsi enkä osannut olla tyy821717Ohhoh! Rita Niemi-Manninen otti ison tatuoinnin - Herätti somekansan: "Täydellinen paikka!"
Rita Niemi-Mannisen suuri, uusi tatuointi on saanut somekansan heräämään talvihorroksesta. Niemi-Manninen otti tatskan rakkauslomalla Aki-miehensä kan191659Ihastumisesta kertominen
Olen päättänyt kertoa tunteistani ihastukseni kohteelle. Erityisen vaikeaksi tilanteeni tekee se, että kyseessä on ns. kielletty rakkaus. Olen jo toi921396Taas Venäjän tiedoittaja akka Varoitti Suomea ja Ruotsia liittymästä Natoon
Juuri sopivasti julkaistu varoitus, kun Suomen eduskunta alkaa klo 13:50 käsitellä asiaa suorassa TV 1:n lähetyksessä. ILtasanomat.4391332Stefusika räkättää
kun on viikon ollut kuivilla ja poliisi puhalluttaa just silloin. Muutoin olis jääny kiinni. Ja sekös sikamiestä hirnuttaa. Ällö ukko ja vielä ällömmä801199