Eli täysyisi hakea tieto erilaisilta sivuilta ja tallentaa ne suoraan database'ihin - niin kuin Googlella, mutta hieman yksityiskohtaisempaa hakua. Vaatimuksina olisi käyttäjä kohtainen helppous ja nopeus. Olisi myös suotavaa, että koodi olisi helposti päivitettävissä.
Rohkaisevia ehdotuksia tehokkaaseen tiedonhakuun palvelimelle?
KIITOS
Mikä on tehokas kieli tiedon hakuun?
2
1828
Vastaukset
- Otsikko
Perl
- azk.py
Ilmeisesti tarvitset kieltä, jossa on helpot kirjastot www-sivujen hakuun, mukavat rajapinnat tietokantojen käsittelyyn ja tehokkaat funktiot merkkijonojen käsittelyyn (ellet sitten halua tunkea tietokantaan hakemaasi sivua ihan sellaisenaan).
Sivun hakeminen onnistuu Pythonilla näin:
import urllib2
sivu=urllib2.urlopen("http://blaablaa").read()
ja tietokantoja voi käsitellä seuraavilla kirjastoilla:
http://www.python.org/topics/database/modules.html
Perlillä www-sivu haetaan näin:
use LWP::Simple;
$sivu = get 'http://blaablaa';
ja tietokantoihin pääsee käsiksi DBD-kirjastoilla:
http://search.cpan.org/search?m=module&q=DBD::&s=1
www-sivujen sisällön jäsennykseen (tai ylipäätään merkkijonojen käsittelyyn) molemmissa kielissä on tehokkaat säännölliset lausekkeet:
http://docs.python.org/lib/module-re.html
http://www.perl.com/doc/manual/html/pod/perlre.html
***
En nyt tiedä, millaista tietoa olet tallentamassa tietokantaan, ja saattaa toki olla, että tarvitset tietokantaa ihan oikeasti. Minulle on kuitenkin tullut vastaan niin usein tilanteita, joissa tietokantaa käytetään aivan turhaan, että pitää heittää vielä vinkki. Monissa tilanteissa muilla tallennusmuodoilla, esimerkiksi pelkillä tekstitiedostoilla, olisi saatu aikaan paljon vähemmän tilaa vievä, paljon nopeammin toimiva ja paljon yksinkertaisempi ohjelma. Tietokantaa on käytetty vain siksi, että tekijät ovat niin tottuneet käyttämään sitä, etteivät osaa ajatellakaan vaihtoehtoja.
Ketjusta on poistettu 0 sääntöjenvastaista viestiä.
Luetuimmat keskustelut
Lindtman I vasemmistohallitus aloittaa viimein Suomen kuntoon laittamisen
Tässä nyt on 3 vuotta seurattu irvokasta kärsimysnäytelmää nimeltään "valtion budjetin tasapainotus by äärioikeisto", ja1802653Missä viipyy persujen lupaama euron bensa?
En edes muista milloin bensapumpussa olisi ollut ykkösellä alkava litrahinta. Missä siis viipyy persujen lupaama euron b1482407Kirje, PellePelottomalle.
Tärkeää olisi luoda ystävyys, että se, jota rakastaa, on samalla paras ystävä ja luotettavin, jolle voi ja uskaltaa luot1051111- 64911
- 65869
Mistä löytyy naisseuraa sinkkumiehelle?
Kertokaapas kokeneemmat mistä löytyis naisseuraa sinkulle. Ihan ois eukko nyt tosissaan hakusessa. Tanssipaikat kun on a20780Martinan hevoset.
Tämä todella kaunis ja ketterä harmaa hevonen jolla monet kilpailut voitetaan ei ole Martinan.Tytär ratsastaa sillä tait233779Persut jakavat tekoälyllä tehtyjä kuvia maahanmuuttajista somessa
Eivät mainitse, että ovat tekoälyllä tehtyjä. Eivät näe asiassa mitään ongelmaa. Valehtelijapuolue taas vauhdissa. Unka277754Voi teitä naisia
Suudeltiin ja nukuttiin toisissamme kiinni mutta pillua ei tullu, ei edes aamulla. t.38vmies88749Hyvä meininki
TTP:ssa väkeä tosi runsaasti paikalla. Hyvää ruokaa jälleen ja munkit ja sima erinomaista. Kiitos yrittäjälle! Hieno Vap22698