Eli täysyisi hakea tieto erilaisilta sivuilta ja tallentaa ne suoraan database'ihin - niin kuin Googlella, mutta hieman yksityiskohtaisempaa hakua. Vaatimuksina olisi käyttäjä kohtainen helppous ja nopeus. Olisi myös suotavaa, että koodi olisi helposti päivitettävissä.
Rohkaisevia ehdotuksia tehokkaaseen tiedonhakuun palvelimelle?
KIITOS
Mikä on tehokas kieli tiedon hakuun?
2
1726
Vastaukset
- Otsikko
Perl
- azk.py
Ilmeisesti tarvitset kieltä, jossa on helpot kirjastot www-sivujen hakuun, mukavat rajapinnat tietokantojen käsittelyyn ja tehokkaat funktiot merkkijonojen käsittelyyn (ellet sitten halua tunkea tietokantaan hakemaasi sivua ihan sellaisenaan).
Sivun hakeminen onnistuu Pythonilla näin:
import urllib2
sivu=urllib2.urlopen("http://blaablaa").read()
ja tietokantoja voi käsitellä seuraavilla kirjastoilla:
http://www.python.org/topics/database/modules.html
Perlillä www-sivu haetaan näin:
use LWP::Simple;
$sivu = get 'http://blaablaa';
ja tietokantoihin pääsee käsiksi DBD-kirjastoilla:
http://search.cpan.org/search?m=module&q=DBD::&s=1
www-sivujen sisällön jäsennykseen (tai ylipäätään merkkijonojen käsittelyyn) molemmissa kielissä on tehokkaat säännölliset lausekkeet:
http://docs.python.org/lib/module-re.html
http://www.perl.com/doc/manual/html/pod/perlre.html
***
En nyt tiedä, millaista tietoa olet tallentamassa tietokantaan, ja saattaa toki olla, että tarvitset tietokantaa ihan oikeasti. Minulle on kuitenkin tullut vastaan niin usein tilanteita, joissa tietokantaa käytetään aivan turhaan, että pitää heittää vielä vinkki. Monissa tilanteissa muilla tallennusmuodoilla, esimerkiksi pelkillä tekstitiedostoilla, olisi saatu aikaan paljon vähemmän tilaa vievä, paljon nopeammin toimiva ja paljon yksinkertaisempi ohjelma. Tietokantaa on käytetty vain siksi, että tekijät ovat niin tottuneet käyttämään sitä, etteivät osaa ajatellakaan vaihtoehtoja.
Ketjusta on poistettu 0 sääntöjenvastaista viestiä.
Luetuimmat keskustelut
Elämä valuu ohi ilman merkitystä
Olen 5-kymppinen korkeasti koulutettu hyvässä ja vaativassa työssä oleva mies. Erosin pitkästä parisuhteesta pari vuotta3175743Martina julkaisi romanttisia kuvia kihlajaisista
Ihana pari. Paljon onnea ja rakkautta heille 💞2751610Ilo, joka nousee silmiisi saakka
kun katseemme kohtaavat. Olet energinen, aito, ihana. Välillä tuijotat suoraan silmiini - enkä hämmenny, katson takaisin661496eerikäinen novassa sanoi ei kukaan enää aja manuaalivaihteilla
meillä on 3 autoa talissa ja kaikissa manuaalilaatikot, on meillä vielä tämmöiset vaikka toisin puhutaan.1291453Gekkosessa hyvä juttu Sofian Dubai "töistä"
"Vielä tammikuussa Belórf lupaili aloittavansa jälleen verkkovalmennukset, mutta tämä projekti näyttää kuihtuneen kaikes1101386- 941325
En oikeasti
Tiennyt että sinulla on ollut vaikeuksia ja huonoja aikoja. Olen oikeasti pahoillani, ja olisin myös toiminut eritavoin1311232Jokaisella on omat syntinsä
Minä olisin niin mielelläni sinun. Ehkä joskus viittasitkin siihen. Olet nainen ajatuksissani jatkuvasti ja taidat tietä591146- 37956
- 172948