Mikä on tehokas kieli tiedon hakuun?

Kiitoss

Eli täysyisi hakea tieto erilaisilta sivuilta ja tallentaa ne suoraan database'ihin - niin kuin Googlella, mutta hieman yksityiskohtaisempaa hakua. Vaatimuksina olisi käyttäjä kohtainen helppous ja nopeus. Olisi myös suotavaa, että koodi olisi helposti päivitettävissä.

Rohkaisevia ehdotuksia tehokkaaseen tiedonhakuun palvelimelle?

KIITOS

2

1828

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • Otsikko

      Perl

    • azk.py

      Ilmeisesti tarvitset kieltä, jossa on helpot kirjastot www-sivujen hakuun, mukavat rajapinnat tietokantojen käsittelyyn ja tehokkaat funktiot merkkijonojen käsittelyyn (ellet sitten halua tunkea tietokantaan hakemaasi sivua ihan sellaisenaan).

      Sivun hakeminen onnistuu Pythonilla näin:

      import urllib2
      sivu=urllib2.urlopen("http://blaablaa").read()

      ja tietokantoja voi käsitellä seuraavilla kirjastoilla:

      http://www.python.org/topics/database/modules.html


      Perlillä www-sivu haetaan näin:

      use LWP::Simple;
      $sivu = get 'http://blaablaa';

      ja tietokantoihin pääsee käsiksi DBD-kirjastoilla:

      http://search.cpan.org/search?m=module&q=DBD::&s=1


      www-sivujen sisällön jäsennykseen (tai ylipäätään merkkijonojen käsittelyyn) molemmissa kielissä on tehokkaat säännölliset lausekkeet:

      http://docs.python.org/lib/module-re.html

      http://www.perl.com/doc/manual/html/pod/perlre.html

      ***

      En nyt tiedä, millaista tietoa olet tallentamassa tietokantaan, ja saattaa toki olla, että tarvitset tietokantaa ihan oikeasti. Minulle on kuitenkin tullut vastaan niin usein tilanteita, joissa tietokantaa käytetään aivan turhaan, että pitää heittää vielä vinkki. Monissa tilanteissa muilla tallennusmuodoilla, esimerkiksi pelkillä tekstitiedostoilla, olisi saatu aikaan paljon vähemmän tilaa vievä, paljon nopeammin toimiva ja paljon yksinkertaisempi ohjelma. Tietokantaa on käytetty vain siksi, että tekijät ovat niin tottuneet käyttämään sitä, etteivät osaa ajatellakaan vaihtoehtoja.

    Ketjusta on poistettu 0 sääntöjenvastaista viestiä.

    Luetuimmat keskustelut

    1. Lindtman I vasemmistohallitus aloittaa viimein Suomen kuntoon laittamisen

      Tässä nyt on 3 vuotta seurattu irvokasta kärsimysnäytelmää nimeltään "valtion budjetin tasapainotus by äärioikeisto", ja
      Maailman menoa
      180
      2653
    2. Missä viipyy persujen lupaama euron bensa?

      En edes muista milloin bensapumpussa olisi ollut ykkösellä alkava litrahinta. Missä siis viipyy persujen lupaama euron b
      Maailman menoa
      148
      2407
    3. Kirje, PellePelottomalle.

      Tärkeää olisi luoda ystävyys, että se, jota rakastaa, on samalla paras ystävä ja luotettavin, jolle voi ja uskaltaa luot
      Ikävä
      105
      1111
    4. Meni kyllä aika solmuun

      Meidän tutustuminen 😐
      Ikävä
      64
      911
    5. Sinua oli kiihottavaa

      Sinua nainen oli kiihottavaa katsella.
      Ikävä
      65
      869
    6. Mistä löytyy naisseuraa sinkkumiehelle?

      Kertokaapas kokeneemmat mistä löytyis naisseuraa sinkulle. Ihan ois eukko nyt tosissaan hakusessa. Tanssipaikat kun on a
      Kuhmo
      20
      780
    7. Martinan hevoset.

      Tämä todella kaunis ja ketterä harmaa hevonen jolla monet kilpailut voitetaan ei ole Martinan.Tytär ratsastaa sillä tait
      Kotimaiset julkkisjuorut
      233
      779
    8. Persut jakavat tekoälyllä tehtyjä kuvia maahanmuuttajista somessa

      Eivät mainitse, että ovat tekoälyllä tehtyjä. Eivät näe asiassa mitään ongelmaa. Valehtelijapuolue taas vauhdissa. Unka
      Maailman menoa
      277
      754
    9. Voi teitä naisia

      Suudeltiin ja nukuttiin toisissamme kiinni mutta pillua ei tullu, ei edes aamulla. t.38vmies
      Sinkut
      88
      749
    10. Hyvä meininki

      TTP:ssa väkeä tosi runsaasti paikalla. Hyvää ruokaa jälleen ja munkit ja sima erinomaista. Kiitos yrittäjälle! Hieno Vap
      Haapavesi
      22
      698
    Aihe