Mikä on tehokas kieli tiedon hakuun?

Kiitoss

Eli täysyisi hakea tieto erilaisilta sivuilta ja tallentaa ne suoraan database'ihin - niin kuin Googlella, mutta hieman yksityiskohtaisempaa hakua. Vaatimuksina olisi käyttäjä kohtainen helppous ja nopeus. Olisi myös suotavaa, että koodi olisi helposti päivitettävissä.

Rohkaisevia ehdotuksia tehokkaaseen tiedonhakuun palvelimelle?

KIITOS

2

1757

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • Otsikko

      Perl

    • azk.py

      Ilmeisesti tarvitset kieltä, jossa on helpot kirjastot www-sivujen hakuun, mukavat rajapinnat tietokantojen käsittelyyn ja tehokkaat funktiot merkkijonojen käsittelyyn (ellet sitten halua tunkea tietokantaan hakemaasi sivua ihan sellaisenaan).

      Sivun hakeminen onnistuu Pythonilla näin:

      import urllib2
      sivu=urllib2.urlopen("http://blaablaa").read()

      ja tietokantoja voi käsitellä seuraavilla kirjastoilla:

      http://www.python.org/topics/database/modules.html


      Perlillä www-sivu haetaan näin:

      use LWP::Simple;
      $sivu = get 'http://blaablaa';

      ja tietokantoihin pääsee käsiksi DBD-kirjastoilla:

      http://search.cpan.org/search?m=module&q=DBD::&s=1


      www-sivujen sisällön jäsennykseen (tai ylipäätään merkkijonojen käsittelyyn) molemmissa kielissä on tehokkaat säännölliset lausekkeet:

      http://docs.python.org/lib/module-re.html

      http://www.perl.com/doc/manual/html/pod/perlre.html

      ***

      En nyt tiedä, millaista tietoa olet tallentamassa tietokantaan, ja saattaa toki olla, että tarvitset tietokantaa ihan oikeasti. Minulle on kuitenkin tullut vastaan niin usein tilanteita, joissa tietokantaa käytetään aivan turhaan, että pitää heittää vielä vinkki. Monissa tilanteissa muilla tallennusmuodoilla, esimerkiksi pelkillä tekstitiedostoilla, olisi saatu aikaan paljon vähemmän tilaa vievä, paljon nopeammin toimiva ja paljon yksinkertaisempi ohjelma. Tietokantaa on käytetty vain siksi, että tekijät ovat niin tottuneet käyttämään sitä, etteivät osaa ajatellakaan vaihtoehtoja.

    Ketjusta on poistettu 0 sääntöjenvastaista viestiä.

    Luetuimmat keskustelut

    1. 536
      8662
    2. Aamuseuraa/rehevää naista

      uhkean rehevät m-xxxl naiset/rouvat/pari 18-80v kutsu luokses 31.1 aamusta päiväpanoille 32v hetero mies.oon innokas nuo
      Keuruu
      5
      3708
    3. 24h Kirppis

      Olen muuttamassa paikkakunnalle ja mietin olisiko tälläiselle liikkeelle tarvetta alueella?
      Jämsä
      10
      2231
    4. Suomessa eletään liian pitkään

      "Ihmisten on kuoltava" Asiantuntija varoittaa: Suomi ei ole valmis siihen, että niin moni elää pitkään: ”Kaiken täytyy
      Maailman menoa
      167
      1242
    5. Kerotakaa joensuun kontiolahden paiholan laitoksesta jotain

      Mun kaveri joutuu paiholan laitokseen nyt lähi aikoina niin voisko ihmiset kertoa minkälaista siellä on tarinoita jne ja
      Joensuu
      17
      896
    6. Sun ulkonäkö on

      Kyllä viehättävä. Kauniit piirteet. Todella sievät. Ja olemus on ihana. Olet tehnyt vaikutuksen.
      Ikävä
      40
      784
    7. Olen niin haaveillut

      Sinusta. Ollut hullun rakastunut. Ajatellut kaikkea mitä yhdessä voisimme tehdä. Mutta ei ei yhtään mitään. Usko vaan lo
      Ikävä
      57
      752
    8. Oletko koskaan

      Tavannut/tuntenut ihmistä, jonka kanssa vuosisadan rakkaustarina olisi ollut mahdollinen, mutta joku este tuli väliin?
      Sinkut
      72
      744
    9. Näyttääkö kaivattusi

      Miten hyvältä ❤️
      Ikävä
      46
      725
    10. En voi ottaa

      Jos ikinä aiot ottaa yhteyttä, niin tee se nyt. On aika, kun todella todella tarvitsisin sinua. Naiselle.
      Ikävä
      36
      657
    Aihe