Eli täysyisi hakea tieto erilaisilta sivuilta ja tallentaa ne suoraan database'ihin - niin kuin Googlella, mutta hieman yksityiskohtaisempaa hakua. Vaatimuksina olisi käyttäjä kohtainen helppous ja nopeus. Olisi myös suotavaa, että koodi olisi helposti päivitettävissä.
Rohkaisevia ehdotuksia tehokkaaseen tiedonhakuun palvelimelle?
KIITOS
Mikä on tehokas kieli tiedon hakuun?
2
1746
Vastaukset
- Otsikko
Perl
- azk.py
Ilmeisesti tarvitset kieltä, jossa on helpot kirjastot www-sivujen hakuun, mukavat rajapinnat tietokantojen käsittelyyn ja tehokkaat funktiot merkkijonojen käsittelyyn (ellet sitten halua tunkea tietokantaan hakemaasi sivua ihan sellaisenaan).
Sivun hakeminen onnistuu Pythonilla näin:
import urllib2
sivu=urllib2.urlopen("http://blaablaa").read()
ja tietokantoja voi käsitellä seuraavilla kirjastoilla:
http://www.python.org/topics/database/modules.html
Perlillä www-sivu haetaan näin:
use LWP::Simple;
$sivu = get 'http://blaablaa';
ja tietokantoihin pääsee käsiksi DBD-kirjastoilla:
http://search.cpan.org/search?m=module&q=DBD::&s=1
www-sivujen sisällön jäsennykseen (tai ylipäätään merkkijonojen käsittelyyn) molemmissa kielissä on tehokkaat säännölliset lausekkeet:
http://docs.python.org/lib/module-re.html
http://www.perl.com/doc/manual/html/pod/perlre.html
***
En nyt tiedä, millaista tietoa olet tallentamassa tietokantaan, ja saattaa toki olla, että tarvitset tietokantaa ihan oikeasti. Minulle on kuitenkin tullut vastaan niin usein tilanteita, joissa tietokantaa käytetään aivan turhaan, että pitää heittää vielä vinkki. Monissa tilanteissa muilla tallennusmuodoilla, esimerkiksi pelkillä tekstitiedostoilla, olisi saatu aikaan paljon vähemmän tilaa vievä, paljon nopeammin toimiva ja paljon yksinkertaisempi ohjelma. Tietokantaa on käytetty vain siksi, että tekijät ovat niin tottuneet käyttämään sitä, etteivät osaa ajatellakaan vaihtoehtoja.
Ketjusta on poistettu 0 sääntöjenvastaista viestiä.
Luetuimmat keskustelut
- 1293267
- 1091311
Timo Soini tyrmää Tynkkysen selitykset Venäjän putinistileiristä
"Soini toimi ulkoministerinä ja puolueen puheenjohtajana vuonna 2016, jolloin silloinen perussuomalaisten varapuheenjoht2671285Sulla on nainen muuten näkyvät viiksikarvat naamassa jotka pitää poistaa
Kannattaa katsoa peilistä lasien kanssa, ettet saa ihmisiltä ikäviä kommentteja.651096Nainen voi rakastaa
Ujoakin miestä, mutta jos miestä pelottaa näkeminenkin, niin aika vaikeaa on. Semmoista ei varmaan voi rakastaa. Miehelt791061Kalateltta fiasko
Onko Tamperelaisyrittäjälle iskenyt ahneus vai mistä johtuu että tänä vuonna ruuat on surkeita aikaisempiin vuosiin verr141056IS Viikonloppu 20.-21.7.2024
Tällä kertaa Toni Pitkälä esittelee piirrostaitojansa nuorten pimujen, musiikkibändien ja Raamatun Edenin kertomusten ku57979- 30976
Ikävöimäsi henkilön ikä
Minkä ikäinen kaipauksen kohteenne on? Onko tämä vain plus 50 palsta vai kaivataanko kolme-neljäkymppisiä? Oma kohde mie42944- 46854