Python, verkkosivujen haku

pythonnoviisi

Miten tehdään ohjelma, jolla voisi luetella kaikkien annetun nettisivun alasivut? Siis jos vaikkapa annan osoitteeksi

http://keskustelu.suomi24.fi/ , niin se osaisi antaa muiden muassa sivun http://keskustelu.suomi24.fi/debate/3341 mutta ei sivua http://keskustelu.suomi24.fi/dekate/3341 Tai että sivua https://fi.wikipedia.org/wiki/17._tammikuutajjjjj ei oteta luetteloon mutta https://fi.wikipedia.org/wiki/17._tammikuuta otetaan. Varmaankin on olemassa tehokkaampikin tapa kuin kaikkien eri osoitteiden läpikäynti

4

162

Äänestä

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • aadfadadas

      1. Lataa sivu
      2. Parseta se
      3. Poimi linkit
      4. ???

      Sivujen lataamiseen löytyy kaikki tarvittava urllib2 -moduulista. Jos vähänkään monimutkaisemmasta on kyse niin on suositeltavaa käyttää Requests -moduulia joka tekee siitä inhimillisempää (http://docs.python-requests.org/en/latest/)

      Linkkien poimiminen onnistuu toki suoraan sivun datasta kaivelemallakin. Mutta miksi nähdä sitä vaivaa kun on olemassa Beautiful Soup? Parsetat sivun souppia käyttämällä ja sen kun poimit linkit DOM:sta
      http://www.crummy.com/software/BeautifulSoup/

      Ja jos johonkin oikeeseen tarpeeseen tulee niin kannattaa tarkistaa onko jotain valmista soveltuvaa jo olemassa.
      http://blog.adlibre.org/2011/06/03/extracting-all-links-website-using-wget/

      • pythonnoviisi

        Niin. Ajattelin lähinnä, että miten saan selville ne sivut, joihin ei ole linkkiä muilta sivuilta.

      • pythonnoviisi
      • aaaasdadsa

    Ketjusta on poistettu 0 sääntöjenvastaista viestiä.

    Takaisin ylös

    Luetuimmat keskustelut

    1. Huomenta ihana

      Kauniskasvoinen ihanuus 😘 saan sut vielä
      Ikävä
      40
      6983

    2. Hei rakas...

      Miten on työpäivä sujunut? Rakastan sinua 💗
      Ikävä
      32
      3948

    3. Ei tämä etene ikinä

      Kun kumpikaan ei enää ota yhteyttä. Mä en ainakaan uskalla.
      Ikävä
      45
      3330

    4. Edelleen sitä on vaikea uskoa

      Että olisit oikeasti rakastunut muhun
      Ikävä
      40
      2939

    5. Vitsi mihin menit. Heti takasin.

      Mä näin sut tuu takasin! Oli kiire, niin en ehtiny sin perään!
      Ikävä
      17
      2716

    6. Toiveikas vai toivoton

      torstai? Ajatuksia?
      Ikävä
      37
      2238

    7. Mukavaa päivää

      Mun rakkauden kohteelle ❤️ toivottavasti olet onnellinen
      Ikävä
      16
      2196

    8. Koko ajan olet

      Senkin suhteen kiusannut. Halut on ihan mielettömät olleet jo pitkään
      Ikävä
      41
      2143

    9. Voi ei! Jari Sillanpää heitti keikan Helsingissä - Hämmästyttävä hetki lavalla...

      Ex-tangokuningas on parhaillaan konserttikiertueella. Hän esiintyi Savoy teatterissa äitienpäivänä. Sillanpää jakoi kons
      Suomalaiset julkkikset
      48
      2077

    10. Miksi et irrota otettasi

      Suhteeni?
      Ikävä
      40
      2048
    Aihe
    TietosuojaselosteKäyttöehdotEvästeasetuksetSäännöt