Kuinka Pythonilla haetaan dataa nettisivulta?

Anonyymi

Pystyykö vaikka Pythonilla tekemään skriptin, joka hakee sivulta tietoa, montako koronavirustapausta on aktiivisena Suomessa kun skripti ajetaan? Saako sivun lähdekoodista sen selville vai pitääkö käyttää kuvantunnistusta?

8

1559

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • Anonyymi

      Eikö ole helpompi katsoa asia omin silmin YLE:n tai THL:n sivulta?

      Sitäpaitsi tuollaista tietoa kuin "montako koronavirustapausta on aktiivisena Suomessa" ei ole olemassakaan, asiaa ei tiedetä.

      Tiedetään vain sairaanhoitopiireissä tehtyjen testien perusteella, että montako positiivista testitulosta on saatu. Kaikkia koronaviruksen oireita valittavia potilaita ei testata enää.

    • Anonyymi
    • Anonyymi

      Pystyy.

      Katsot ensin selaimella kehittäjätilassa, missä formaatissa data on.

      Hae vaikka youtuubista "web scraping".

      Kunhan vähän jaksaa kaivaa, lähes varmasti pärjää ilman kuvantunnistusta.

    • Anonyymi

      Et mitenkään helposti saa mitään tietoa oikeastaan yhtikäs mistään. Vaatisi valtavan ohjelmiston ja paljon kokemusta.

      Kokeile kerätä tietoa lukemalla suomalaisia ja ulkolaisia verkkolehtiä. Valitse aihe ihan vapaasti. Sen tieto-osan suodattaminen on äärimmäisen vaikeaa myös ihmiselle.

      • Anonyymi

        Jos jotakin tiettyä tietoa haet, niin hyvin helposti saa. ;)

        Ei vaadi "valtavaa ohjelmistoa", muutama rivi Python koodia riittää.

        Suurin työ on reverse engineerata, eli takaisinmallintaa ja etsiä, mistä se oikea tieto löytyy. Parhaimmillaan web sivu itsekkin hakee sen REST, tms. rajapinnasta, Ajax kutsulla, websocketilla, tms. ja voit napata suoraan url:n tuohon tiedonhaku kutsuun. Silloin homma voi mennä hyvinkin helpoksi. Toisaalta näissä se takaisinmallinnus on suurempi huomattavasti työ kuin staattisessa sivussa.

        Kokemusta karttuu tekemällä, ei päivittelemällä "ei mitenkään" . . . . ;)


    • Anonyymi
    • Anonyymi

      Bash riittänee, sillä on helppo hakea ni ei tarvi ohjelmoida ;-)
      Minä olen yrittänyt jonkin aikaa tehdä skriptiä, joka hakee ensi viikon lottonumerot veikkauksen sivustolta, mutta nyt skripti hakee vain harvoin osan oikeista numeroista ja siinäkin on huomattavaa hajontaa ja yleensä ei hae yhtäkään numeroa.

    Ketjusta on poistettu 6 sääntöjenvastaista viestiä.

    Luetuimmat keskustelut

    1. En minä kyllä enää odota sinua

      Olet siellä sen harmaan kanssa. Niin, annoit minun nähdä lämpimät tunteesi siitä huolimatta. Se merkitsi kyllä paljon. O
      Ikävä
      49
      2378
    2. Kehutaan vaihteeksi Perussuomalaisia

      Perussuomalaiset ovat olleet melkoisen lokakampanjoinnin kohteena, vaikka ovat saaneet paljon hyvää aikaiseksi. Nyt on
      Maailman menoa
      53
      2157
    3. Joka kolmas työtön on työkyvytön

      Viime vuonna työnhakuvelvoitteen ulkopuolella oli noin kolmannes työttömistä työnhakijoista. Huhheijaa, mihin suomalais
      Maailman menoa
      207
      1676
    4. Jos joku luulee että kaikki käy

      Sanon vain tämän. Minun kanssani ei neuvotella. Minun kanssani eletään tasavertaisesti. Jos se on liikaa, niin ovi rinn
      Ikävä
      68
      1630
    5. Niin surullinen

      onnettomuus taas. Voimia ihan kaikille läheisille,kavereille ja kouluun 🙏
      Lapua
      31
      1614
    6. Paloautoko se oli kolarissa Juntusrannan risteyksessä?

      Oli kuva paloautosta nettijutussa.
      Suomussalmi
      18
      1449
    7. Sakin hivutus - ilmiö

      Miten tuollainen tuollainen ilmiö kuin ”sakin hivutus” syntyy? Mitä syitä ilmiön syntymiseen tarvitaan? Onko sakissa jok
      80 plus
      86
      1394
    8. Roiskeläpät takaisin niin alkaa lasit kestämään

      "Tuulilaseja hajottava talvi-ilmiö on ehkä ratkennut" Tämän päivän autoissa kun on esimerkiksi vanhempaa autokalustoa s
      Yleistä autoilusta
      8
      1379
    9. Ei ole rohkeutta tulla jututtamaan

      Voidaan me nähdä ja tervehtiä, sitäkin harvoin, mutta iso kynnys on edes mennä lähelle ja kysyä kuulumisia. Ymmärrät var
      Tunteet
      8
      1291
    10. Julkinen saunatilanne Haapavedellä, tämä on täyttä paskaa!

      Eilen Haapaveden uimahallin saunassa koettu tilanne oli täysin käsittämätöntä ja helvetin järkyttävää. Ladyboy harjoitti
      Haapavesi
      19
      1284
    Aihe