Pystyykö vaikka Pythonilla tekemään skriptin, joka hakee sivulta tietoa, montako koronavirustapausta on aktiivisena Suomessa kun skripti ajetaan? Saako sivun lähdekoodista sen selville vai pitääkö käyttää kuvantunnistusta?
Kuinka Pythonilla haetaan dataa nettisivulta?
Anonyymi
8
1504
Vastaukset
- Anonyymi
Eikö ole helpompi katsoa asia omin silmin YLE:n tai THL:n sivulta?
Sitäpaitsi tuollaista tietoa kuin "montako koronavirustapausta on aktiivisena Suomessa" ei ole olemassakaan, asiaa ei tiedetä.
Tiedetään vain sairaanhoitopiireissä tehtyjen testien perusteella, että montako positiivista testitulosta on saatu. Kaikkia koronaviruksen oireita valittavia potilaita ei testata enää. - Anonyymi
BeatufilSoapilla voi scrapata sivun. https://www.freecodecamp.org/news/how-to-scrape-websites-with-python-and-beautifulsoup-5946935d93fe/
- Anonyymi
Kokeilin urllibillä sivua https://thl.fi/fi/web/infektiotaudit-ja-rokotukset/ajankohtaista/ajankohtaista-koronaviruksesta-covid-19 . Sain ilmoituksen
urllib.error.HTTPError: HTTP Error 403: Forbidden - Anonyymi
Pystyy.
Katsot ensin selaimella kehittäjätilassa, missä formaatissa data on.
Hae vaikka youtuubista "web scraping".
Kunhan vähän jaksaa kaivaa, lähes varmasti pärjää ilman kuvantunnistusta. - Anonyymi
Et mitenkään helposti saa mitään tietoa oikeastaan yhtikäs mistään. Vaatisi valtavan ohjelmiston ja paljon kokemusta.
Kokeile kerätä tietoa lukemalla suomalaisia ja ulkolaisia verkkolehtiä. Valitse aihe ihan vapaasti. Sen tieto-osan suodattaminen on äärimmäisen vaikeaa myös ihmiselle.- Anonyymi
Jos jotakin tiettyä tietoa haet, niin hyvin helposti saa. ;)
Ei vaadi "valtavaa ohjelmistoa", muutama rivi Python koodia riittää.
Suurin työ on reverse engineerata, eli takaisinmallintaa ja etsiä, mistä se oikea tieto löytyy. Parhaimmillaan web sivu itsekkin hakee sen REST, tms. rajapinnasta, Ajax kutsulla, websocketilla, tms. ja voit napata suoraan url:n tuohon tiedonhaku kutsuun. Silloin homma voi mennä hyvinkin helpoksi. Toisaalta näissä se takaisinmallinnus on suurempi huomattavasti työ kuin staattisessa sivussa.
Kokemusta karttuu tekemällä, ei päivittelemällä "ei mitenkään" . . . . ;)
- Anonyymi
Tässä on yksi esimerkki, miten python xpath hakee dataa webisivulta:
https://3583bytesready.net/2016/08/17/scraping-data-python-xpath/
Tämä hakee ja sorttaa judon olympiamitalistit mitalimäärän mukaan
wikipedia-sivulta. - Anonyymi
Bash riittänee, sillä on helppo hakea ni ei tarvi ohjelmoida ;-)
Minä olen yrittänyt jonkin aikaa tehdä skriptiä, joka hakee ensi viikon lottonumerot veikkauksen sivustolta, mutta nyt skripti hakee vain harvoin osan oikeista numeroista ja siinäkin on huomattavaa hajontaa ja yleensä ei hae yhtäkään numeroa.
Ketjusta on poistettu 6 sääntöjenvastaista viestiä.
Luetuimmat keskustelut
- 1271944
Noniin rakas
Annetaanko pikkuhiljaa jo olla, niin ehkä säilyy vienot hymyt kohdatessa. En edelleenkään halua sulle tai kenellekään mi1001680Lasten hyväksikäyttö netissä - Joka 3. nuori on saanut seksuaalisen yhteydenoton pedofiililtä
Järkyttävää! Lapsiin kohdistuva seksuaalinen hyväksikäyttö verkossa on yhä pahempi ongelma. Ulkolinja: Lasten hyväksikäy561286Kumpi vetoaa enemmän sinuun
Kaivatun ulkonäkö vai persoonallisuus? Ulkonäössä kasvot vai vartalo? Mikä luonteessa viehättää eniten? Mikä ulkonäössä?651226Multa sulle
Pyörit 24/7 mielessä, kuljet mun mukana, mielessä kyselen sun mielipiteitä, vitsailen sulle, olen sydän auki, aitona. M31998Mies, eihän sulla ole vaimoa tai naisystävää?
Minusta tuntuu jotenkin, että olisit eronnut joskus, vaikka en edes tiedä onko se totta. Jos oletkin oikeasti edelleen s47906Nainen, olen tutkinut sinua paljon
Salaisuutesi ei ole minulle salaisuus. Ehkä teimme jonkinlaista vaihtokauppaa kun tutkisimme toisiamme. Meillä oli kumm51903Onko sulla empatiakykyä?
Etkö tajua yhtään miltä tämä tuntuu minusta? Minä ainakin yritän ymmärtää miltä sinusta voisi tuntua. En usko, että olet44872Olet myös vähän ärsyttävä
Tuntuu, että olet tahallaan nuin vaikeasti tavoiteltava. En tiedä kauanko jaksan tätä näin.37820Okei nyt mä ymmärrän
Olet siis noin rakastunut, se selittää. Onneksesi tunne on molemminpuolinen 😘56808