Haluaisin rakentaa ohjelman, joka noutaa lähtötiedot internetin sivustolta. Olisiko se edes teoriassa mahdollista? Olisiko mahdollista esim php:llä? Kyseisellä sivulla tiedot on ladattavissa linkistä tiedostona. Kun saisin ohjelman hakemaan tiedot palvelimelle, osaisin käsittelyn siitä eteenpäin. Olisiko tästä esimerkkejä?
Datan nouto internetistä
Anonyymi
19
584
Vastaukset
Mitä tarkoitat "lähtötiedoilla"?
- Anonyymi
Linuxiin saa asennettu 'wget' -sovelluksen joka noutaa tiedot automaattisesti. Tämä pitäisi olla saatavilla myös windowsiin Tästä syystä en näe tarvetta lähteä keksimään pyörää uudelleen tehdäkseen PHP:llä softan joka on jo olemassa.
- Anonyymi
Vaikka Pythonilla:
import urllib2
page = urllib2.urlopen("http://example.com/").read()
print page - Anonyymi
Minä ymmärsin kysymyksen niin että
on olemassa sivu osoitteessa x
mikä sisältää linkin y
jota klikkaamalla saa näkymään datan z.
Asiaa olisi helpompi pohtia kun näkisi miten osoite x on toteutettu, mutta asian arkaluontoisuuden takia tuota tietoa ei nyt ole saatavissa. - Anonyymi
1.) Olisiko se edes teoriassa mahdollista?
Olisi mahdollista teoriassa.
2.) Olisiko mahdollista esim. php:llä?
Olisi mahdollista PHP:llä.
3.) Olisiko tästä esimerkkejä?
Kyllä olisi esimerkkejä.
Oliko muuta?- Anonyymi
Kyllä on. Anna esimerkki miten luet esim. nettisivulla foosamplesite.net olevan linkin tuottaman aineiston silloin kun se vaatii linkin klikkaamisen ja siinä linkissä on javascriptillä toteutettu hakumääritys.
- Anonyymi
Anonyymi kirjoitti:
Kyllä on. Anna esimerkki miten luet esim. nettisivulla foosamplesite.net olevan linkin tuottaman aineiston silloin kun se vaatii linkin klikkaamisen ja siinä linkissä on javascriptillä toteutettu hakumääritys.
foosamplesite.net on toimimaton verkko-osoite.
Normaalisti käytän Lynx -komentopohjaista selainta noutamaan verkkosivun sisällön, mutta se ei tue JavaScriptillä tuotettua sisältöä.
Vastaavan ELinks selaimen taas sanotaan tukevan, en ole käyttänyt, joten en osaa tällä hetkellä opastaa, ehkä myöhemmin.
Myös Chromium selainta voi käyttää komentokehotteesta, ja mikään ei ole tavoittamattomissa, kun yhdistät siihen xdotool makrot.
Anna toimiva osoite, saatan antaa täsmäohjeen, jos pystyn siihen, mikään ei ole jäänyt tekemättä tähän mennessä.
- Anonyymi
En ole ketjun aloittaja, mutta aihe alkoi kiinnostamaan. Otetaan esim. sivu
http://www.nasdaqomxnordic.com/shares/microsite?Instrument=HEX24395
ja sieltä sivun puolimatkasta löytyy linkki "Download CSV". Saako sen imuroitua ohjelmallisesti esim. cURL:illa?- Anonyymi
Ei onnistu, joutuisin jommallakummalla tavalla suorittamaan latauksen.
1.) Selain Selainlaajennos
2.) Selain xdotool - Anonyymi
chromessa:
klikkaa sitä download-sanaa hiiren kakkosella. sitten valitse välilehti "network" aukeavasta näkymästä.
klikkaa download-sanaa hiiren ykkösellä.
Siihen oikealle ilmestyy nyt kohta "DataFeedProxy.asp". klikkaa sitä hiiren kakkosella -> Copy -> Copy as cURL
Nyt leikepöydällä on komento, joka curlia hyväksi käyttäen osaa ladata sen datan
sen voi linuxissa pastettaa suoraan päätteeseen ja näkee sen CSV-datan
tolla tavalla noita erilaisia selaimen tekemiä pyyntöjä on helppo tutkiskella selaimen omilla työkaluilla.
https://ibb.co/BgK6Fvd
ja kun googletat "DataFeedProxy nasdaq github" niin noitahan on valmiina jos haluaa säästää tekemisen vaivan. - Anonyymi
Anonyymi kirjoitti:
chromessa:
klikkaa sitä download-sanaa hiiren kakkosella. sitten valitse välilehti "network" aukeavasta näkymästä.
klikkaa download-sanaa hiiren ykkösellä.
Siihen oikealle ilmestyy nyt kohta "DataFeedProxy.asp". klikkaa sitä hiiren kakkosella -> Copy -> Copy as cURL
Nyt leikepöydällä on komento, joka curlia hyväksi käyttäen osaa ladata sen datan
sen voi linuxissa pastettaa suoraan päätteeseen ja näkee sen CSV-datan
tolla tavalla noita erilaisia selaimen tekemiä pyyntöjä on helppo tutkiskella selaimen omilla työkaluilla.
https://ibb.co/BgK6Fvd
ja kun googletat "DataFeedProxy nasdaq github" niin noitahan on valmiina jos haluaa säästää tekemisen vaivan.korjaus kun jotain unohtui:
klikkaa sitä download-sanaa hiiren kakkosella -> Tarkista. sitten valitse välilehti "network" aukeavasta näkymästä. - Anonyymi
Anonyymi kirjoitti:
korjaus kun jotain unohtui:
klikkaa sitä download-sanaa hiiren kakkosella -> Tarkista. sitten valitse välilehti "network" aukeavasta näkymästä.No olippaan temppu, kiitän ja kumarran. Tämä avasi uusia mahdollisuuksia, olen ylen tyytyväinen.
- Anonyymi
Anonyymi kirjoitti:
korjaus kun jotain unohtui:
klikkaa sitä download-sanaa hiiren kakkosella -> Tarkista. sitten valitse välilehti "network" aukeavasta näkymästä.VUODEN PARAS
- Anonyymi
Saa, mutta riippuu nykyään aika monesta asiasta:
1. Jos saat suoran linkin helposti tiedostoon niin lataa se
2. Jos linkki on www-sivulla, pitää sivulta pystyä löytämään em. linkki staattiselta sivulta se on siis ensin ladata sivu jolla linkki. Sitten sieltä jollakin keinolla napata oikea linkki ja tämän jälkeen tehdä ensimmäisen kohdan mukaan.
3. Jos sivu on dynaamisesti generoitu ja linkki esim. javascriptillä kirjain kirjaimelta tuotettu - niin kakkos-kohta ei toimi, pitää tehdä oma "selain", esim. Qt:lla:
https://www.bogotobogo.com/Qt/Qt5_WebKit_WebView_WebBrowser_QtCreator.php
-Tämän jälkeen pystyt tekemään mm. klikkauksia linkkeihin yms. hauskaa - vaikka täyttämään web-lomakkeen ja lähettämään sen tiedonhakupyyntönä jollekin kirjastopalvelulle yms. mukavaa. Tällainen komponentti löytyy eri tasoisena varmaan suurimmalle osalle ohjelmointikielistä.
-Mutta jos joudut tekemään näin, on mahdollista että olet tekemässä jotakin täysin väärin ja väärästä päästä aloittaen. Kannattaa miettiä ehkä uudestaan koska sovelluksesta tulee tällä keinolla älyttömän hidas! Esim. Saisiko suoraan tietokantaan yhteyden ja käyttäisi sql:ää? Onko jossain tieto jo saatavilla valmiiksi prosessoituna linkiksi, yms.? Koodaukseen käytetyn ajan säästö voi tulla jossain vaiheessa lumipalloefektinä takaisin, kun kaikki pitää tehdä uusiksi.
- Anonyymi
Aloittajalle riittää työkaluksi joko wget tai curl. Molemmat löytyvät moniin käyttöjärjestelmiin ja ovat linuxeissa yleensä mukana automaattisesti.
Löytyy myös ohjelmistoja, jotka ovat tarkoitettuja datan keräämiseen nettisivuilta. Toiminnan nimi on web scraping. Tässä työkaluja:
https://www.google.com/search?q=web scraping tools- Anonyymi
Testasin tätä ilmaista ParseHub ( https://www.parsehub.com/ ) web-kaavintatyökalua. Ainakin se on helppo asentaa, vaatii rekisteröitymisen, ja jättää jälkeensä 1476 tiedostoa roskaksi.
En rekisteröitynyt käyttäjäksi, joten en osaa hänestä sen enempää kertoa. - Anonyymi
Otin testiin Scrapy Web Scraping -pythonkirjaston ( https://scrapy.org/ ). Ainakin on helppo asentaa, eikä ole rekisteröintejä. Puutteena JavaScript-tuen puuttuminen. On senverran mielenkiintoinen että joutuu testaamaan ihan käytäntöön soveltamalla. Väittävät olevan hyvin dokumentoitu, saa sitten nähdä mitä se tarkoittaa.
- Anonyymi
Jos tiedosto linkin takana on CSV-muodossa, voit hakea sen ja käsitellä tietoja helposti Pythonin pandas-kirjastolla. Tyyliin näin:
import pandas as pd
data = pd.readcsv('linkki_tähän')
Jos tiedosto on esim. txt-muodossa eli perustekstitiedosto, niin lisäät erotusmerkin jota datassa käytetään
data = pd.readcsv('linkki_tähän', sep=';')
Ammattikoodari - Anonyymi
Voit tehdä sen scriptinä.
Ensin.
set xmlhttp = createobject("msxml2.xmlhttp")
Ja Sitten.
xmlhttp.open (osoite)
xmlhttp.onreadystatechange (aliohjelma)
xmlhttp.send
Ja odotella että data saapuu aliohjelmaan.
Tätä xmlhttp:tä nykyajan modernit internetsivut käyttävät intensiivisesti siirtäen sivujen prosessointi vastuun vastaanottajalle ja ladaten sivut täyteen mainoksia.
https://devblogs.microsoft.com/scripting/how-can-i-tell-whether-a-web-page-is-accessible/
Ketjusta on poistettu 0 sääntöjenvastaista viestiä.
Luetuimmat keskustelut
IL - Patteriauto syttyi parkkihallissa Tampereella - 50 autoa LUNASTUKSEEN!
"Palon aikaan parkkihallissa oli 90 autoa, joista noin 50 tuhoutui palossa korjauskelvottomiksi. Lisäksi palo vaurioitti24045241Polttomoottoriauto tulessa parkkihallissa Tampereella
Pystyy näkemättä jo sanomaan, koska sähköautoissa ei ole palavia nesteitä lainkaan. Ihme ettei polttomoottoriautoja ole12325996SDP palauttaa Suomen kansalle kulta-ajat
Hyvinvointivalto on pääosin SDP:n ja osin myös Maalaisliiton rakentama. Hyvinvointivaltion ylläpito edellyttää oikeude32515677Kristillisistä Siionisteista asiallista tietoa Hesarissa.
KD ja Persut ovat kaiken takana avoimesti!3011203Persut JYTKYTTÄÄ ylös, ohi kepun! +2,1 %
Persut palasi kolmen suurimman joukkoon ja on matkalla kohti kevään 2027 eduskuntavaalivoittoa. Sosialistit ovat syöksy17110805Älkää vassarit kuvitelko, että Marinin kulta-ajat palaavat
Vaikka demarit voittaisivat seuraavat vaalit, se ei palauta Marinin taskut-täyteen-kelasta-aikaa takaisin, ei voi eikä h1229707Sanna Marin saa ylistystä Hillary Clintonilta
Jos joku ei tiedä kuka tämä rouva Hillary Clinton on, niin kerrottakoon "fun fact", eli hän on se keneltä Donald Trump369681Ja jälleen uusi latauksessa olleen sähköauton palo! Nyt Keravan Prisman parkkihallissa.
IS 3.10.2025 Latauksessa ollut sähköauto syttyi yöllä tuleen Keravan Prisman parkkihallissa, Keski-Uudenmaan pelastusla858478Johtuuko vasemmistolaisten inho kristinuskoa kohtaan heidän islamin uskostaan?
Tätä jäin pohdiskelemaan.2426824Gallup, PS:lle JÄRISYTTÄVÄ nousu, SDP suurin laskija
https://yle.fi/a/74-20186114 PS kovaa vauhtia nousemassa ennen 2027 vaaleja suurimmaksi puolueeksi. Nyt mennään jo etua2236491