XML sekamelskan perkaus

Ihmettelen kovin koko XML:n tarkoitusta, koska varsinaisen datan sijaan se sisältää suurimmalta osin pelkkää roskaa. Kuinka esimerkiksi saadaan helpoiten talteen lämpötilatiedot tästä linkistä: http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&

Ovat siis kätketty tälläiseen, ja tuosta tarvittaisiin vain aikatieto ja arvo. Yksittäisiä arvoja on siis kymmeniä.

<wml2:point><wml2:MeasurementTVP><wml2:time>2019-04-19T00:50:00Z</wml2:time><wml2:value>3.6</wml2:value></wml2:MeasurementTVP></wml2:point>
71331
Äänestä

Muut lukivat myös

Vastaukset 7

Vanhimmat

Suorita tämä koodi:

var wmlNs = "http://www.opengis.net/waterml/2.0";
var allPoints = document.getElementsByTagNameNS(wmlNs, "point");
var clearData = Array.from(allPoints).map( p=>{
var timeEl = p.getElementsByTagNameNS(wmlNs, "time")[0];
var time = timeEl ? timeEl.textContent : "";
var valueEl = p.getElementsByTagNameNS(wmlNs, "value")[0];
var value = valueEl ? valueEl.textContent : "";
return {time: time, value: value}
});

Nyt sinulla pitäisi olla kaikki 936 arvoa listassa clearData objekteina {time, value}.

Äänestä
  • Olen nyt yrittänyt tapella Pythonin ja XPathin kanssa, mutta en ole keksinyt mitä pitäisi laittaa xpathiin. Erroria pukkaa esim. jos yrittää päästä toiseen tasoon saakka, johon pääsin kyllä jsonin kautta pyöräyttämällä myös, mutta siitä ei saanut sitten purettua enempää.

    Tämä ei siis toimi:

    import requests
    from lxml import etree

    url = "http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&"
    data = requests.get(url)
    root = etree.XML(data.text.encode("utf-8"))
    results = root.xpath("/wfs:FeatureCollection/wfs:member")

    Tästä yritin saada apuja: https://lxml.de/xpathxslt.html

    Taidan tehdä niin että otan stringinä käsittelyyn ja puran manuaalisesti. On tuo XML kyllä ihme sekamelskaa.

    Äänestä

  • Anonyymi kirjoitti:

    Olen nyt yrittänyt tapella Pythonin ja XPathin kanssa, mutta en ole keksinyt mitä pitäisi laittaa xpathiin. Erroria pukkaa esim. jos yrittää päästä toiseen tasoon saakka, johon pääsin kyllä jsonin kautta pyöräyttämällä myös, mutta siitä ei saanut sitten purettua enempää.

    Tämä ei siis toimi:

    import requests
    from lxml import etree

    url = "http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&"
    data = requests.get(url)
    root = etree.XML(data.text.encode("utf-8"))
    results = root.xpath("/wfs:FeatureCollection/wfs:member")

    Tästä yritin saada apuja: https://lxml.de/xpathxslt.html

    Taidan tehdä niin että otan stringinä käsittelyyn ja puran manuaalisesti. On tuo XML kyllä ihme sekamelskaa.

    TÄSSÄ PYTHON3 MALLIA
    Korvaa ??? tiedoston osoitteella.

    from xml.dom import minidom
    import urllib.request
    url = 'http://???'
    urllib.request.urlretrieve(url, "data.xml")
    mydoc = minidom.parse('data.xml')
    items = mydoc.getElementsByTagName('wml2:time')

    i=0
    for x in items:
    print(str(i) ": " items[i].lastChild.data)
    i=i 1

    Testaa tämä.

    Äänestä

  • Anonyymi kirjoitti:

    TÄSSÄ PYTHON3 MALLIA
    Korvaa ??? tiedoston osoitteella.

    from xml.dom import minidom
    import urllib.request
    url = 'http://???'
    urllib.request.urlretrieve(url, "data.xml")
    mydoc = minidom.parse('data.xml')
    items = mydoc.getElementsByTagName('wml2:time')

    i=0
    for x in items:
    print(str(i) ": " items[i].lastChild.data)
    i=i 1

    Testaa tämä.

    Tuo on ihan lupaava lähtökohta, koska tulostaa kaikki ajat kuten pitääkin. Pitäisi vielä se mittausarvo ympätä tuohon.

    Äänestä

  • Anonyymi kirjoitti:

    Tuo on ihan lupaava lähtökohta, koska tulostaa kaikki ajat kuten pitääkin. Pitäisi vielä se mittausarvo ympätä tuohon.

    Arvot mukaan vaikka näin:

    from xml.dom import minidom
    import urllib.request
    url = ???'
    urllib.request.urlretrieve(url, "data.xml")
    mydoc = minidom.parse('data.xml')
    times = mydoc.getElementsByTagName('wml2:time')
    values = mydoc.getElementsByTagName('wml2:value')

    i=0
    for x in times:
    print(str(i) ": " times[i].lastChild.data \
    " " values[i].lastChild.data)
    i=i 1

    Äänestä

  • Anonyymi kirjoitti:

    Arvot mukaan vaikka näin:

    from xml.dom import minidom
    import urllib.request
    url = ???'
    urllib.request.urlretrieve(url, "data.xml")
    mydoc = minidom.parse('data.xml')
    times = mydoc.getElementsByTagName('wml2:time')
    values = mydoc.getElementsByTagName('wml2:value')

    i=0
    for x in times:
    print(str(i) ": " times[i].lastChild.data \
    " " values[i].lastChild.data)
    i=i 1

    Kiitokset! Nyt ymmärsin tuon logiikan. Hämäsi hieman tuo käyttämäsi for-lauseke.

    Äänestä

Ketjusta on poistettu 1 sääntöjenvastainen viesti.

Kommentoi aloitusta


Anonyymi kirjoitti:

Ihmettelen kovin koko XML:n tarkoitusta, koska varsinaisen datan sijaan se sisältää suurimmalta osin pelkkää roskaa. Kuinka esimerkiksi saadaan helpoiten talteen lämpötilatiedot tästä linkistä: http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&

Ovat siis kätketty tälläiseen, ja tuosta tarvittaisiin vain aikatieto ja arvo. Yksittäisiä arvoja on siis kymmeniä.

<wml2:point><wml2:MeasurementTVP><wml2:time>2019-04-19T00:50:00Z</wml2:time><wml2:value>3.6</wml2:value></wml2:MeasurementTVP></wml2:point>

Anonyymi
5000

Ilmoita asiaton sisältö

  • Sisältää materiaalia, joka on loukkaavaa, herjaavaa, rasistista, uhkailevaa tai ahdistelevaa.

  • Materiaali sisältää nimiä, yhteystietoja tai muita henkilökohtaisia tietoja. Julkisuuden henkilöistä, julkisissa viroissa toimivista ihmisistä sekä yritysten vastuuhenkilöistä saa keskustella työhön liittyen. Myös yksityiselämään liittyvistä asioista voi keskustella siltä osin, kuin niistä on julkisesti kerrottu.

  • Sisältää lapsille haitallista tai heiltä kiellettyä materiaalia. Seksuaalinen sisältö on sallittua aiheeseen tarkoitetuilla palstoilla, joiden ikäraja on 18 vuotta.

  • Lainvastaista sisältöä voi olla mm. yksityiselämää loukkaavan tiedon levitys, kiihottaminen kansanryhmää vastaan, laiton uhkaaminen, alaikäisiin liittyvä seksuaalinen sisältö/grooming, petokset, identiteettivarkaudet, kunnianloukkaukset ja tekijänoikeusrikkomukset.

  • Sisältö ei liity palstan tai keskusteluketjun aiheeseen.

  • Viesti ei ole suomea tai ruotsia (pl. International Forums), se sisältää mainontaa, se sisältää tekijänoikeuksin suojattua materiaalia, se on massapostitus tai jokin muu syy.

Jaa keskustelu