XML sekamelskan perkaus

Anonyymi

Ihmettelen kovin koko XML:n tarkoitusta, koska varsinaisen datan sijaan se sisältää suurimmalta osin pelkkää roskaa. Kuinka esimerkiksi saadaan helpoiten talteen lämpötilatiedot tästä linkistä: http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&

Ovat siis kätketty tälläiseen, ja tuosta tarvittaisiin vain aikatieto ja arvo. Yksittäisiä arvoja on siis kymmeniä.

<wml2:point><wml2:MeasurementTVP><wml2:time>2019-04-19T00:50:00Z</wml2:time><wml2:value>3.6</wml2:value></wml2:MeasurementTVP></wml2:point>

7

1286

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • Suorita tämä koodi:

      var wmlNs = "http://www.opengis.net/waterml/2.0";
      var allPoints = document.getElementsByTagNameNS(wmlNs, "point");
      var clearData = Array.from(allPoints).map( p=>{
      var timeEl = p.getElementsByTagNameNS(wmlNs, "time")[0];
      var time = timeEl ? timeEl.textContent : "";
      var valueEl = p.getElementsByTagNameNS(wmlNs, "value")[0];
      var value = valueEl ? valueEl.textContent : "";
      return {time: time, value: value}
      });

      Nyt sinulla pitäisi olla kaikki 936 arvoa listassa clearData objekteina {time, value}.

      • Anonyymi

        Olen nyt yrittänyt tapella Pythonin ja XPathin kanssa, mutta en ole keksinyt mitä pitäisi laittaa xpathiin. Erroria pukkaa esim. jos yrittää päästä toiseen tasoon saakka, johon pääsin kyllä jsonin kautta pyöräyttämällä myös, mutta siitä ei saanut sitten purettua enempää.

        Tämä ei siis toimi:

        import requests
        from lxml import etree

        url = "http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&"
        data = requests.get(url)
        root = etree.XML(data.text.encode("utf-8"))
        results = root.xpath("/wfs:FeatureCollection/wfs:member")

        Tästä yritin saada apuja: https://lxml.de/xpathxslt.html

        Taidan tehdä niin että otan stringinä käsittelyyn ja puran manuaalisesti. On tuo XML kyllä ihme sekamelskaa.


      • Anonyymi
        Anonyymi kirjoitti:

        Olen nyt yrittänyt tapella Pythonin ja XPathin kanssa, mutta en ole keksinyt mitä pitäisi laittaa xpathiin. Erroria pukkaa esim. jos yrittää päästä toiseen tasoon saakka, johon pääsin kyllä jsonin kautta pyöräyttämällä myös, mutta siitä ei saanut sitten purettua enempää.

        Tämä ei siis toimi:

        import requests
        from lxml import etree

        url = "http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&"
        data = requests.get(url)
        root = etree.XML(data.text.encode("utf-8"))
        results = root.xpath("/wfs:FeatureCollection/wfs:member")

        Tästä yritin saada apuja: https://lxml.de/xpathxslt.html

        Taidan tehdä niin että otan stringinä käsittelyyn ja puran manuaalisesti. On tuo XML kyllä ihme sekamelskaa.

        TÄSSÄ PYTHON3 MALLIA
        Korvaa ??? tiedoston osoitteella.

        from xml.dom import minidom
        import urllib.request
        url = 'http://???'
        urllib.request.urlretrieve(url, "data.xml")
        mydoc = minidom.parse('data.xml')
        items = mydoc.getElementsByTagName('wml2:time')

        i=0
        for x in items:
        print(str(i) ": " items[i].lastChild.data)
        i=i 1

        Testaa tämä.


      • Anonyymi
        Anonyymi kirjoitti:

        TÄSSÄ PYTHON3 MALLIA
        Korvaa ??? tiedoston osoitteella.

        from xml.dom import minidom
        import urllib.request
        url = 'http://???'
        urllib.request.urlretrieve(url, "data.xml")
        mydoc = minidom.parse('data.xml')
        items = mydoc.getElementsByTagName('wml2:time')

        i=0
        for x in items:
        print(str(i) ": " items[i].lastChild.data)
        i=i 1

        Testaa tämä.

        Tuo on ihan lupaava lähtökohta, koska tulostaa kaikki ajat kuten pitääkin. Pitäisi vielä se mittausarvo ympätä tuohon.


      • Anonyymi
        Anonyymi kirjoitti:

        Tuo on ihan lupaava lähtökohta, koska tulostaa kaikki ajat kuten pitääkin. Pitäisi vielä se mittausarvo ympätä tuohon.

        Arvot mukaan vaikka näin:

        from xml.dom import minidom
        import urllib.request
        url = ???'
        urllib.request.urlretrieve(url, "data.xml")
        mydoc = minidom.parse('data.xml')
        times = mydoc.getElementsByTagName('wml2:time')
        values = mydoc.getElementsByTagName('wml2:value')

        i=0
        for x in times:
        print(str(i) ": " times[i].lastChild.data \
        " " values[i].lastChild.data)
        i=i 1


      • Anonyymi
        Anonyymi kirjoitti:

        Arvot mukaan vaikka näin:

        from xml.dom import minidom
        import urllib.request
        url = ???'
        urllib.request.urlretrieve(url, "data.xml")
        mydoc = minidom.parse('data.xml')
        times = mydoc.getElementsByTagName('wml2:time')
        values = mydoc.getElementsByTagName('wml2:value')

        i=0
        for x in times:
        print(str(i) ": " times[i].lastChild.data \
        " " values[i].lastChild.data)
        i=i 1

        Kiitokset! Nyt ymmärsin tuon logiikan. Hämäsi hieman tuo käyttämäsi for-lauseke.


    Ketjusta on poistettu 1 sääntöjenvastaista viestiä.

    Luetuimmat keskustelut

    1. Björn Wahlroos, maataloustuet lakkautettava

      Sanoo pankkimies. Mitäs persut ja muut tukinulliem perskärpäset tähän? "Wahlroos listaa kansallisen maataloustuen. – I
      Maailman menoa
      127
      3158
    2. Persut päättivät hiilivoiman kieltämisestä Suomessa

      Moni on jo unohanut kuka hyväksyi hiilivoimaloiden kieltämisen Suomessa: persut Sukupuolineutraalit liikennemerkitk
      Maailman menoa
      61
      2805
    3. Nalle Wahlroos ei ulise kuten Teemu Selänne sähkölaskuista

      Nalle "hah hah" nauroi saamistaan sähkötuista, kun taas Teemu-poika itkeä tirautti kovasta sähkön hinnasta. Nalle nauro
      Maailman menoa
      35
      2192
    4. Muistattekos kuinka kokoomus ja persut vinkuivat sähkön hinnasta?

      Oppositiossa vuonna 2022, kun sähkön hinta uhkasi nousta 20 senttiin kilowattitunnilta? Nyt ovat hiiren hiljaa, kun pitä
      Maailman menoa
      103
      2118
    5. Mikä aate kaiken pahan takana?

      Se laiskistuttaa kansat, opettaa vaatimaan etuisuuksia, syleilee maailmoja eikä omaa kansaa.
      Maailman menoa
      130
      1978
    6. Vain persut vastustivat hiilivoimaloiden alasajoa

      Persut vastusti jyrkästi hiilen kieltolakia ja on myöhemmin vaatinut hiilivoimaloiden pitämistä käytössä. He perusteliva
      Maailman menoa
      44
      1951
    7. Muistan vuosikymmenten takaa

      Toivottavasti voit hyvin ja jaksat työssäsi. Olet upea ja erinomainen ihminen, toivon kaikkea hyvää.
      Ikävä
      10
      1202
    8. Kristinoppi ja vähäkatekismus:

      Luther Lapsikasteesta: "Mitä kaste antaa eli hyödyttää? Kaste vaikuttaa syntien anteeksiantamuksen, vapauttaa kuolemas
      Luterilaisuus
      67
      984
    9. Päivi Räsäsen seksipaljastus loksauttaa Katja Ståhlin leuat! Elämäni biisi kohujakso tv:ssä!

      Elämäni biisi -suosikkisarjan uusinnat ovat startanneet ja nyt vuorossa on sarjan 2. jakso v. 2019. Sinisille sohville
      Suomalaiset julkkikset
      12
      965
    10. Valtuuston puheenjohtaja ei hallitse kokousta

      Kemijärven kaupunginvaltuuston puheenjohtaja antoi teatterin pyöriä valtuustossa. Sosialidemokraattien Risto Korkalon pu
      Kemijärvi
      77
      900
    Aihe