XML sekamelskan perkaus

Anonyymi

Ihmettelen kovin koko XML:n tarkoitusta, koska varsinaisen datan sijaan se sisältää suurimmalta osin pelkkää roskaa. Kuinka esimerkiksi saadaan helpoiten talteen lämpötilatiedot tästä linkistä: http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&

Ovat siis kätketty tälläiseen, ja tuosta tarvittaisiin vain aikatieto ja arvo. Yksittäisiä arvoja on siis kymmeniä.

<wml2:point><wml2:MeasurementTVP><wml2:time>2019-04-19T00:50:00Z</wml2:time><wml2:value>3.6</wml2:value></wml2:MeasurementTVP></wml2:point>

7

1312

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • Suorita tämä koodi:

      var wmlNs = "http://www.opengis.net/waterml/2.0";
      var allPoints = document.getElementsByTagNameNS(wmlNs, "point");
      var clearData = Array.from(allPoints).map( p=>{
      var timeEl = p.getElementsByTagNameNS(wmlNs, "time")[0];
      var time = timeEl ? timeEl.textContent : "";
      var valueEl = p.getElementsByTagNameNS(wmlNs, "value")[0];
      var value = valueEl ? valueEl.textContent : "";
      return {time: time, value: value}
      });

      Nyt sinulla pitäisi olla kaikki 936 arvoa listassa clearData objekteina {time, value}.

      • Anonyymi

        Olen nyt yrittänyt tapella Pythonin ja XPathin kanssa, mutta en ole keksinyt mitä pitäisi laittaa xpathiin. Erroria pukkaa esim. jos yrittää päästä toiseen tasoon saakka, johon pääsin kyllä jsonin kautta pyöräyttämällä myös, mutta siitä ei saanut sitten purettua enempää.

        Tämä ei siis toimi:

        import requests
        from lxml import etree

        url = "http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&"
        data = requests.get(url)
        root = etree.XML(data.text.encode("utf-8"))
        results = root.xpath("/wfs:FeatureCollection/wfs:member")

        Tästä yritin saada apuja: https://lxml.de/xpathxslt.html

        Taidan tehdä niin että otan stringinä käsittelyyn ja puran manuaalisesti. On tuo XML kyllä ihme sekamelskaa.


      • Anonyymi
        Anonyymi kirjoitti:

        Olen nyt yrittänyt tapella Pythonin ja XPathin kanssa, mutta en ole keksinyt mitä pitäisi laittaa xpathiin. Erroria pukkaa esim. jos yrittää päästä toiseen tasoon saakka, johon pääsin kyllä jsonin kautta pyöräyttämällä myös, mutta siitä ei saanut sitten purettua enempää.

        Tämä ei siis toimi:

        import requests
        from lxml import etree

        url = "http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&"
        data = requests.get(url)
        root = etree.XML(data.text.encode("utf-8"))
        results = root.xpath("/wfs:FeatureCollection/wfs:member")

        Tästä yritin saada apuja: https://lxml.de/xpathxslt.html

        Taidan tehdä niin että otan stringinä käsittelyyn ja puran manuaalisesti. On tuo XML kyllä ihme sekamelskaa.

        TÄSSÄ PYTHON3 MALLIA
        Korvaa ??? tiedoston osoitteella.

        from xml.dom import minidom
        import urllib.request
        url = 'http://???'
        urllib.request.urlretrieve(url, "data.xml")
        mydoc = minidom.parse('data.xml')
        items = mydoc.getElementsByTagName('wml2:time')

        i=0
        for x in items:
        print(str(i) ": " items[i].lastChild.data)
        i=i 1

        Testaa tämä.


      • Anonyymi
        Anonyymi kirjoitti:

        TÄSSÄ PYTHON3 MALLIA
        Korvaa ??? tiedoston osoitteella.

        from xml.dom import minidom
        import urllib.request
        url = 'http://???'
        urllib.request.urlretrieve(url, "data.xml")
        mydoc = minidom.parse('data.xml')
        items = mydoc.getElementsByTagName('wml2:time')

        i=0
        for x in items:
        print(str(i) ": " items[i].lastChild.data)
        i=i 1

        Testaa tämä.

        Tuo on ihan lupaava lähtökohta, koska tulostaa kaikki ajat kuten pitääkin. Pitäisi vielä se mittausarvo ympätä tuohon.


      • Anonyymi
        Anonyymi kirjoitti:

        Tuo on ihan lupaava lähtökohta, koska tulostaa kaikki ajat kuten pitääkin. Pitäisi vielä se mittausarvo ympätä tuohon.

        Arvot mukaan vaikka näin:

        from xml.dom import minidom
        import urllib.request
        url = ???'
        urllib.request.urlretrieve(url, "data.xml")
        mydoc = minidom.parse('data.xml')
        times = mydoc.getElementsByTagName('wml2:time')
        values = mydoc.getElementsByTagName('wml2:value')

        i=0
        for x in times:
        print(str(i) ": " times[i].lastChild.data \
        " " values[i].lastChild.data)
        i=i 1


      • Anonyymi
        Anonyymi kirjoitti:

        Arvot mukaan vaikka näin:

        from xml.dom import minidom
        import urllib.request
        url = ???'
        urllib.request.urlretrieve(url, "data.xml")
        mydoc = minidom.parse('data.xml')
        times = mydoc.getElementsByTagName('wml2:time')
        values = mydoc.getElementsByTagName('wml2:value')

        i=0
        for x in times:
        print(str(i) ": " times[i].lastChild.data \
        " " values[i].lastChild.data)
        i=i 1

        Kiitokset! Nyt ymmärsin tuon logiikan. Hämäsi hieman tuo käyttämäsi for-lauseke.


    Ketjusta on poistettu 1 sääntöjenvastaista viestiä.

    Luetuimmat keskustelut

    1. Veroaste on Suomessa viitisen prosenttiyksikköä liian matala

      Veropohjaa on rapautettu käytännössä koko kulunut vuosituhat, jonka vuoksi valtion menoja on jouduttu rahoittamaan velka
      Maailman menoa
      67
      2405
    2. Tiedän satavarmasti ettet tule koskaan

      Uskaltamaan mitään. Ei me tulla edes näkemään koskaan.
      Ikävä
      66
      1377
    3. Kyläkauppias ajoi kännissä töistä kotiin

      Ei edes kallis auto estä humalassa ajamista, vaikka luulisi alkolukko olevan sellaisessa jo vakiovarusteena. https://ww
      Maailman menoa
      74
      1185
    4. EU komissio - EU-elpymisrahoja voidaan käyttää TILAPÄISESTI väärin!

      Espanja ohjasi miljardeja euroja – Nyt EU-komissio teki yllättävän paljastuksen Skandaaliksi noussut Espanjan EU-rahoje
      Maailman menoa
      4
      1107
    5. Miks me oikein

      Rakastuttiin vaikka kaikki on mahdotonta?
      Ikävä
      79
      845
    6. Kiitos upeasta palvelusta kukkamyyjä

      Kiitos sinulle upea kaunis kukkamyyjä Kuhmon torilla 🌹 Upea iloinen asenteesi ja kaunis hymysi pelasti päiväni ❤️ Jäi
      Kuhmo
      19
      790
    7. Nainen, mikset lähetä

      miehelle viestiä? Tiedän, että sulla on asiaa ja kysyttävää.
      Ikävä
      43
      678
    8. Ratikka Turkuun

      Ei hyvä. Ja syy on siinä , kukaan ei osaa suunnitella oikeaa reittiä. Pitää huomioide, kiskoja sijaintia ei voi muutta
      Turku
      82
      670
    9. Miehet trikoissaan

      On se kauhian näkköistä, kun miehet tiukossa trikkoissa juoksentelloo ja mulukku paestaa trikkoijjen läpi. Kahtokkee pe
      Suomussalmi
      24
      638
    10. Rakastan sinua

      Yhä.
      Ikävä
      30
      636
    Aihe