XML sekamelskan perkaus

Anonyymi

Ihmettelen kovin koko XML:n tarkoitusta, koska varsinaisen datan sijaan se sisältää suurimmalta osin pelkkää roskaa. Kuinka esimerkiksi saadaan helpoiten talteen lämpötilatiedot tästä linkistä: http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&

Ovat siis kätketty tälläiseen, ja tuosta tarvittaisiin vain aikatieto ja arvo. Yksittäisiä arvoja on siis kymmeniä.

<wml2:point><wml2:MeasurementTVP><wml2:time>2019-04-19T00:50:00Z</wml2:time><wml2:value>3.6</wml2:value></wml2:MeasurementTVP></wml2:point>

7

1303

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • Suorita tämä koodi:

      var wmlNs = "http://www.opengis.net/waterml/2.0";
      var allPoints = document.getElementsByTagNameNS(wmlNs, "point");
      var clearData = Array.from(allPoints).map( p=>{
      var timeEl = p.getElementsByTagNameNS(wmlNs, "time")[0];
      var time = timeEl ? timeEl.textContent : "";
      var valueEl = p.getElementsByTagNameNS(wmlNs, "value")[0];
      var value = valueEl ? valueEl.textContent : "";
      return {time: time, value: value}
      });

      Nyt sinulla pitäisi olla kaikki 936 arvoa listassa clearData objekteina {time, value}.

      • Anonyymi

        Olen nyt yrittänyt tapella Pythonin ja XPathin kanssa, mutta en ole keksinyt mitä pitäisi laittaa xpathiin. Erroria pukkaa esim. jos yrittää päästä toiseen tasoon saakka, johon pääsin kyllä jsonin kautta pyöräyttämällä myös, mutta siitä ei saanut sitten purettua enempää.

        Tämä ei siis toimi:

        import requests
        from lxml import etree

        url = "http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&"
        data = requests.get(url)
        root = etree.XML(data.text.encode("utf-8"))
        results = root.xpath("/wfs:FeatureCollection/wfs:member")

        Tästä yritin saada apuja: https://lxml.de/xpathxslt.html

        Taidan tehdä niin että otan stringinä käsittelyyn ja puran manuaalisesti. On tuo XML kyllä ihme sekamelskaa.


      • Anonyymi
        Anonyymi kirjoitti:

        Olen nyt yrittänyt tapella Pythonin ja XPathin kanssa, mutta en ole keksinyt mitä pitäisi laittaa xpathiin. Erroria pukkaa esim. jos yrittää päästä toiseen tasoon saakka, johon pääsin kyllä jsonin kautta pyöräyttämällä myös, mutta siitä ei saanut sitten purettua enempää.

        Tämä ei siis toimi:

        import requests
        from lxml import etree

        url = "http://opendata.fmi.fi/wfs/fin?service=WFS&version=2.0.0&request=GetFeature&storedquery_id=fmi::observations::weather::timevaluepair&fmisid=101520&"
        data = requests.get(url)
        root = etree.XML(data.text.encode("utf-8"))
        results = root.xpath("/wfs:FeatureCollection/wfs:member")

        Tästä yritin saada apuja: https://lxml.de/xpathxslt.html

        Taidan tehdä niin että otan stringinä käsittelyyn ja puran manuaalisesti. On tuo XML kyllä ihme sekamelskaa.

        TÄSSÄ PYTHON3 MALLIA
        Korvaa ??? tiedoston osoitteella.

        from xml.dom import minidom
        import urllib.request
        url = 'http://???'
        urllib.request.urlretrieve(url, "data.xml")
        mydoc = minidom.parse('data.xml')
        items = mydoc.getElementsByTagName('wml2:time')

        i=0
        for x in items:
        print(str(i) ": " items[i].lastChild.data)
        i=i 1

        Testaa tämä.


      • Anonyymi
        Anonyymi kirjoitti:

        TÄSSÄ PYTHON3 MALLIA
        Korvaa ??? tiedoston osoitteella.

        from xml.dom import minidom
        import urllib.request
        url = 'http://???'
        urllib.request.urlretrieve(url, "data.xml")
        mydoc = minidom.parse('data.xml')
        items = mydoc.getElementsByTagName('wml2:time')

        i=0
        for x in items:
        print(str(i) ": " items[i].lastChild.data)
        i=i 1

        Testaa tämä.

        Tuo on ihan lupaava lähtökohta, koska tulostaa kaikki ajat kuten pitääkin. Pitäisi vielä se mittausarvo ympätä tuohon.


      • Anonyymi
        Anonyymi kirjoitti:

        Tuo on ihan lupaava lähtökohta, koska tulostaa kaikki ajat kuten pitääkin. Pitäisi vielä se mittausarvo ympätä tuohon.

        Arvot mukaan vaikka näin:

        from xml.dom import minidom
        import urllib.request
        url = ???'
        urllib.request.urlretrieve(url, "data.xml")
        mydoc = minidom.parse('data.xml')
        times = mydoc.getElementsByTagName('wml2:time')
        values = mydoc.getElementsByTagName('wml2:value')

        i=0
        for x in times:
        print(str(i) ": " times[i].lastChild.data \
        " " values[i].lastChild.data)
        i=i 1


      • Anonyymi
        Anonyymi kirjoitti:

        Arvot mukaan vaikka näin:

        from xml.dom import minidom
        import urllib.request
        url = ???'
        urllib.request.urlretrieve(url, "data.xml")
        mydoc = minidom.parse('data.xml')
        times = mydoc.getElementsByTagName('wml2:time')
        values = mydoc.getElementsByTagName('wml2:value')

        i=0
        for x in times:
        print(str(i) ": " times[i].lastChild.data \
        " " values[i].lastChild.data)
        i=i 1

        Kiitokset! Nyt ymmärsin tuon logiikan. Hämäsi hieman tuo käyttämäsi for-lauseke.


    Ketjusta on poistettu 1 sääntöjenvastaista viestiä.

    Luetuimmat keskustelut

    1. Persujen kannatusromahdus ilahduttaa

      Siin' ei hyvä häviä. Luotto parempaan tulevasuuteen alkaa taas palautua.
      Maailman menoa
      202
      4810
    2. Avopuoliso, mies-/naisystävä vai mikä?

      Kävin eilen irl keskustelun, joka jätti minut pohtimaan seuraavaa ... millä nimityksellä kutsua henkilöä, jonka kanssa o
      Ikävä
      218
      3663
    3. Silmienvääntelijä-persut pääsivät Japanissa sarjakuvaan

      Torille! https://www.hs.fi/kulttuuri/art-2000011943173.html
      Maailman menoa
      14
      3035
    4. Huvittava ilmiö: Vasemmistolaiset uskoo sokeasti SDP:n parantavan heidän

      elämäänsä, jos demarit johtaa seuraavaa hallitusta (Kyse on siis palstan vasemmistolaisista) Totuus on toinen, nimittäi
      Maailman menoa
      123
      3018
    5. Pitkän päivän ilta

      Tarina elämättömästä miehestä, jonka elämän täytti velvollisuudentunto. Pikkutarkka, huolellinen, hyvällä katsottu, miel
      Ikävä
      157
      2995
    6. Riikka ohoi! Saksa alensi bensaveroa, missä euron bensa?

      Perussuomalaisten yksi vaalilupauksista oli euron bensiini suomalaisille autoilijoille. Ei ole näkynyt. Jopa vasemmis
      Maailman menoa
      55
      2913
    7. Miksi Kuhmolaiset on niin nyrpeä ilmeisiä?

      Miksi suurin osa (ei onneksi kaikki) on niin typääntyneen näkösiä elämäänsä? Tuijotetaan toisia pahansuopaisesti ja kat
      Kuhmo
      15
      2501
    8. Tulipalo rivitalossa, tuhoutuu täysin

      Kainuun pelastuslaitos sai hieman puolenyön jälkeen maanantaina ilmoituksen rivitalon huoneistossa syttyneestä tulipalos
      Puolanka
      64
      2462
    9. Kyllä, maata ei halua puolustaa nimenomaan punavihreän puolen edustajat

      "Esimerkiksi maanpuolustushenki on keskimääräistä alempana naisten, arvoliberaalien, heikossa taloustilanteessa olevien
      Maailman menoa
      80
      2288
    10. En selvinnyt ilman naarmuja

      Vaikka ehkä kuvittelin sen olevan ilmoitusluonteinen asia, jonka jälkeen kaikki palaa entiselleen ja ilma puhdistuu. Naa
      Ikävä
      13
      2105
    Aihe