Postinumeroiden noutaminen Pythonilla webistä

soppakokeilu

Tein tuossa huvikseni pienen funktion, jolle annetaan parametreinä katuosoite ja kunta. Se palauttaa sitten listamuodossa kadut ja ko. postinumerot. Oletuksena esim Helsinginkatu Helsingistä palauttaa:

['Helsinginkatu', '56', '58', '00260', 'HELSINKI', 'Helsinki']
['Helsinginkatu', '1', '19', '00500', 'HELSINKI', 'Helsinki']
['Helsinginkatu', '2', '16', '00500', 'HELSINKI', 'Helsinki']
['Helsinginkatu', '21', '25', '00510', 'HELSINKI', 'Helsinki']
['Helsinginkatu', '18', '50', '00530', 'HELSINKI', 'Helsinki']

Jossa ensin katu, sitten katunumeroiden ala- ja yläarvot (jos on, muuten tyhjää), postinumero, postitoimipaikka ja kunta.

Seuraavaksi pitää kehitellä suodatus katunumeroiden perusteella, niin saa listaa lyhyemmäksi. Jos katuosoitteen numerokin on annettu, niin periaatteessahan ei pitäisi tulla kuin yksi postinumero.

Main-funktiossa oleva pääohjelma kyselee tietoja, ja jos laittaa pelkän katuosoitteen, niin kuntana on Helsinki. Pelkän katuosoitteen syöttämällä lopetetaan.

Koodista sitten pitää korvata "--->" neljällä välilyönnillä " ", koska tämä foorumi sotkee sisennykset.

Käytin Python 3:sta ja lisäksi pitää asentaa BeautifilSoup esim. komennolla:

sudo apt-get install python3-bs4

# koodi alkaa

from bs4 import BeautifulSoup
import requests
from urllib.request import urlopen
from requests.utils import quote

def haePostinumero(osoite="helsinginkatu",kunta="helsinki"):

--->url="http://www.verkkoposti.com/e3/"\
--->---> "postinumeroluettelo?streetname="\
--->---> quote(osoite.encode('ISO-8859-1'))\
--->---> "&postcodeorcommune="\
--->---> quote(kunta.encode('ISO-8859-1'))

--->html=urlopen(url).read().decode("ISO-8859-1")

--->lista=[]

--->if html.find("Postinumerohaun tulos") > 0:
--->--->soup=BeautifulSoup(html,"lxml")
--->--->table = soup.find(class_="hidden-xs")
--->--->kadut=table.find_all("td")
--->--->for katu in range(0,len(kadut),4):
--->--->--->rivi=[]
--->--->--->katunimi=""
--->--->--->katunro1=""
--->--->--->katunro2=""
--->--->--->postinro=""
--->--->--->toimipaikka=""
--->--->--->kunta=""
--->--->--->katun=kadut[katu].find_all("div")
--->--->--->if len(katun) > 0:
--->--->--->--->if len(katun) > 1:
--->--->--->--->--->katul=katun[1].string.strip().split(' ')
--->--->--->--->else:
--->--->--->--->--->katul=katun[0].string.strip().split(' ')
--->--->--->--->if len(katul) == 1:
--->--->--->--->--->katunimi=katul[0].strip()
--->--->--->--->if len(katul) == 2 or len(katul) == 4:
--->--->--->--->--->katunimi=katul[0].strip()
--->--->--->--->--->katunro1=katul[1].strip()
--->--->--->--->if len(katul) == 4:
--->--->--->--->--->katunro2=katul[3].strip()
--->--->--->toimip=kadut[katu 2].string.strip().split('\n')
--->--->--->postinro=toimip[0].strip()
--->--->--->toimipaikka=toimip[2].strip()
--->--->--->kunta=kadut[katu 3].string.strip()
--->--->
--->--->--->rivi.append(katunimi)
--->--->--->rivi.append(katunro1)
--->--->--->rivi.append(katunro2)
--->--->--->rivi.append(postinro)
--->--->--->rivi.append(toimipaikka)
--->--->--->rivi.append(kunta)
--->--->--->lista.append(rivi)

--->return lista

def main():
--->while True:--->--->
--->--->postinumerot=[]
--->--->kyskatu=input("Katuosoite: ")
--->--->kyskunta=input("Kunta: ")
--->--->if len(kyskatu)>0 and len(kyskunta)>0:
--->--->--->postinumerot=haePostinumero(kyskatu,kyskunta)
--->--->elif len(kyskatu)==0 and len(kyskunta)>0:
--->--->--->break
--->--->elif len(kyskatu)>0 and len(kyskunta)==0:
--->--->--->postinumerot=haePostinumero(osoite=kyskatu)
--->--->else:
--->--->--->postinumerot=haePostinumero()

--->--->for postinumero in postinumerot:
--->--->--->print(postinumero)


if __name__ == "__main__":
--->main()
--->

12

1056

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • Koodi-tuonne-vaivatonta

      Aivan just, tää sivusto on erittäin huono silloin kun pitää välittää toiselle ohjelmakoodia. Python jos mikä on vielä erittäin tarkka syntaksistaan. Sinun kannattaa tehdä tili tuonne http://pastebin.com sivulle, joka on juuri tätä varten.

      Sinne kun koodidisi laitat, ja vielä valitset sieltä sen python kohdan, niin jopa on helppo ja nopea toisen testata.

      Linux Mint 18 Sarah
      Xfce 64-bit

      • soppakokeilu

        Kiitos vinkistä, otin käyttöön tuon Pastebinin. Ensimmäinen kokeilu:

        http://pastebin.com/tFfGPZGd

        Tein toisen funktion "postiNroToimipaikka()", joka hyödyntää aikaisempaa webistä tiedot hakeavaa "haePostinumero()"-funktiota. Se palauttaa nyt hakua vastaavan merkkijonon muodossa "postinro postitoimipaikka". Lisäksi on yksi apufunktio "suodataOsoite()", jolla suodatetaan katuosoitteesta pois mahdolliset rappujen kirjaimet ja huoneistojen numerot, koska postin haku ei niitä aina ymmärrä.

        Esim:
        suodataOsoite("Jokuosoite 1 A 2")
        palauttaa: "Jokuosoite 1".

        Oletuksena kunta on Helsinki, esim:

        osoite=suodataOsoite("Mannerheimintie 15")
        lista=haePostinumero(osoite=osoite)
        print(postiNroToimipaikka(osoite=osoite,lista=lista))

        tulostaa: 00260 HELSINKI

        Jos kunta on toinen, niin esim:

        osoite=suodataOsoite("Saapastie 2")
        kunta="Pirkkala"
        lista=haePostinumero(osoite,kunta)
        print(postiNroToimipaikka(osoite,kunta,lista))

        tulostaa: 33950 PIRKKALA


    • Ahkera-koodari-oot

      Kirjoitatko Windows ympäristössä, koska rivien

      109. kyskatu=input("Katuosoite: ")
      110. kyskunta=input("Kunta: ")

      input() funktio ottaa vastaan luku muotoista tietoa ja minä jouduin tuo muuttamaan muotoon:

      109. kyskatu=raw_input("Katuosoite: ")
      110. kyskunta=raw_input("Kunta: ")

      koska raw_input() funktio ottaa vastaan merkkijonoja.

      Lisäksi tuo suodin on niin tehokas että lähes aina tulee osoitteen sijasta

      "Useampi kuin yksi vaihtoehto"

      Saattaa olla että tuon tekstin sijaan kuuluusi tulla

      "Haku ei tuottanut tulosta"

      Linux Mint 18 Sarah
      Xfce 64-bit

      • Unohtu-tuo-kuva

      • soppakokeilu

        Käyttelen siis Python 3 -versiota, jossa ei ymmärtääkseni ole enää tuota raw_input()-funktiota lainkaan, vaan pelkkä input(). Lisäksi esim. print on korvauttu funktiolla print(). Linuxilla teen ja Idlellä.

        Haku "kemi" ja "kemi" palauttaa vain sen sanoman "Useampi kuin yksi vaihtoehto". Se johtuu siitä, että silloin Postin palvelu palauttaa liikaa arvoja, eli samalle haulle ei ole yksittäistä tulosta. Tuonhan se siis käytännössä tekee:

        https://www.verkkoposti.com/e3/postinumeroluettelo?streetname=kemi&postcodeorcommune=kemi

        Näyttäisi sinulla menevän merkistökoodaus väärin. Kopioin äsken pastebinistä ja kokeilin, niin minulla toimii silti aivan kuten pitääkin, eli pastebin ei ainakaan ole syyllinen.

        Auttaakohan jos laittaa ensimmäiseksi riviksi koodiin?

        # -*- coding: utf-8 -*-


      • Toimiiko-sulla
        soppakokeilu kirjoitti:

        Käyttelen siis Python 3 -versiota, jossa ei ymmärtääkseni ole enää tuota raw_input()-funktiota lainkaan, vaan pelkkä input(). Lisäksi esim. print on korvauttu funktiolla print(). Linuxilla teen ja Idlellä.

        Haku "kemi" ja "kemi" palauttaa vain sen sanoman "Useampi kuin yksi vaihtoehto". Se johtuu siitä, että silloin Postin palvelu palauttaa liikaa arvoja, eli samalle haulle ei ole yksittäistä tulosta. Tuonhan se siis käytännössä tekee:

        https://www.verkkoposti.com/e3/postinumeroluettelo?streetname=kemi&postcodeorcommune=kemi

        Näyttäisi sinulla menevän merkistökoodaus väärin. Kopioin äsken pastebinistä ja kokeilin, niin minulla toimii silti aivan kuten pitääkin, eli pastebin ei ainakaan ole syyllinen.

        Auttaakohan jos laittaa ensimmäiseksi riviksi koodiin?

        # -*- coding: utf-8 -*-

        Virhettä pukkaa
        https://vimeo.com/196116290

        Mitä se sinulla antaa näillä tiedoilla
        Kemilänkatu
        KEMI


        Linux Mint 18 Sarah
        Xfce 64-bit


      • soppakokeilu
        Toimiiko-sulla kirjoitti:

        Virhettä pukkaa
        https://vimeo.com/196116290

        Mitä se sinulla antaa näillä tiedoilla
        Kemilänkatu
        KEMI


        Linux Mint 18 Sarah
        Xfce 64-bit

        Toimii minulla niin kuin ajattelinkin:

        Katuosoite: Kemilänkatu
        Kunta: KEMI
        94200 KEMI

        Käyttelit ilmeisesti 2.x versiota? Siinä kuuluu olevan jotain ongelmia quote():n kanssa.

        http://stackoverflow.com/questions/1695183/how-to-percent-encode-url-parameters-in-python

        Minä käytin requests-moduulin quotea. Toimiiko jos vaihdat sen urllib:n vastaavaan? Eli korvaat tuon requests.utils-rivin tuolla urllib.request-versiolla. Minulla toimii silläkin.

        #from requests.utils import quote
        from urllib.request import quote


      • Anonyymi
        soppakokeilu kirjoitti:

        Käyttelen siis Python 3 -versiota, jossa ei ymmärtääkseni ole enää tuota raw_input()-funktiota lainkaan, vaan pelkkä input(). Lisäksi esim. print on korvauttu funktiolla print(). Linuxilla teen ja Idlellä.

        Haku "kemi" ja "kemi" palauttaa vain sen sanoman "Useampi kuin yksi vaihtoehto". Se johtuu siitä, että silloin Postin palvelu palauttaa liikaa arvoja, eli samalle haulle ei ole yksittäistä tulosta. Tuonhan se siis käytännössä tekee:

        https://www.verkkoposti.com/e3/postinumeroluettelo?streetname=kemi&postcodeorcommune=kemi

        Näyttäisi sinulla menevän merkistökoodaus väärin. Kopioin äsken pastebinistä ja kokeilin, niin minulla toimii silti aivan kuten pitääkin, eli pastebin ei ainakaan ole syyllinen.

        Auttaakohan jos laittaa ensimmäiseksi riviksi koodiin?

        # -*- coding: utf-8 -*-

        Harvinaisen typerä tuo postin palvelu, kun ei palauta jsonia.


    • Varmistan-vain

      Kirjotappa järjestelmän Dash Shellissä komento:

      python -V

      mitä se pukkaa sulla (mulla Python 2.7.12)


      Linux Mint 18 Sarah
      Xfce 64-bit

      • soppakokeilu

        Kakkosversio:

        python -V
        Python 2.7.12

        Kolmosversio:

        python3 -V
        Python 3.5.2


      • Thanks-are-in-order

        NYT TOIMII

        Pistin samanlaisen ympäristön pystyyn, eikös vaan heti ruvennut pelittämään. No nyt tuosta sitten rupean kaivelemaan, itelleni jotain opiksi. Sinähän olet parempi kuin hyvä pythonin kanssa.

        Nyt kun teet vielä tilin tuonne http://pastebin.com sivulle, niin jatkossakin pääsen sinun koodeja kopioimaan. Tilinteko tuonne ei vaadi mitään aitoja tietoja, ja voi sitten muokatakin jos johonkin pääsi TYPO mukaan.

        Thanks are in order. (Kiitokset ovat paikallaan)


        Linux Mint 18 Sarah
        Xfce 64-bit


      • soppakokeilu
        Thanks-are-in-order kirjoitti:

        NYT TOIMII

        Pistin samanlaisen ympäristön pystyyn, eikös vaan heti ruvennut pelittämään. No nyt tuosta sitten rupean kaivelemaan, itelleni jotain opiksi. Sinähän olet parempi kuin hyvä pythonin kanssa.

        Nyt kun teet vielä tilin tuonne http://pastebin.com sivulle, niin jatkossakin pääsen sinun koodeja kopioimaan. Tilinteko tuonne ei vaadi mitään aitoja tietoja, ja voi sitten muokatakin jos johonkin pääsi TYPO mukaan.

        Thanks are in order. (Kiitokset ovat paikallaan)


        Linux Mint 18 Sarah
        Xfce 64-bit

        Hyvä että sait pelaamaan. Aikamoista kantapään kautta opetteluahan tämä tahtoo välillä olla. Onneksi löytyy hakemalla suhteellisen helposti ratkaisumalleja ongelmiin.

        Eniten olen Pythonin opettelun alkuvaiheessa törmännyt juuri näihin yhteensopivuusongelmiin kakkos- ja kolmosversion kanssa. Itse lähdin siis suoraan tekemään tuolla kolmosella. Lisäksi on ollut aika kiitettävästi säätämistä merkistökoodauksien kanssa.

        No jospa se tästä vähän kerrallaan etenisi. Seuraavaksi voisi alkaa opettelemaan graafisen käyttöliittymän tekemistä, Tkinter olisi ilmeisesti silloin aiheena.


    Ketjusta on poistettu 0 sääntöjenvastaista viestiä.

    Luetuimmat keskustelut

    1. Aivosyöpää sairastava Olga Temonen TV:ssä - Viimeinen Perjantai-keskusteluohjelma ulos

      Näyttelijä-yrittäjä Olga Temonen sairastaa neljännen asteen glioomaa eli aivosyöpää, jota ei ole mahdollista leikata. Hä
      Maailman menoa
      91
      2910
    2. Pelotelkaa niin paljon kuin sielu sietää.

      Mutta ei mene perille asti. Miksi Venäjä hyökkäisi Suomeen? No, tottahan se tietenkin on jos Suomi joka ei ole edes soda
      Maailman menoa
      299
      1686
    3. Mikä saa ihmisen tekemään tällaista?

      Onko se huomatuksi tulemisen tarve tosiaan niin iso tarve, että nuoruuttaan ja tietämättömyyttään pilataan loppuelämä?
      Sinkut
      246
      1557
    4. Minkä merkkisellä

      Autolla kaivattusi ajaa? Mies jota kaipaan ajaa Mersulla.
      Ikävä
      87
      1391
    5. IL - VARUSMIEHIÄ lähetetään jatkossa NATO-tehtäviin ulkomaille!

      Suomen puolustuksen uudet linjaukset: Varusmiehiä suunnitellaan Nato-tehtäviin Puolustusministeri Antti Häkkänen esittel
      Maailman menoa
      402
      1384
    6. Nyt kun Pride on ohi 3.0

      Edelliset kaksi ketjua tuli täyteen. Pidetään siis edelleen tämä asia esillä. Raamattu opettaa johdonmukaisesti, että
      Luterilaisuus
      400
      1307
    7. Kiitos nainen

      Kuitenkin. Olet sitten ajanmerkkinä. Tuskin enää sinua näen ja huomasitko, että olit siinä viimeisen kerran samassa paik
      Tunteet
      2
      1089
    8. Esko Eerikäinen tatuoi kasvoihinsa rakkaan nimen - Kärkäs kommentti "Ritvasta" lävähti somessa

      Ohhoh! Esko Eerikäinen on ottanut uuden tatuoinnin. Kyseessä ei ole mikä tahansa kuva minne tahansa, vaan Eerikäisen tat
      Suomalaiset julkkikset
      38
      1037
    9. Hyväksytkö sinä sen että päättäjämme ei rakenna rauhaa Venäjän kanssa?

      Vielä kun sota ehkäpä voitaisiin välttää rauhanponnisteluilla niin millä verukkeella voidaan sanoa että on hyvä asia kun
      Maailman menoa
      329
      874
    10. Miksi Purra-graffiti ei nyt olekkaan naisvihaa?

      "Pohtikaapa reaktiota, jos vastaava graffiti olisi tehty Sanna Marinista", kysyy Tere Sammallahti. Helsingin Suvilahden
      Maailman menoa
      257
      855
    Aihe