Ison tekstitiedoston luku Pythonilla

Anonyymi

Minulla on iso tiedosto kovalevyllä. Haluaisin Pythonin avulla lukea siitä tietyn rivin osan. Miten kannattaisi tehdä funktio

def read_part(file, line, start, length):

joka lukisi tiedostosta file riviltä line kohdasta start kohtaan start length olevan merkkijonon siten, että kone ei hyydy?

26

111

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • Anonyymi

      Tarvitsetko nimenomaan python koodia tähän, koska Bash Shell jo sisältää tarvittavan komennon, tai itse asiassa useammankin, joilla tuollainen saadaan toteutettua, vaikka näin:

      awk '(NR==100000){print $1}' sanasto.txt | cut -c 3-5

      Tuo suoritus kestää reippaasti alle sekunnin, vaikka kohteena on tiedosto, jossa on pitkänmatkaa yli miljoona riviä:
      real 0m0,171s
      user 0m0,157s
      sys 0m0,015s

      • Anonyymi

        Miksi kestää lukea zilioona bittä? Siis noin nopeasti.


      • Anonyymi
        Anonyymi kirjoitti:

        Miksi kestää lukea zilioona bittä? Siis noin nopeasti.

        Olikohan se aikoinaan Turbo Pascal tai joku muu, joka selvitti noita kiintolevyltä lukemisija niin että voidaan siirtyä tiedoston luennassa tietylle riville suoraan asettamalla johonkin osoitttimeen haluttu arvo, ja tämä mahdollisti palata lukemaan siitä eteen päin johon jäätiin, joten ei tarvinnut lukea tiedostoa systemaattisesti alusta asti.


      • Anonyymi
        Anonyymi kirjoitti:

        Olikohan se aikoinaan Turbo Pascal tai joku muu, joka selvitti noita kiintolevyltä lukemisija niin että voidaan siirtyä tiedoston luennassa tietylle riville suoraan asettamalla johonkin osoitttimeen haluttu arvo, ja tämä mahdollisti palata lukemaan siitä eteen päin johon jäätiin, joten ei tarvinnut lukea tiedostoa systemaattisesti alusta asti.

        What to f.. ohitetaan kaikki opittu ja mennään suoraan asiaan.
        Tuohan on nerokasta!


      • Anonyymi
        Anonyymi kirjoitti:

        Olikohan se aikoinaan Turbo Pascal tai joku muu, joka selvitti noita kiintolevyltä lukemisija niin että voidaan siirtyä tiedoston luennassa tietylle riville suoraan asettamalla johonkin osoitttimeen haluttu arvo, ja tämä mahdollisti palata lukemaan siitä eteen päin johon jäätiin, joten ei tarvinnut lukea tiedostoa systemaattisesti alusta asti.

        Eikös tuo ole aika vaarallista, koska mennään helposti vahingossa sörkkimään aivan kiellettyjä alueita ja muita tiedostojakin vaikka itse käyttöjärjestelmää.


      • Anonyymi
        Anonyymi kirjoitti:

        What to f.. ohitetaan kaikki opittu ja mennään suoraan asiaan.
        Tuohan on nerokasta!

        Anonyymi 03.12.2021 08:13
        Anonyymi 03.12.2021 08:35

        Luultavammin sama kirjoittaja (kolli), mutta kummallekin yhdessä ja erikseen. Siitä on niin kauan kun tuota kävin lävitse ja ympäristötkin on muuttuneet, mutta tiedostojen käsittelyssä käytetyt rajapinnat noudattelee varmaan edelleen tukien vanhaa käytäntöä.

        Ohjeet on varmasti nykyäänkin löydettävissä, mutta epäasiallisen tyyliset kommentit eivät houkuttele niitä etsimään, joten koettakaa opiskella omin päin. Ehkä tieto löytyy parhaitten C, C tai Delphi ohjelmointia koskevista tiedostojen käsittelystä, ehkä tarkemmin tiedostojen avauskättelyyn liittyvistä ohjeista.


      • Anonyymi
        Anonyymi kirjoitti:

        Eikös tuo ole aika vaarallista, koska mennään helposti vahingossa sörkkimään aivan kiellettyjä alueita ja muita tiedostojakin vaikka itse käyttöjärjestelmää.

        Höh. Ei mitenkään vaarallista. Tuossahan vain luetaan.


    • Anonyymi

      cut -d\/ -f1

    • Anonyymi

      Tässä vaihtoehto, joka lukee rivi kerrallaan, kunnes ollaan halutussa rivissä. Sen jälkeen funktio palauttaa halutun kokoisen siivun rivistä. Jos rivi on lyhyempi kuin "jäljellä oleva" length, niin palauttaa loppurivin. Jos taas annettu rivinumero on suurempi kuin tiedoston rivien määrä, niin palauttaa "None".

      def read_part(file, line, start, length):
          lines = 0
          with open(file, 'r') as f:
              current_line = f.readline()
              while current_line:
                  if lines == line:
                      return current_line.rstrip()[start:][:length]
                  lines = lines 1
                  current_line = f.readline()
              return None

    • Anonyymi

      Tässä python versio tuosta jonka jaoin aiemmin:
      Anonyymi 02.12.2021 23:36 tunnuksin.

      import sys
      file = open(sys.argv[1])
      rivit = file.readlines()
      print( rivit[int(sys.argv[2])].rstrip()[int(sys.argv[3]):][:int(sys.argv[4])] )

      Huomaa siinä on vain neljä (4) riviä, tuo print() rivi on pitkä, älä jaa sitä kahtia kuten se tässä näkyy. Oletetaan että tallennat sen nimellä (rfl.py) ja annat suoritus oikeudet sille. Niin käyttö menisi näin:

      rfl.py sanasto 99999 3 5

      Ja tuohan lukee sanasto nimisen tiedostosta rivin 99999 ja tulostaa siitä kolmannesta (3) merkistä eteen päin viisi (5) merkkiä.

      Aikaa tehtävään kuluu seuraavasti:
      real 0m0,192s
      user 0m0,152s
      sys 0m0,040s

      • Anonyymi

        Hups, eipä tuo print() rivi jakautunutkaan kahdelle riville, kuten pelkäsin.


      • Anonyymi

        Vieläkin on selityksessä virhe:
        "Ja tuohan lukee sanasto nimisen tiedostosta rivin 99999"

        kuuluisi lukea:
        "Ja tuohan lukee sanasto nimisen tiedoston, ja tulostaa rivin 99999"

        Eli se kyllä lukee koko tiedoston, eikä yhtä riviä.


      • Anonyymi

        Eipä tuo selittely meinaa onnistua, teletapit vielä kerran:
        "Ja tuohan lukee sanasto nimisen tiedoston, ja tulostaa riviltä 99999"


      • Anonyymi

        Pienten tiedostojen kanssa tuo .readlines() on ihan hyvä, koska lukee koko tiedoston kerralla muistiin ja on sen vuoksi nopea. Isoille tiedostoille se ei tietenkään sovi.


      • Anonyymi
        Anonyymi kirjoitti:

        Pienten tiedostojen kanssa tuo .readlines() on ihan hyvä, koska lukee koko tiedoston kerralla muistiin ja on sen vuoksi nopea. Isoille tiedostoille se ei tietenkään sovi.

        Ei toista miljoonaa riviä ilmeisesti sitten ole iso, kun aikaa menee noin vähän.

        real 0m0,192s


      • Anonyymi
        Anonyymi kirjoitti:

        Pienten tiedostojen kanssa tuo .readlines() on ihan hyvä, koska lukee koko tiedoston kerralla muistiin ja on sen vuoksi nopea. Isoille tiedostoille se ei tietenkään sovi.

        Niin ja sitten mikäs se sopii, rivi riviltä luku vai?


      • Anonyymi
        Anonyymi kirjoitti:

        Pienten tiedostojen kanssa tuo .readlines() on ihan hyvä, koska lukee koko tiedoston kerralla muistiin ja on sen vuoksi nopea. Isoille tiedostoille se ei tietenkään sovi.

        Jos koneen rahkeet eivät riitä, täytyy menetellä samalla tavalla kuin videoitten kassa, pistetään palasiksi, muokataan palasia, ja kootaan takaisin.

        Käytännössä en ole koskaan joutunut *.txt tiedostoja koon vuoksi pilkkomaan.


      • Anonyymi
        Anonyymi kirjoitti:

        Pienten tiedostojen kanssa tuo .readlines() on ihan hyvä, koska lukee koko tiedoston kerralla muistiin ja on sen vuoksi nopea. Isoille tiedostoille se ei tietenkään sovi.

        Isoja tiedostoja muokatessa, ei kannata käyttää mitä tahansa editoria. Editori joka rinkulaa pyörittää miljoona riviä sisältävän tiedoston kanssa joutaa poistaa järjestelmästä, ei sellaisella mitään tee.


      • Anonyymi
        Anonyymi kirjoitti:

        Niin ja sitten mikäs se sopii, rivi riviltä luku vai?

        Ainahan rivit joutuu jollain tavalla lukemaan.

        Readlines kiskoo koko tiedoston muistiin, jonka jälkeen sitä voi alkaa perkaamaan. Lukee siis nekin rivit, joita ei enää tarvita, jos ollaan tavoiterivin kohdalla.

        Readline taas lukee tiedostoa rivi kerrallaan. Tiedostoa siis rämpätään enemmän lueskellessa rivi kerrallaan, mutta säästetään muistia.

        Pentti Peruskoodaajalle on yleensä aivan sama miten tekee, koska harvoin tietokoneelle tarjotaan gigaluokan tekstitiedostoja. Enemmän noita pitää pallotella siinä vaiheessa, kun tehdään mahdollisimman pienillä resursseilla toimivia mikropalveluja, joilla saadaan kuitenkin haluttu lopputulos.


      • Anonyymi
        Anonyymi kirjoitti:

        Pienten tiedostojen kanssa tuo .readlines() on ihan hyvä, koska lukee koko tiedoston kerralla muistiin ja on sen vuoksi nopea. Isoille tiedostoille se ei tietenkään sovi.

        Esimerkki sellaisesta editorista löytyy ubuttajilta oletus editorina GEdit, mutta onhan se ympäristönsä veroinen, meinaan ettei kummallakaan ole mitään virkaa. Jorpakkoon joutaa molemmat heittää.


      • Anonyymi
        Anonyymi kirjoitti:

        Ainahan rivit joutuu jollain tavalla lukemaan.

        Readlines kiskoo koko tiedoston muistiin, jonka jälkeen sitä voi alkaa perkaamaan. Lukee siis nekin rivit, joita ei enää tarvita, jos ollaan tavoiterivin kohdalla.

        Readline taas lukee tiedostoa rivi kerrallaan. Tiedostoa siis rämpätään enemmän lueskellessa rivi kerrallaan, mutta säästetään muistia.

        Pentti Peruskoodaajalle on yleensä aivan sama miten tekee, koska harvoin tietokoneelle tarjotaan gigaluokan tekstitiedostoja. Enemmän noita pitää pallotella siinä vaiheessa, kun tehdään mahdollisimman pienillä resursseilla toimivia mikropalveluja, joilla saadaan kuitenkin haluttu lopputulos.

        "Pentti Peruskoodaajalle on yleensä aivan sama miten tekee"

        Minäkin katson kuuluvani tuohon ryhmään, voin vakuuttaa ettei varmasti ole sama. Mitä nopeampi sen parempi, koitahan laajemmin kilpailuttaa kaksi ohjelmaa jolla toisella menee 45 sekuntia ja toisella 0,2 sekuntia samaan tehtävään, kumpi jää henkiin.


      • Anonyymi
        Anonyymi kirjoitti:

        "Pentti Peruskoodaajalle on yleensä aivan sama miten tekee"

        Minäkin katson kuuluvani tuohon ryhmään, voin vakuuttaa ettei varmasti ole sama. Mitä nopeampi sen parempi, koitahan laajemmin kilpailuttaa kaksi ohjelmaa jolla toisella menee 45 sekuntia ja toisella 0,2 sekuntia samaan tehtävään, kumpi jää henkiin.

        Riippuu hinnoittelumallista.


    • Anonyymi

      Olisko täällä python koodaajia, mun pitäs saada tehtyy parikoodia olisko täällä ammattilaista, voin maksaa koodeista

      • Anonyymi

        Tätä sivustoa rikastavat python taidoillaan tasan kaksi kirjoittelijaa, ja minä olen niistä toinen. Minulla ei ole mitään mielitekoja sitoutua tulosvastuullisesti mihinkään.


      • Anonyymi

        Totta kai koodaajia löytyy kun hinnasta sovitaan, mutta jos sinä oikeasti olisit sellaista etsimässä, niin et sinä täällä siitä huutelisi, vaan etsisit freelanceria esimerkiksi Fiverrista.


    • Anonyymi

      Nykyään on hyvin vähän älykkäämpien kirjoituksia näillä sivuilla. Kun tarkastelee 60 ensimmäistä ketjua, niistä 54 ketjua on roskakirjoittelua, ja näitä kirjoittelee kaverit joilla ei ole mitään annettavaa kenellekään.

    Ketjusta on poistettu 0 sääntöjenvastaista viestiä.

    Luetuimmat keskustelut

    1. Kalajoen hukkuneet pojat olivat tummaihoisia

      Jälleen kerran, hukkuneet tai heikon uimataidon vuoksi vaaraan joutuneet olivat muita kuin suomalaisia. Turha viisastell
      Maailman menoa
      314
      6781
    2. Kysymys muille miehille

      Onko teille varattu nainen ongelma? Mikään muu naisessa ei töki kun se että hän on varattu. Kamppailen houkutuksen kanss
      Ikävä
      65
      3829
    3. Sinä eräs, pyydän......

      AUTA mua ole kiltti. Ei mun takia vaan.... Miten saan sut kiinni?
      Ikävä
      207
      3096
    4. Kohta katson sun kuvaasi

      ja päästän ajatukseni liitämään. Jo kuvasi näkeminen rauhoittaa, ja pistää hyrräämään vähän muutakin. Ihanan kaunista sa
      Ikävä
      24
      2787
    5. Nimikirjaimet

      Kuka kaipaa ketä 🥰
      Ikävä
      74
      1922
    6. VOI TÄTÄ ILON

      JA ONNEN PÄIVÄÄ 😂
      Tuusniemi
      146
      1682
    7. Ahneus iski Fazeriin, suklaalevy kutistuu 180 grammaan

      Kun mikään ei riitä. Shrinkflaatio. Mitä isot (Marabou) edellä, sitä pienet (Fazer) perässä. Pienikin voi siis olla a
      Maailman menoa
      210
      1672
    8. Minkä asian haluaisit muuttaa kaivatussasi?

      Mikä kaivattusi luonteessa tai ulkonäössä ärsyttää sua?
      Ikävä
      120
      1528
    9. Jos kaivattusi on perääntynyt lähestyessäsi

      jossain tilanteessa, ymmärrätkö miksi hän saattoi tehdä sen?
      Ikävä
      163
      1521
    10. Mies, ajattelemmekohan toisiamme juuri nyt?

      Olet mielessäni, vanhempi mies
      Ikävä
      89
      1408
    Aihe