Minulla on iso tiedosto kovalevyllä. Haluaisin Pythonin avulla lukea siitä tietyn rivin osan. Miten kannattaisi tehdä funktio
def read_part(file, line, start, length):
joka lukisi tiedostosta file riviltä line kohdasta start kohtaan start length olevan merkkijonon siten, että kone ei hyydy?
Ison tekstitiedoston luku Pythonilla
Anonyymi
26
111
Vastaukset
- Anonyymi
Tarvitsetko nimenomaan python koodia tähän, koska Bash Shell jo sisältää tarvittavan komennon, tai itse asiassa useammankin, joilla tuollainen saadaan toteutettua, vaikka näin:
awk '(NR==100000){print $1}' sanasto.txt | cut -c 3-5
Tuo suoritus kestää reippaasti alle sekunnin, vaikka kohteena on tiedosto, jossa on pitkänmatkaa yli miljoona riviä:
real 0m0,171s
user 0m0,157s
sys 0m0,015s- Anonyymi
Miksi kestää lukea zilioona bittä? Siis noin nopeasti.
- Anonyymi
Anonyymi kirjoitti:
Miksi kestää lukea zilioona bittä? Siis noin nopeasti.
Olikohan se aikoinaan Turbo Pascal tai joku muu, joka selvitti noita kiintolevyltä lukemisija niin että voidaan siirtyä tiedoston luennassa tietylle riville suoraan asettamalla johonkin osoitttimeen haluttu arvo, ja tämä mahdollisti palata lukemaan siitä eteen päin johon jäätiin, joten ei tarvinnut lukea tiedostoa systemaattisesti alusta asti.
- Anonyymi
Anonyymi kirjoitti:
Olikohan se aikoinaan Turbo Pascal tai joku muu, joka selvitti noita kiintolevyltä lukemisija niin että voidaan siirtyä tiedoston luennassa tietylle riville suoraan asettamalla johonkin osoitttimeen haluttu arvo, ja tämä mahdollisti palata lukemaan siitä eteen päin johon jäätiin, joten ei tarvinnut lukea tiedostoa systemaattisesti alusta asti.
What to f.. ohitetaan kaikki opittu ja mennään suoraan asiaan.
Tuohan on nerokasta! - Anonyymi
Anonyymi kirjoitti:
Olikohan se aikoinaan Turbo Pascal tai joku muu, joka selvitti noita kiintolevyltä lukemisija niin että voidaan siirtyä tiedoston luennassa tietylle riville suoraan asettamalla johonkin osoitttimeen haluttu arvo, ja tämä mahdollisti palata lukemaan siitä eteen päin johon jäätiin, joten ei tarvinnut lukea tiedostoa systemaattisesti alusta asti.
Eikös tuo ole aika vaarallista, koska mennään helposti vahingossa sörkkimään aivan kiellettyjä alueita ja muita tiedostojakin vaikka itse käyttöjärjestelmää.
- Anonyymi
Anonyymi kirjoitti:
What to f.. ohitetaan kaikki opittu ja mennään suoraan asiaan.
Tuohan on nerokasta!Anonyymi 03.12.2021 08:13
Anonyymi 03.12.2021 08:35
Luultavammin sama kirjoittaja (kolli), mutta kummallekin yhdessä ja erikseen. Siitä on niin kauan kun tuota kävin lävitse ja ympäristötkin on muuttuneet, mutta tiedostojen käsittelyssä käytetyt rajapinnat noudattelee varmaan edelleen tukien vanhaa käytäntöä.
Ohjeet on varmasti nykyäänkin löydettävissä, mutta epäasiallisen tyyliset kommentit eivät houkuttele niitä etsimään, joten koettakaa opiskella omin päin. Ehkä tieto löytyy parhaitten C, C tai Delphi ohjelmointia koskevista tiedostojen käsittelystä, ehkä tarkemmin tiedostojen avauskättelyyn liittyvistä ohjeista. - Anonyymi
Anonyymi kirjoitti:
Eikös tuo ole aika vaarallista, koska mennään helposti vahingossa sörkkimään aivan kiellettyjä alueita ja muita tiedostojakin vaikka itse käyttöjärjestelmää.
Höh. Ei mitenkään vaarallista. Tuossahan vain luetaan.
- Anonyymi
cut -d\/ -f1
- Anonyymi
Tässä vaihtoehto, joka lukee rivi kerrallaan, kunnes ollaan halutussa rivissä. Sen jälkeen funktio palauttaa halutun kokoisen siivun rivistä. Jos rivi on lyhyempi kuin "jäljellä oleva" length, niin palauttaa loppurivin. Jos taas annettu rivinumero on suurempi kuin tiedoston rivien määrä, niin palauttaa "None".
def read_part(file, line, start, length):
lines = 0
with open(file, 'r') as f:
current_line = f.readline()
while current_line:
if lines == line:
return current_line.rstrip()[start:][:length]
lines = lines 1
current_line = f.readline()
return None - Anonyymi
Tässä python versio tuosta jonka jaoin aiemmin:
Anonyymi 02.12.2021 23:36 tunnuksin.
import sys
file = open(sys.argv[1])
rivit = file.readlines()
print( rivit[int(sys.argv[2])].rstrip()[int(sys.argv[3]):][:int(sys.argv[4])] )
Huomaa siinä on vain neljä (4) riviä, tuo print() rivi on pitkä, älä jaa sitä kahtia kuten se tässä näkyy. Oletetaan että tallennat sen nimellä (rfl.py) ja annat suoritus oikeudet sille. Niin käyttö menisi näin:
rfl.py sanasto 99999 3 5
Ja tuohan lukee sanasto nimisen tiedostosta rivin 99999 ja tulostaa siitä kolmannesta (3) merkistä eteen päin viisi (5) merkkiä.
Aikaa tehtävään kuluu seuraavasti:
real 0m0,192s
user 0m0,152s
sys 0m0,040s- Anonyymi
Hups, eipä tuo print() rivi jakautunutkaan kahdelle riville, kuten pelkäsin.
- Anonyymi
Vieläkin on selityksessä virhe:
"Ja tuohan lukee sanasto nimisen tiedostosta rivin 99999"
kuuluisi lukea:
"Ja tuohan lukee sanasto nimisen tiedoston, ja tulostaa rivin 99999"
Eli se kyllä lukee koko tiedoston, eikä yhtä riviä. - Anonyymi
Eipä tuo selittely meinaa onnistua, teletapit vielä kerran:
"Ja tuohan lukee sanasto nimisen tiedoston, ja tulostaa riviltä 99999" - Anonyymi
Pienten tiedostojen kanssa tuo .readlines() on ihan hyvä, koska lukee koko tiedoston kerralla muistiin ja on sen vuoksi nopea. Isoille tiedostoille se ei tietenkään sovi.
- Anonyymi
Anonyymi kirjoitti:
Pienten tiedostojen kanssa tuo .readlines() on ihan hyvä, koska lukee koko tiedoston kerralla muistiin ja on sen vuoksi nopea. Isoille tiedostoille se ei tietenkään sovi.
Ei toista miljoonaa riviä ilmeisesti sitten ole iso, kun aikaa menee noin vähän.
real 0m0,192s - Anonyymi
Anonyymi kirjoitti:
Pienten tiedostojen kanssa tuo .readlines() on ihan hyvä, koska lukee koko tiedoston kerralla muistiin ja on sen vuoksi nopea. Isoille tiedostoille se ei tietenkään sovi.
Niin ja sitten mikäs se sopii, rivi riviltä luku vai?
- Anonyymi
Anonyymi kirjoitti:
Pienten tiedostojen kanssa tuo .readlines() on ihan hyvä, koska lukee koko tiedoston kerralla muistiin ja on sen vuoksi nopea. Isoille tiedostoille se ei tietenkään sovi.
Jos koneen rahkeet eivät riitä, täytyy menetellä samalla tavalla kuin videoitten kassa, pistetään palasiksi, muokataan palasia, ja kootaan takaisin.
Käytännössä en ole koskaan joutunut *.txt tiedostoja koon vuoksi pilkkomaan. - Anonyymi
Anonyymi kirjoitti:
Pienten tiedostojen kanssa tuo .readlines() on ihan hyvä, koska lukee koko tiedoston kerralla muistiin ja on sen vuoksi nopea. Isoille tiedostoille se ei tietenkään sovi.
Isoja tiedostoja muokatessa, ei kannata käyttää mitä tahansa editoria. Editori joka rinkulaa pyörittää miljoona riviä sisältävän tiedoston kanssa joutaa poistaa järjestelmästä, ei sellaisella mitään tee.
- Anonyymi
Anonyymi kirjoitti:
Niin ja sitten mikäs se sopii, rivi riviltä luku vai?
Ainahan rivit joutuu jollain tavalla lukemaan.
Readlines kiskoo koko tiedoston muistiin, jonka jälkeen sitä voi alkaa perkaamaan. Lukee siis nekin rivit, joita ei enää tarvita, jos ollaan tavoiterivin kohdalla.
Readline taas lukee tiedostoa rivi kerrallaan. Tiedostoa siis rämpätään enemmän lueskellessa rivi kerrallaan, mutta säästetään muistia.
Pentti Peruskoodaajalle on yleensä aivan sama miten tekee, koska harvoin tietokoneelle tarjotaan gigaluokan tekstitiedostoja. Enemmän noita pitää pallotella siinä vaiheessa, kun tehdään mahdollisimman pienillä resursseilla toimivia mikropalveluja, joilla saadaan kuitenkin haluttu lopputulos. - Anonyymi
Anonyymi kirjoitti:
Pienten tiedostojen kanssa tuo .readlines() on ihan hyvä, koska lukee koko tiedoston kerralla muistiin ja on sen vuoksi nopea. Isoille tiedostoille se ei tietenkään sovi.
Esimerkki sellaisesta editorista löytyy ubuttajilta oletus editorina GEdit, mutta onhan se ympäristönsä veroinen, meinaan ettei kummallakaan ole mitään virkaa. Jorpakkoon joutaa molemmat heittää.
- Anonyymi
Anonyymi kirjoitti:
Ainahan rivit joutuu jollain tavalla lukemaan.
Readlines kiskoo koko tiedoston muistiin, jonka jälkeen sitä voi alkaa perkaamaan. Lukee siis nekin rivit, joita ei enää tarvita, jos ollaan tavoiterivin kohdalla.
Readline taas lukee tiedostoa rivi kerrallaan. Tiedostoa siis rämpätään enemmän lueskellessa rivi kerrallaan, mutta säästetään muistia.
Pentti Peruskoodaajalle on yleensä aivan sama miten tekee, koska harvoin tietokoneelle tarjotaan gigaluokan tekstitiedostoja. Enemmän noita pitää pallotella siinä vaiheessa, kun tehdään mahdollisimman pienillä resursseilla toimivia mikropalveluja, joilla saadaan kuitenkin haluttu lopputulos."Pentti Peruskoodaajalle on yleensä aivan sama miten tekee"
Minäkin katson kuuluvani tuohon ryhmään, voin vakuuttaa ettei varmasti ole sama. Mitä nopeampi sen parempi, koitahan laajemmin kilpailuttaa kaksi ohjelmaa jolla toisella menee 45 sekuntia ja toisella 0,2 sekuntia samaan tehtävään, kumpi jää henkiin. - Anonyymi
Anonyymi kirjoitti:
"Pentti Peruskoodaajalle on yleensä aivan sama miten tekee"
Minäkin katson kuuluvani tuohon ryhmään, voin vakuuttaa ettei varmasti ole sama. Mitä nopeampi sen parempi, koitahan laajemmin kilpailuttaa kaksi ohjelmaa jolla toisella menee 45 sekuntia ja toisella 0,2 sekuntia samaan tehtävään, kumpi jää henkiin.Riippuu hinnoittelumallista.
- Anonyymi
Olisko täällä python koodaajia, mun pitäs saada tehtyy parikoodia olisko täällä ammattilaista, voin maksaa koodeista
- Anonyymi
Tätä sivustoa rikastavat python taidoillaan tasan kaksi kirjoittelijaa, ja minä olen niistä toinen. Minulla ei ole mitään mielitekoja sitoutua tulosvastuullisesti mihinkään.
- Anonyymi
Totta kai koodaajia löytyy kun hinnasta sovitaan, mutta jos sinä oikeasti olisit sellaista etsimässä, niin et sinä täällä siitä huutelisi, vaan etsisit freelanceria esimerkiksi Fiverrista.
- Anonyymi
Nykyään on hyvin vähän älykkäämpien kirjoituksia näillä sivuilla. Kun tarkastelee 60 ensimmäistä ketjua, niistä 54 ketjua on roskakirjoittelua, ja näitä kirjoittelee kaverit joilla ei ole mitään annettavaa kenellekään.
Ketjusta on poistettu 0 sääntöjenvastaista viestiä.
Luetuimmat keskustelut
Kalajoen hukkuneet pojat olivat tummaihoisia
Jälleen kerran, hukkuneet tai heikon uimataidon vuoksi vaaraan joutuneet olivat muita kuin suomalaisia. Turha viisastell3146781Kysymys muille miehille
Onko teille varattu nainen ongelma? Mikään muu naisessa ei töki kun se että hän on varattu. Kamppailen houkutuksen kanss653829- 2073096
Kohta katson sun kuvaasi
ja päästän ajatukseni liitämään. Jo kuvasi näkeminen rauhoittaa, ja pistää hyrräämään vähän muutakin. Ihanan kaunista sa242787- 741922
- 1461682
Ahneus iski Fazeriin, suklaalevy kutistuu 180 grammaan
Kun mikään ei riitä. Shrinkflaatio. Mitä isot (Marabou) edellä, sitä pienet (Fazer) perässä. Pienikin voi siis olla a2101672Minkä asian haluaisit muuttaa kaivatussasi?
Mikä kaivattusi luonteessa tai ulkonäössä ärsyttää sua?1201528Jos kaivattusi on perääntynyt lähestyessäsi
jossain tilanteessa, ymmärrätkö miksi hän saattoi tehdä sen?1631521- 891408