Eli minulla on 15 miljoonaa riviä tekstiä, tosin vain ekassa sarakkeessa ja siitä alaspäin, miten sitten sanotaankaan :) Mutta miten saan poistetua dublikaatit?
Jos esim rivit olisivat tälaiset:
jdowiddksi
aowuie90i
2kdkjhdhs
dldlllddjr3i
aowuie90i
oeimmmcl
jdowiddksi
skeidjshha
Niin tuossa on samanlaiset rivit 2 ja 5 sekä 1 ja 7 on keskenään samanlaiset. Miten saan niin että rivi poistaa muut, eli jäisi tällaiset:
jdowiddksi
aowuie90i
2kdkjhdhs
dldlllddjr3i
oeimmmcl
skeidjshha
Jos esim rivit olisivat tälaiset:
jdowiddksi
aowuie90i
2kdkjhdhs
dldlllddjr3i
aowuie90i
oeimmmcl
jdowiddksi
skeidjshha
Niin tuossa on samanlaiset rivit 2 ja 5 sekä 1 ja 7 on keskenään samanlaiset. Miten saan niin että rivi poistaa muut, eli jäisi tällaiset:
jdowiddksi
aowuie90i
2kdkjhdhs
dldlllddjr3i
oeimmmcl
skeidjshha
Vastaukset 9
Vanhimmat
Lisälysymys: Miten Excelissä saa rivit sekoitettua randomisti, ettei ole aakkosjärjestyksessä tai siinä järjestyksessä kun ne on laitetu alunperin?
Taitaa olla vähän väärät työkalut käytössä, katso tuosta mallia, kohdasta 4:08 eteenpäin: https://www.youtube.com/watch?v=tc4ROCJYbm0
Ihan vaan siksi kun materiaalia on noin vitusti, että taulukkolaskin on aivan liian kömpelö tuohon.
Taulukkolaskimella, kuten Excelillä onnistuu toki myös: http://www.techrepublic.com/blog/microsoft-office/generate-a-list-of-unique-entries-in-an-excel-column/
Aloittaja on trolli. Excelissä taulukon raja on miljoona riviä.
Kiitos ohjeista... saisiko notepad :lla dublikaatit pois?
Todennäköisesti ei.
Komennolla RemoveDuplikates
1 kirjain=1 byte. Rivillä 10 kirjainta= 10 bytes. Rivejä 15 000 000=150 000 000 bytes.=1.12 Gb?
lines_seen = set() # holds lines already seen
outfile = open(outfilename, "w")
for line in open(infilename, "r"):
if line not in lines_seen: # not a duplicate
outfile.write(line)
lines_seen.add(line)
outfile.close()
Tai sitten esim. Scriptillä?
https://msdn.microsoft.com/en-us/library/office/ff193823.aspx