Eli minulla on 15 miljoonaa riviä tekstiä, tosin vain ekassa sarakkeessa ja siitä alaspäin, miten sitten sanotaankaan :) Mutta miten saan poistetua dublikaatit?
Jos esim rivit olisivat tälaiset:
jdowiddksi
aowuie90i
2kdkjhdhs
dldlllddjr3i
aowuie90i
oeimmmcl
jdowiddksi
skeidjshha
Niin tuossa on samanlaiset rivit 2 ja 5 sekä 1 ja 7 on keskenään samanlaiset. Miten saan niin että rivi poistaa muut, eli jäisi tällaiset:
jdowiddksi
aowuie90i
2kdkjhdhs
dldlllddjr3i
oeimmmcl
skeidjshha
Miten Excelissä poistetaan dublikaatit?
maeiosaaexcel
9
128
Vastaukset
- maeiosaaexcel
Lisälysymys: Miten Excelissä saa rivit sekoitettua randomisti, ettei ole aakkosjärjestyksessä tai siinä järjestyksessä kun ne on laitetu alunperin?
Taitaa olla vähän väärät työkalut käytössä, katso tuosta mallia, kohdasta 4:08 eteenpäin: https://www.youtube.com/watch?v=tc4ROCJYbm0
Ihan vaan siksi kun materiaalia on noin vitusti, että taulukkolaskin on aivan liian kömpelö tuohon.
Taulukkolaskimella, kuten Excelillä onnistuu toki myös: http://www.techrepublic.com/blog/microsoft-office/generate-a-list-of-unique-entries-in-an-excel-column/- 8WE62W
Aloittaja on trolli. Excelissä taulukon raja on miljoona riviä.
- maeiosaaexcel
Kiitos ohjeista... saisiko notepad :lla dublikaatit pois?
- khgfrw
Komennolla RemoveDuplikates
- Kalastaja_Pekka
1 kirjain=1 byte. Rivillä 10 kirjainta= 10 bytes. Rivejä 15 000 000=150 000 000 bytes.=1.12 Gb?
- klokplkokpkl
lines_seen = set() # holds lines already seen
outfile = open(outfilename, "w")
for line in open(infilename, "r"):
if line not in lines_seen: # not a duplicate
outfile.write(line)
lines_seen.add(line)
outfile.close()
- 3Timo
Tai sitten esim. Scriptillä?
https://msdn.microsoft.com/en-us/library/office/ff193823.aspx
Ketjusta on poistettu 0 sääntöjenvastaista viestiä.
Luetuimmat keskustelut
Vasemmistohallitus palauttaa hintasääntelyn, esim. bensalitra vain 1e.
Tuleva vasemmistolaisista koostuva hallitus ottaa käyttöön vanhat hyvät keinot pitää hinnat kurissa. Tähän tarkoitukse834597Vasemmistolainen valehteli jälleen - Purra tai persut eivät luvanneet "euron bensaa"
Väite "euron bensasta" on ensisijaisesti poliittisten vastustajien käyttämä puhdas vale. Persut kyllä kampanjoivat näky1103820Arman Alizadin viesti puna-aktivisteille: "Pitäkää lärvinne nytkin kiinni"
Arman Alizad kritisoi vasemmiston kaksinaismoralismia. Iranissa syntynyt suosikkijuontaja Arman Alizad pakeni perheensä1733612Minja Koskela nostanut vasemmistoliiton kannatuksen ennätykseen
Koskela valittiin puolueen johtoon lokakuussa 2024, ja silloin Ylen kysely antoi puolueelle 9,3 prosentin kannatuksen.552046Antti johtaa Petteriä jo 7,1 prosenttiyksiköllä
Tällä menolla sdp menee kokoomuksesta kierroksella ohi jo tällä vaalikaudella. https://yle.fi/a/74-20213575711928Mitä on tullut
Entisen abcn rakennuksen tilalle se oli tyhjillään monta vuotta siellä oli jo nyt valot onko huoltoasema? 5:30.891259- 1291104
Palosta selvinnyt 18 vuotias munira tarvitsi tulkin kun puhui Iltalehdelle
Suomessa asuva 18 vuotias tarvii tulkin !!! Tää Suomea puhumaton on palossa kuolleen naisen veli ja asui perheen kanssa.1401050- 57963
Mikä homma?
https://share.google/NvruSS4P4EzjTWPov Poliisilla oli keskiviikkona 4. maaliskuuta yksityisasunnossa Saarijärvellä tehtä27882