Miten Excelissä poistetaan dublikaatit?

maeiosaaexcel

Eli minulla on 15 miljoonaa riviä tekstiä, tosin vain ekassa sarakkeessa ja siitä alaspäin, miten sitten sanotaankaan :) Mutta miten saan poistetua dublikaatit?

Jos esim rivit olisivat tälaiset:

jdowiddksi
aowuie90i
2kdkjhdhs
dldlllddjr3i
aowuie90i
oeimmmcl
jdowiddksi
skeidjshha

Niin tuossa on samanlaiset rivit 2 ja 5 sekä 1 ja 7 on keskenään samanlaiset. Miten saan niin että rivi poistaa muut, eli jäisi tällaiset:

jdowiddksi
aowuie90i
2kdkjhdhs
dldlllddjr3i
oeimmmcl
skeidjshha

9

109

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • maeiosaaexcel

      Lisälysymys: Miten Excelissä saa rivit sekoitettua randomisti, ettei ole aakkosjärjestyksessä tai siinä järjestyksessä kun ne on laitetu alunperin?

    • M-Kar
      • 8WE62W

        Aloittaja on trolli. Excelissä taulukon raja on miljoona riviä.


    • maeiosaaexcel

      Kiitos ohjeista... saisiko notepad :lla dublikaatit pois?

      • M-Kar

        Todennäköisesti ei.


    • khgfrw

      Komennolla RemoveDuplikates

    • Kalastaja_Pekka

      1 kirjain=1 byte. Rivillä 10 kirjainta= 10 bytes. Rivejä 15 000 000=150 000 000 bytes.=1.12 Gb?

      • klokplkokpkl

        lines_seen = set() # holds lines already seen
        outfile = open(outfilename, "w")
        for line in open(infilename, "r"):
        if line not in lines_seen: # not a duplicate
        outfile.write(line)
        lines_seen.add(line)
        outfile.close()


    • 3Timo

    Ketjusta on poistettu 0 sääntöjenvastaista viestiä.

    Luetuimmat keskustelut

    1. Mihin Ilkka Kanerva kuoli?

      Kun näin jokin aika sitten kuvan riutuneen näköisestä Kanervasta, sanoin vaimolle että haimasyövältä vaikuttaa. Vaimon isä oli kuollut kyseiseen tauti
      Maailman menoa
      245
      16617
    2. Oho! Susanna Laine uudessa hiustyylissä - Julkkismeikkaajalta tiukka palaute: "Ihan sama..."

      Ex-Salkkarit tähti ja juontaja Susanna Laine on monessa mukana. Ex-missi tunnetaan pitkistä, vaaleista hiuksistaan . Mitäs tykkäät uudesta hiustyylist
      Kotimaiset julkkisjuorut
      23
      5351
    3. Ilkka kanerva

      Ilkka Kanerva kuollut 74v
      Turku
      115
      2537
    4. Yllätyspaljastus: Poppari Robin Packalen kiittää urastaan iskelmätähti Juha Tapiota: "Jos mä en..."

      Oi, mikä tarina. Juha Tapio ja Robin ovat kyllä symppiksiä molemmat. Kumpi heistä on suosikkisi? https://www.suomi24.fi/viihde/yllatyspaljastus-poppar
      Kotimaiset julkkisjuorut
      15
      1995
    5. Venäjän lippulaiva Moskva upotettu Mustallamerellä

      Venäjän laivaston lippulaiva Mustalalmerellä on 180 m pituinen, Neuvostoliiton aikana rakennettu Moskva-niminen risteilijä. Ukraina ilmoitti eilen saa
      Maailman menoa
      336
      1736
    6. Pikkaraiskan puhelut

      Mitä tuo jätkä hakee sillä että julkaisee kuinka kauan on puhunut puhelimessa? Tekee itsestään vieläkin idiootimman tuolla vai mikä tää juttu?
      Kotimaiset julkkisjuorut
      111
      969
    7. Ilkka Kanerva on kuollut

      74-vuotiaana.
      Maailman menoa
      59
      935
    8. Hossein Najaf juotti lapset humalaan ja käytti häikäilemättä hyväkseen

      Keski-Suomen käräjäoikeus on tuominnut 60-vuotiaan Hossein Najafin neljän vuoden vankeusrangaistukseen. Ensimmäisen tytön kanssa hän oli useita kerto
      Maailman menoa
      28
      838
    9. Sofia Belorf ja Sonja Aiello

      Viihtyvät yhdessä dinnerillä. Pienet piirit. Mitä ajatuksia herättää ?
      Kotimaiset julkkisjuorut
      40
      830
    Aihe