Minulla on muistioita, eli .txt -formaatissa olevia tiedostoja. Kussakin tiedostossa on noin miljoona riviä, ja kaikkiaan filejä on 20kpl, eli noin 20 miljoonaa riviä yhteensä. Millä ohjelmalla saan poistettua dunlikaatit? Oma koneeni ei ainakaan jaksa sitä että yhdessä filessä olisi 20 miljoonaa riviä, eli joku softa pitäs löytää. Online-ohjelmiakin on, mutta kone / selain kaatuu. Hyvä että miljoona riviä jaksaa käydä lävitse.
Dublikaattien poistaminen ISOISTA tiedostoista
bgfvcdPUM
588
0Äänestä
Muut lukivat myös
Ketjusta on poistettu 2 sääntöjenvastaista viestiä.
Odottaa vastausta
Näihin keskusteluihin ei ole vielä vastattu. Ole ensimmäinen.
Vastaukset 5
Vanhimmat
Tsekkaa Beyond Compare http://www.scootersoftware.com Se on tosi hyvä ohjelma tiedostojen ja hakemistojen vertailuun. Ainakin aiemmin Trial toimi 30 erillisenä päivänä (tai olikohan käynnistyksiä), mikä itselläni riitti aika pitkälle.
Kiitos, en osannut käyttää tuota? Jos joku haluaa jotella privatisti vaikka maililla joka osaa ohjeistaa niin maksan kyllä tilillesi, käteisellä tai Paypal tmv.
awk sed sort tsekkaa man-sivut
Eikö tuota yhtä *usipäätä saata bannattua, eikös saunalahden mobiili-käyttäjät valita ip-bannauksista vaikka syyttömiä ovatkin, nyt olisi syytä.
Kopsaat tosta:http://stackoverflow.com/questions/11689689/batch-to-remove-duplicate-rows-from-text-file
Jommankumman skriptin (ylempi ei ota kirjainkokoja huomioon, alempi ottaa) ja tallennat sen jollain nimellä minnelie päätteellä .bat
Sit ajat ton tiedoston komentokehotteesta komennolla: mikalietiedosto.bat polkumihinlietekstiedostoon.txt
(Tartteeks muistuttaa et tee varmuuskopio ensin?)