pdf ja jpg -muotoiset tekstit selailtaviksi

teksti_sähköiseksi

Minulla on vanhoja dokumentteja, jotka on kirjoitettu osin koneella ja osin tulostettu. Osa dokumenteista on 2 ja jopa 3 palstaisia ja niissä on jonkin verran kuvia ja kaavioita. Alkuperäisiä ei siis ole sähköisenä. Haluaisin skannata ne arkistoon ja tieteen harrastajien vapaasti käytettäviksi hakemistoon, josta dokumentteja voisi hakea hakusanoilla. Aivan erinomaista olisi, jos vielä hakutuloksessa olisi jotenkin merkitty etsitty sana. Tällaisia palveluja näkyy esim. joillakin lehdillä. Kuinka tuon voisi toteuttaa. Onkohan valmista ohjelmaa? Osaan vain auttavasti atk:ta, mutta apuja on saatavissa.

18

<50

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • OCR-käyttöön

      https://fi.wikipedia.org/wiki/Tekstintunnistus

      Eli siis skannaat ne dokumentit tekstimuotoisiksi. Noita OCR-ohjelmia löytyy kymmeniä ja joidenkin skannereiden mukanakin toimitetaan sellainen. Tunnistus ei ole 100% oikein eli joudut oikolukemaan ne ja korjailemaan virheet, usein korjattavaa jää kuitenkin kohtuullisen vähän jos skannattava materiaali on edes jonkunlaisessa kunnossa (ja useimmat ohjelmat suoriutuvat useamman palstan tunnistamisesta hyvin, tarvittaessa ne voi usein määritellä käsin) . Kuvat ja kaaviot skannaat erikseen ja korjailet tarpeen mukaan.

      • Bittinarkkari

        "Skannaaminen tekstimuotoisiksi" on melkoinen taikatemppu ;o)

        Skannauksen tuloksena syntyy useimmiten kuvatiedosto, jonka tyyppi voi olla esimerkiksi .bmp tai .jpg Tällainen tiedosto ei siis ole tekstimuotoinen, vaan sisältää kuvan itse tekstistä.

        Kuvatiedoston sisältämän tekstin tunnistukseen käytetään Optical Character Recognition- eli OCR-tekniikkaa. Siinä syöttötiedostona käytetään kuvatiedostoa, joka esittää haluttua tekstiä. Tämän käytetyn kuvatiedoston laatu ratkaisee osittain sen, kuinka menestyksellisesti käytetty OCR-ohjelma kykenee tunnistamaan ja tulkitsemaan tekstin. Myös OCR-ohjelman oletukset voivat vaikuttaa tulkinnan laatuun; voihan skannattu kuva sisältää vaikka katakana-merkkejä.

        Jos kuitenkin oletetaan, että OCR-ohjelma olettaa käytetyn merkistön olevan sama kuin mitä skannattu kuva todella esittää, ja jos kuvan laatu on riittävän hyvä , niin OCR-ohjelman tuottama tulkinta on parhaassa tapauksessa melko hyvä. Koska tietyt merkit kuitenkin tuottavat helposti virhetulkintoja (esimerkiksi "å", "ä", "ü" ja vaikkapa "ç"), on todellakin paras käydä OCR-ohjelman tuottama teksti huolellisesti läpi mahdollisten virhetulkintojen korjaamiseksi.

        Tuohon skannauksen tuottaman kuvan laatuun vaikuttavat esimerkiksi skannauksessa käytetty erottelukyky, kuvan kontrasti ja alkuperäisen dokumentin mahdolliset rypyt, repeämät tai tahrat. Näistä lähinnä kontrastia voi jossain määrin korjailla myös skannauksen jälkeen.


      • OCR-käyttöön
        Bittinarkkari kirjoitti:

        "Skannaaminen tekstimuotoisiksi" on melkoinen taikatemppu ;o)

        Skannauksen tuloksena syntyy useimmiten kuvatiedosto, jonka tyyppi voi olla esimerkiksi .bmp tai .jpg Tällainen tiedosto ei siis ole tekstimuotoinen, vaan sisältää kuvan itse tekstistä.

        Kuvatiedoston sisältämän tekstin tunnistukseen käytetään Optical Character Recognition- eli OCR-tekniikkaa. Siinä syöttötiedostona käytetään kuvatiedostoa, joka esittää haluttua tekstiä. Tämän käytetyn kuvatiedoston laatu ratkaisee osittain sen, kuinka menestyksellisesti käytetty OCR-ohjelma kykenee tunnistamaan ja tulkitsemaan tekstin. Myös OCR-ohjelman oletukset voivat vaikuttaa tulkinnan laatuun; voihan skannattu kuva sisältää vaikka katakana-merkkejä.

        Jos kuitenkin oletetaan, että OCR-ohjelma olettaa käytetyn merkistön olevan sama kuin mitä skannattu kuva todella esittää, ja jos kuvan laatu on riittävän hyvä , niin OCR-ohjelman tuottama tulkinta on parhaassa tapauksessa melko hyvä. Koska tietyt merkit kuitenkin tuottavat helposti virhetulkintoja (esimerkiksi "å", "ä", "ü" ja vaikkapa "ç"), on todellakin paras käydä OCR-ohjelman tuottama teksti huolellisesti läpi mahdollisten virhetulkintojen korjaamiseksi.

        Tuohon skannauksen tuottaman kuvan laatuun vaikuttavat esimerkiksi skannauksessa käytetty erottelukyky, kuvan kontrasti ja alkuperäisen dokumentin mahdolliset rypyt, repeämät tai tahrat. Näistä lähinnä kontrastia voi jossain määrin korjailla myös skannauksen jälkeen.

        Luitko ollenkaan tekstiä jota kommentoit ? Kommentistasi päätellen et ainakaan ymmärtänyt kunnolla ensimmäistä lausetta lukuunottamatta.


      • Bittinarkkari
        OCR-käyttöön kirjoitti:

        Luitko ollenkaan tekstiä jota kommentoit ? Kommentistasi päätellen et ainakaan ymmärtänyt kunnolla ensimmäistä lausetta lukuunottamatta.

        Huvitti tuon OCR-käyttöön esittämä temppu: "skannaat ne dokumentit tekstimuotoisiksi".
        Rautalangasta vääntäen: Skannerit eivät muodosta suoraan tekstimuotoista tai sellaiseksi katsottavaa tiedostoa. Skannerit muodostavat ainoastaan kuvatiedostoja. Niiden mahdollisesti tekstiksi tulkittavissa olevan sisällön muuntaminen tekstimuotoon tapahtuu OCR-ohjelman avulla. Ja niin edelleen.
        OCR-käyttöön esitys pitää kyllä muilta osin suurin piirtein paikkansa. Selvitin hieman niitä osia, joita OCR-käyttöön ei huomannut lainkaan mainita.


      • OCR-käyttöön
        Bittinarkkari kirjoitti:

        Huvitti tuon OCR-käyttöön esittämä temppu: "skannaat ne dokumentit tekstimuotoisiksi".
        Rautalangasta vääntäen: Skannerit eivät muodosta suoraan tekstimuotoista tai sellaiseksi katsottavaa tiedostoa. Skannerit muodostavat ainoastaan kuvatiedostoja. Niiden mahdollisesti tekstiksi tulkittavissa olevan sisällön muuntaminen tekstimuotoon tapahtuu OCR-ohjelman avulla. Ja niin edelleen.
        OCR-käyttöön esitys pitää kyllä muilta osin suurin piirtein paikkansa. Selvitin hieman niitä osia, joita OCR-käyttöön ei huomannut lainkaan mainita.

        Joillekin tyhmemmille pitäisi näköjään vääntää rautalangasta yksinkertaisetkin perusasiat, koitetaan ymmärtää kaltaisiasi tyhjäpäitä(kin). Suurinosa ihmisistä onneksi ymmärtää ilman rautalankaakin mistä on kyse.


      • Bittinarkkari
        OCR-käyttöön kirjoitti:

        Joillekin tyhmemmille pitäisi näköjään vääntää rautalangasta yksinkertaisetkin perusasiat, koitetaan ymmärtää kaltaisiasi tyhjäpäitä(kin). Suurinosa ihmisistä onneksi ymmärtää ilman rautalankaakin mistä on kyse.

        Jos sentään harkitsisit hieman paremmin, millä tavoin esität asiasi? Muuten tuloksena voi olla tällaisia huvittavia "skannaat ne dokumentit tekstimuotoisiksi"-juttuja.


    • Tallenna ne OneDriveen, niin MS indeksoi ne sinun puolestasi.

      • ... ja jos mielenkiintoisia, myy eniten tarjoavalle, pitää lisätä. ;)


      • MicroShitille

        Mahtaakohan indeksoida kuvina olevaa tekstiä ? Tuskin.

        Se indeksointi on tuossa se helpoin ja vähätöisin osuus, suurempi työ on saada aineisto tekstimuotoon.


      • MicroShitille kirjoitti:

        Mahtaakohan indeksoida kuvina olevaa tekstiä ? Tuskin.

        Se indeksointi on tuossa se helpoin ja vähätöisin osuus, suurempi työ on saada aineisto tekstimuotoon.

        Indeksoi. Huomasin sattumalta, kun piti käynnistää Excel ja kirjoitin siis "Excel". Haku löysi kuvan Office-paketista, jossa oli teksti Excel. Tosin haku www-sivulta on parempi, Windowsin oma haku lopettaa, jos omasta koneesta löytyy tarpeeksi - sinänsä tyhmää, koska olettavasti ihmisellä on tietoa samoista asioista omalla koneella kuin onedrivessä


      • Mitenköhän_on
        okaro kirjoitti:

        Indeksoi. Huomasin sattumalta, kun piti käynnistää Excel ja kirjoitin siis "Excel". Haku löysi kuvan Office-paketista, jossa oli teksti Excel. Tosin haku www-sivulta on parempi, Windowsin oma haku lopettaa, jos omasta koneesta löytyy tarpeeksi - sinänsä tyhmää, koska olettavasti ihmisellä on tietoa samoista asioista omalla koneella kuin onedrivessä

        Löysikö kuvan sillä perusteella että kuvassa luki Excel vai sillä perusteella että kuvan yhteydessä oli teksti Excel ? Esim. Googlen kuvahaku toimii nimenomaan kuvatekstien ja kuvan yhteydessä olevien tekstien mukaan eikä edes yritä analysoida sitä kuvaa. En oikein usko että OneDrive analysoisi kuvia milläänlailla indeksointia varten. Löytyisikö tuosta jotain oikeaa faktaa arvailusi sijaan ?


      • Mitenköhän_on kirjoitti:

        Löysikö kuvan sillä perusteella että kuvassa luki Excel vai sillä perusteella että kuvan yhteydessä oli teksti Excel ? Esim. Googlen kuvahaku toimii nimenomaan kuvatekstien ja kuvan yhteydessä olevien tekstien mukaan eikä edes yritä analysoida sitä kuvaa. En oikein usko että OneDrive analysoisi kuvia milläänlailla indeksointia varten. Löytyisikö tuosta jotain oikeaa faktaa arvailusi sijaan ?

        Usko jo, kyllä se löytää tekstit. Tuo oli se, miten asian havaitsin, Toki olen sen myöhemin todennut muutenkin. Se löytää teksit kuvatuista sanomalehtiartikkeliesta, kadulla olevista mainoskylteistä ym.


      • Faktaa-peliin
        okaro kirjoitti:

        Usko jo, kyllä se löytää tekstit. Tuo oli se, miten asian havaitsin, Toki olen sen myöhemin todennut muutenkin. Se löytää teksit kuvatuista sanomalehtiartikkeliesta, kadulla olevista mainoskylteistä ym.

        Uskon sitten kun pystyt todistamaan asian eli linkki OneDriven virallisille sivuille jossa kerrotaan tuo tai joku muu vastaava uskottava luotettava taho jossa kerrotaan faktana tuo. Sinun arvailusi ei ole uskottavaa luotettavaa faktaa.


      • Faktaa-peliin kirjoitti:

        Uskon sitten kun pystyt todistamaan asian eli linkki OneDriven virallisille sivuille jossa kerrotaan tuo tai joku muu vastaava uskottava luotettava taho jossa kerrotaan faktana tuo. Sinun arvailusi ei ole uskottavaa luotettavaa faktaa.

        Minua ei kiinnosta se uskotko asian. Se on fakta. Esimerkiksi kun kirjoitin tekstin "Sampo", löytyi kuva tuhritusta Perussuomalaisten vaalitoimistosta, jossa oli Sampo Terhon nimi. Jos haluat asian varmistaa niin kokeile itse tai googlaa asiasta.


    • teksti_sähköiseksi

      Jatkanpa alkuperäistä kysymystä. Avun kanssa on nyt skannattu sivuja ja hyvin tekstintunnistus toimii. Tarkoitus ei ole muokata kaikkea tekstiä sähköiseksi vaan tehdä kokoelma, josta hakusanoilla löytyy siihen osuva dokumentti. Eli hakusanalla "Tampere" löytyy dokumentit joissa tunnistettavasti lukee sana Tampere. Sitten vain avataan tuo dokumentti ja siinä haettu sana on merkitty. Muttatämä tekniikka on vielä hakusessa. Tarvitaan luultavasti joku apuohjelma?

      • OCR-käyttöön

        Jos haluat että haettu sana on korostettu tai muuten merkitty niin käytännössä ainoa järkevä tapa on muuttaa kaikki aineisto tekstimuotoisiksi tiedostoiksi, se haetun sanan merkitseminen ei muuten ole mahdollista järkevillä tavoilla. Kuvien kohdalla haku toimii kuvatekstin kautta tai erillisillä kuvaan määritetyillä sanoilla.

        Hakutoimintoon sopiva ohjelma riippuu siitä millaiseen arkistoon nuo talletat, arkistointiin on valmiita järjestelmiä jotka sisältävät tuollaisen hakutoiminnon tai systeemin voi koota osista. Onko tarkoitus että arkistoa käytetään erillisellä ohjelmalla vai onko se katsottavissa selaimella ? Millaisessa ympäristössä, joku tietty laitos/koulu tms. "suljettu" ympäristö vai avoimena nettipalveluna ?


    • teksti_sähköiseksi

      Tarkoitus on siis että tiedostoihin päästään kiinni selaimella. Esimerkiksi tämä olisi aivan huippu ratkaisu, mutta kevyempikin kelpaa.
      http://digi.kansalliskirjasto.fi/sanomalehti/search
      Tähän vain hakukenttään joku sana ja löytää vanhoista lehdistä.
      Tekstiä (kuvia) on paljon.

      • Bittinarkkari

        Tuosta toiveestasi, että "avataan tuo dokumentti ja siinä haettu sana on merkitty" seuraa, että nuo tekstit olisi yksinkertaisinta muuntaa kokonaisuudessaan html (HyperText Markup Language)-muotoisiksi. Pienellä lisänyhräyksellä saat sitten kaikki toiveesi toteutettua, eikä maksa paljoa. Lukuunottamatta aikaa ja vaivaa.


    Ketjusta on poistettu 2 sääntöjenvastaista viestiä.

    Luetuimmat keskustelut

    1. En ole rakastunut

      Tai ihastunut sinuun. Kiinnostuin kyllä heti koska erotut massasta.
      Ikävä
      386
      3911
    2. Miksi suomalaisia vainajia säilytetään kylmäkonteissa ulkona? Näin kuolleita kohdellaan Suomessa

      Suomesta ei löydy enää tilaa kuolleille. Tänä päivänä vainajia säilytetään ympäri maata ulkona kylmäkonteissa. Kontit
      Maailman menoa
      216
      1935
    3. Olen ärtynyt koska

      minulla on tunteita sinua kohtaan. Tunteita joita en voi ilmaista. Kaipaan kaikkea sinussa. Siksi olen välillä hankala.
      Ikävä
      67
      1444
    4. Suomalaiset marjat loppuvat

      Suomalaiset marjat mätänevät metsään, koska ulkomaalaiset, lähinnä thaimaalaiset poimijat ovat huolehtineet suomalaisten
      Maailman menoa
      152
      1305
    5. Joku tukeva täti syyttää suomalaisia rasisteiksi Hesarissa

      ”Kaikki valkoiset ihmiset Suomessa ovat kasvaneet rasistiseen ajatteluun”, sanoo Maija Laura Kauhanen: https://www.hs.
      Maailman menoa
      167
      971
    6. Yhteiskuntaa hyväksi käyttäjät

      Kyllä täällä Suomussalmellakin osaavat käyttää näitä Suomen etuja hyväksi. Vuokrataan ns. asunto lapselle että saa asu
      Suomussalmi
      60
      950
    7. Puhutko toisista ihmisistä

      pahaa, jotta näyttäytyisit itse jotenkin paremmassa valossa?
      Ikävä
      117
      903
    8. Mitä teen väärin?

      Alkaa pikku hiljaa tympäsemään ainainen pakkien saanti. Eka ennen kun nähdään, miehet ovat kiinnostuneita viestittelemää
      Sinkut
      117
      900
    9. Haluaisin tietää

      mikä saa sinut tuntemaan olosi rakastetuksi. Ja sitten haluaisin mahdollisuuden tehdä juuri niin. 💔
      Ikävä
      51
      868
    10. Oli mukava tavata irl

      Sattuma toi sinut matkani varrelle. Ihmettelin sitä silloin, ehkä vähän vieläkin. Oli ilo jutella ja tuntea, vaikka nyt
      Ikävä
      24
      859
    Aihe