pdf ja jpg -muotoiset tekstit selailtaviksi

teksti_sähköiseksi

Minulla on vanhoja dokumentteja, jotka on kirjoitettu osin koneella ja osin tulostettu. Osa dokumenteista on 2 ja jopa 3 palstaisia ja niissä on jonkin verran kuvia ja kaavioita. Alkuperäisiä ei siis ole sähköisenä. Haluaisin skannata ne arkistoon ja tieteen harrastajien vapaasti käytettäviksi hakemistoon, josta dokumentteja voisi hakea hakusanoilla. Aivan erinomaista olisi, jos vielä hakutuloksessa olisi jotenkin merkitty etsitty sana. Tällaisia palveluja näkyy esim. joillakin lehdillä. Kuinka tuon voisi toteuttaa. Onkohan valmista ohjelmaa? Osaan vain auttavasti atk:ta, mutta apuja on saatavissa.

18

80

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • OCR-käyttöön

      https://fi.wikipedia.org/wiki/Tekstintunnistus

      Eli siis skannaat ne dokumentit tekstimuotoisiksi. Noita OCR-ohjelmia löytyy kymmeniä ja joidenkin skannereiden mukanakin toimitetaan sellainen. Tunnistus ei ole 100% oikein eli joudut oikolukemaan ne ja korjailemaan virheet, usein korjattavaa jää kuitenkin kohtuullisen vähän jos skannattava materiaali on edes jonkunlaisessa kunnossa (ja useimmat ohjelmat suoriutuvat useamman palstan tunnistamisesta hyvin, tarvittaessa ne voi usein määritellä käsin) . Kuvat ja kaaviot skannaat erikseen ja korjailet tarpeen mukaan.

      • Bittinarkkari

        "Skannaaminen tekstimuotoisiksi" on melkoinen taikatemppu ;o)

        Skannauksen tuloksena syntyy useimmiten kuvatiedosto, jonka tyyppi voi olla esimerkiksi .bmp tai .jpg Tällainen tiedosto ei siis ole tekstimuotoinen, vaan sisältää kuvan itse tekstistä.

        Kuvatiedoston sisältämän tekstin tunnistukseen käytetään Optical Character Recognition- eli OCR-tekniikkaa. Siinä syöttötiedostona käytetään kuvatiedostoa, joka esittää haluttua tekstiä. Tämän käytetyn kuvatiedoston laatu ratkaisee osittain sen, kuinka menestyksellisesti käytetty OCR-ohjelma kykenee tunnistamaan ja tulkitsemaan tekstin. Myös OCR-ohjelman oletukset voivat vaikuttaa tulkinnan laatuun; voihan skannattu kuva sisältää vaikka katakana-merkkejä.

        Jos kuitenkin oletetaan, että OCR-ohjelma olettaa käytetyn merkistön olevan sama kuin mitä skannattu kuva todella esittää, ja jos kuvan laatu on riittävän hyvä , niin OCR-ohjelman tuottama tulkinta on parhaassa tapauksessa melko hyvä. Koska tietyt merkit kuitenkin tuottavat helposti virhetulkintoja (esimerkiksi "å", "ä", "ü" ja vaikkapa "ç"), on todellakin paras käydä OCR-ohjelman tuottama teksti huolellisesti läpi mahdollisten virhetulkintojen korjaamiseksi.

        Tuohon skannauksen tuottaman kuvan laatuun vaikuttavat esimerkiksi skannauksessa käytetty erottelukyky, kuvan kontrasti ja alkuperäisen dokumentin mahdolliset rypyt, repeämät tai tahrat. Näistä lähinnä kontrastia voi jossain määrin korjailla myös skannauksen jälkeen.


      • OCR-käyttöön
        Bittinarkkari kirjoitti:

        "Skannaaminen tekstimuotoisiksi" on melkoinen taikatemppu ;o)

        Skannauksen tuloksena syntyy useimmiten kuvatiedosto, jonka tyyppi voi olla esimerkiksi .bmp tai .jpg Tällainen tiedosto ei siis ole tekstimuotoinen, vaan sisältää kuvan itse tekstistä.

        Kuvatiedoston sisältämän tekstin tunnistukseen käytetään Optical Character Recognition- eli OCR-tekniikkaa. Siinä syöttötiedostona käytetään kuvatiedostoa, joka esittää haluttua tekstiä. Tämän käytetyn kuvatiedoston laatu ratkaisee osittain sen, kuinka menestyksellisesti käytetty OCR-ohjelma kykenee tunnistamaan ja tulkitsemaan tekstin. Myös OCR-ohjelman oletukset voivat vaikuttaa tulkinnan laatuun; voihan skannattu kuva sisältää vaikka katakana-merkkejä.

        Jos kuitenkin oletetaan, että OCR-ohjelma olettaa käytetyn merkistön olevan sama kuin mitä skannattu kuva todella esittää, ja jos kuvan laatu on riittävän hyvä , niin OCR-ohjelman tuottama tulkinta on parhaassa tapauksessa melko hyvä. Koska tietyt merkit kuitenkin tuottavat helposti virhetulkintoja (esimerkiksi "å", "ä", "ü" ja vaikkapa "ç"), on todellakin paras käydä OCR-ohjelman tuottama teksti huolellisesti läpi mahdollisten virhetulkintojen korjaamiseksi.

        Tuohon skannauksen tuottaman kuvan laatuun vaikuttavat esimerkiksi skannauksessa käytetty erottelukyky, kuvan kontrasti ja alkuperäisen dokumentin mahdolliset rypyt, repeämät tai tahrat. Näistä lähinnä kontrastia voi jossain määrin korjailla myös skannauksen jälkeen.

        Luitko ollenkaan tekstiä jota kommentoit ? Kommentistasi päätellen et ainakaan ymmärtänyt kunnolla ensimmäistä lausetta lukuunottamatta.


      • Bittinarkkari
        OCR-käyttöön kirjoitti:

        Luitko ollenkaan tekstiä jota kommentoit ? Kommentistasi päätellen et ainakaan ymmärtänyt kunnolla ensimmäistä lausetta lukuunottamatta.

        Huvitti tuon OCR-käyttöön esittämä temppu: "skannaat ne dokumentit tekstimuotoisiksi".
        Rautalangasta vääntäen: Skannerit eivät muodosta suoraan tekstimuotoista tai sellaiseksi katsottavaa tiedostoa. Skannerit muodostavat ainoastaan kuvatiedostoja. Niiden mahdollisesti tekstiksi tulkittavissa olevan sisällön muuntaminen tekstimuotoon tapahtuu OCR-ohjelman avulla. Ja niin edelleen.
        OCR-käyttöön esitys pitää kyllä muilta osin suurin piirtein paikkansa. Selvitin hieman niitä osia, joita OCR-käyttöön ei huomannut lainkaan mainita.


      • OCR-käyttöön
        Bittinarkkari kirjoitti:

        Huvitti tuon OCR-käyttöön esittämä temppu: "skannaat ne dokumentit tekstimuotoisiksi".
        Rautalangasta vääntäen: Skannerit eivät muodosta suoraan tekstimuotoista tai sellaiseksi katsottavaa tiedostoa. Skannerit muodostavat ainoastaan kuvatiedostoja. Niiden mahdollisesti tekstiksi tulkittavissa olevan sisällön muuntaminen tekstimuotoon tapahtuu OCR-ohjelman avulla. Ja niin edelleen.
        OCR-käyttöön esitys pitää kyllä muilta osin suurin piirtein paikkansa. Selvitin hieman niitä osia, joita OCR-käyttöön ei huomannut lainkaan mainita.

        Joillekin tyhmemmille pitäisi näköjään vääntää rautalangasta yksinkertaisetkin perusasiat, koitetaan ymmärtää kaltaisiasi tyhjäpäitä(kin). Suurinosa ihmisistä onneksi ymmärtää ilman rautalankaakin mistä on kyse.


      • Bittinarkkari
        OCR-käyttöön kirjoitti:

        Joillekin tyhmemmille pitäisi näköjään vääntää rautalangasta yksinkertaisetkin perusasiat, koitetaan ymmärtää kaltaisiasi tyhjäpäitä(kin). Suurinosa ihmisistä onneksi ymmärtää ilman rautalankaakin mistä on kyse.

        Jos sentään harkitsisit hieman paremmin, millä tavoin esität asiasi? Muuten tuloksena voi olla tällaisia huvittavia "skannaat ne dokumentit tekstimuotoisiksi"-juttuja.


    • Tallenna ne OneDriveen, niin MS indeksoi ne sinun puolestasi.

      • ... ja jos mielenkiintoisia, myy eniten tarjoavalle, pitää lisätä. ;)


      • MicroShitille

        Mahtaakohan indeksoida kuvina olevaa tekstiä ? Tuskin.

        Se indeksointi on tuossa se helpoin ja vähätöisin osuus, suurempi työ on saada aineisto tekstimuotoon.


      • MicroShitille kirjoitti:

        Mahtaakohan indeksoida kuvina olevaa tekstiä ? Tuskin.

        Se indeksointi on tuossa se helpoin ja vähätöisin osuus, suurempi työ on saada aineisto tekstimuotoon.

        Indeksoi. Huomasin sattumalta, kun piti käynnistää Excel ja kirjoitin siis "Excel". Haku löysi kuvan Office-paketista, jossa oli teksti Excel. Tosin haku www-sivulta on parempi, Windowsin oma haku lopettaa, jos omasta koneesta löytyy tarpeeksi - sinänsä tyhmää, koska olettavasti ihmisellä on tietoa samoista asioista omalla koneella kuin onedrivessä


      • Mitenköhän_on
        okaro kirjoitti:

        Indeksoi. Huomasin sattumalta, kun piti käynnistää Excel ja kirjoitin siis "Excel". Haku löysi kuvan Office-paketista, jossa oli teksti Excel. Tosin haku www-sivulta on parempi, Windowsin oma haku lopettaa, jos omasta koneesta löytyy tarpeeksi - sinänsä tyhmää, koska olettavasti ihmisellä on tietoa samoista asioista omalla koneella kuin onedrivessä

        Löysikö kuvan sillä perusteella että kuvassa luki Excel vai sillä perusteella että kuvan yhteydessä oli teksti Excel ? Esim. Googlen kuvahaku toimii nimenomaan kuvatekstien ja kuvan yhteydessä olevien tekstien mukaan eikä edes yritä analysoida sitä kuvaa. En oikein usko että OneDrive analysoisi kuvia milläänlailla indeksointia varten. Löytyisikö tuosta jotain oikeaa faktaa arvailusi sijaan ?


      • Mitenköhän_on kirjoitti:

        Löysikö kuvan sillä perusteella että kuvassa luki Excel vai sillä perusteella että kuvan yhteydessä oli teksti Excel ? Esim. Googlen kuvahaku toimii nimenomaan kuvatekstien ja kuvan yhteydessä olevien tekstien mukaan eikä edes yritä analysoida sitä kuvaa. En oikein usko että OneDrive analysoisi kuvia milläänlailla indeksointia varten. Löytyisikö tuosta jotain oikeaa faktaa arvailusi sijaan ?

        Usko jo, kyllä se löytää tekstit. Tuo oli se, miten asian havaitsin, Toki olen sen myöhemin todennut muutenkin. Se löytää teksit kuvatuista sanomalehtiartikkeliesta, kadulla olevista mainoskylteistä ym.


      • Faktaa-peliin
        okaro kirjoitti:

        Usko jo, kyllä se löytää tekstit. Tuo oli se, miten asian havaitsin, Toki olen sen myöhemin todennut muutenkin. Se löytää teksit kuvatuista sanomalehtiartikkeliesta, kadulla olevista mainoskylteistä ym.

        Uskon sitten kun pystyt todistamaan asian eli linkki OneDriven virallisille sivuille jossa kerrotaan tuo tai joku muu vastaava uskottava luotettava taho jossa kerrotaan faktana tuo. Sinun arvailusi ei ole uskottavaa luotettavaa faktaa.


      • Faktaa-peliin kirjoitti:

        Uskon sitten kun pystyt todistamaan asian eli linkki OneDriven virallisille sivuille jossa kerrotaan tuo tai joku muu vastaava uskottava luotettava taho jossa kerrotaan faktana tuo. Sinun arvailusi ei ole uskottavaa luotettavaa faktaa.

        Minua ei kiinnosta se uskotko asian. Se on fakta. Esimerkiksi kun kirjoitin tekstin "Sampo", löytyi kuva tuhritusta Perussuomalaisten vaalitoimistosta, jossa oli Sampo Terhon nimi. Jos haluat asian varmistaa niin kokeile itse tai googlaa asiasta.


    • teksti_sähköiseksi

      Jatkanpa alkuperäistä kysymystä. Avun kanssa on nyt skannattu sivuja ja hyvin tekstintunnistus toimii. Tarkoitus ei ole muokata kaikkea tekstiä sähköiseksi vaan tehdä kokoelma, josta hakusanoilla löytyy siihen osuva dokumentti. Eli hakusanalla "Tampere" löytyy dokumentit joissa tunnistettavasti lukee sana Tampere. Sitten vain avataan tuo dokumentti ja siinä haettu sana on merkitty. Muttatämä tekniikka on vielä hakusessa. Tarvitaan luultavasti joku apuohjelma?

      • OCR-käyttöön

        Jos haluat että haettu sana on korostettu tai muuten merkitty niin käytännössä ainoa järkevä tapa on muuttaa kaikki aineisto tekstimuotoisiksi tiedostoiksi, se haetun sanan merkitseminen ei muuten ole mahdollista järkevillä tavoilla. Kuvien kohdalla haku toimii kuvatekstin kautta tai erillisillä kuvaan määritetyillä sanoilla.

        Hakutoimintoon sopiva ohjelma riippuu siitä millaiseen arkistoon nuo talletat, arkistointiin on valmiita järjestelmiä jotka sisältävät tuollaisen hakutoiminnon tai systeemin voi koota osista. Onko tarkoitus että arkistoa käytetään erillisellä ohjelmalla vai onko se katsottavissa selaimella ? Millaisessa ympäristössä, joku tietty laitos/koulu tms. "suljettu" ympäristö vai avoimena nettipalveluna ?


    • teksti_sähköiseksi

      Tarkoitus on siis että tiedostoihin päästään kiinni selaimella. Esimerkiksi tämä olisi aivan huippu ratkaisu, mutta kevyempikin kelpaa.
      http://digi.kansalliskirjasto.fi/sanomalehti/search
      Tähän vain hakukenttään joku sana ja löytää vanhoista lehdistä.
      Tekstiä (kuvia) on paljon.

      • Bittinarkkari

        Tuosta toiveestasi, että "avataan tuo dokumentti ja siinä haettu sana on merkitty" seuraa, että nuo tekstit olisi yksinkertaisinta muuntaa kokonaisuudessaan html (HyperText Markup Language)-muotoisiksi. Pienellä lisänyhräyksellä saat sitten kaikki toiveesi toteutettua, eikä maksa paljoa. Lukuunottamatta aikaa ja vaivaa.


    Ketjusta on poistettu 2 sääntöjenvastaista viestiä.

    Luetuimmat keskustelut

    1. Ja taas ammuttu kokkolassa

      Kokkolaisilta pitäisi kerätä pois kaikki ampumaset, keittiöveitset ja kaikki mikä vähänkään paukku ja on terävä.
      Kokkola
      30
      3511
    2. Kukka ampu taas Kokkolassa?

      T. olisi hetkeä aiemmin lähtenyt johonkin. Naapuri kai tekijä J.K., ei paljasjalkainen Kokkolalainen, vaan n. 100km pääs
      Kokkola
      9
      1568
    3. Kuinka kauan

      Olet ollut kaivattuusi ihastunut/rakastunut? Tajusitko tunteesi heti, vai syventyivätkö ne hitaasti?
      Ikävä
      113
      1483
    4. Milli-helenalla ongelmia

      Suomen virkavallan kanssa. Eipä ole ihme kun on etsintäkuullutettu jenkkilässäkin. Vähiin käy oleskelupaikat virottarell
      Kotimaiset julkkisjuorut
      224
      1265
    5. Kun näen sinut

      tulen iloiseksi. Tuskin uskallan katsoa sinua, herätät minussa niin paljon tunteita. En tunne sinua hyvin, mutta jotain
      Ikävä
      34
      893
    6. Purra saksii taas. Hän on mielipuuhassaan.

      Nyt hän leikkaa hyvinvointialueiltamme kymmeniä miljoonia. Sotea romutetaan tylysti. Terveydenhoitoamme kurjistetaan. ht
      Maailman menoa
      242
      893
    7. Yhdelle miehelle

      Mä kaipaan sua niin paljon. Miksi sä oot tommonen pösilö?
      Ikävä
      60
      879
    8. Helena Koivu on äiti

      Mitä hyötyä on Mikko Koivulla kohdella LASTENSA äitiä huonosti . Vie lapset tutuista ympyröistä pois . Lasten kodista.
      Kotimaiset julkkisjuorut
      130
      878
    9. Ja taas kerran hallinto-oikeus että pieleen meni

      Hallinto-oikeus kumosi kunnanhallituksen päätöksen vuokratalojen pääomituksesta. https://sysmad10.oncloudos.com/cgi/DREQ
      Sysmä
      66
      854
    10. Löydänköhän koskaan

      Sunlaista herkkää tunteellista joka jumaloi mua. Tuskin. Siksi harmittaa että asiat meni näin 🥲
      Ikävä
      98
      819
    Aihe