Lingvistiikka: Ä, Ö, Tavutus ?

Kun Suomi24:llä ei valitettavasti ole erikseen keskustelualuetta "Lingvistiikka", niin menköön "Yleistä tieteestä" alle sitten:

Kun imuroidaan internet -palvelimelta tekstiä, niin valitettavasti joskus Ä ja Ö ovat korvautuneet "sotkulla", eli korvausmerkillä.

Jos tuotan automaattisesti tuolla tavalla pilalle menneestä tekstistä 2 eri versiota:

versiossa 1 kaikki korvausmerkit korvataan Ä:llä, ja


versiossa 2 kaikki korvausmerkit korvataan Ö:llä.


Seuraavaksi sovelletaan suomen kielen tavutusalgoritmiä.

Löytyyköhän jostain lista kaikista suomen kielen tavuista ?

Sen avulla voisi eliminoida tapaukset, joissa on kelvottomia tavuja.

Tuolla tavalla saisi suurimman osan "kadonneista" Ä ja Ö -kirjaimista oikein.

Ongelmaksi jäisivät vain sellaiset sanat, joissa on samassa sanassa sekä Ä että Ö, ja näihin voi olla vaikea keksiä automaattista ratkaisua, vaan menee väkisin manuaaliseksi editoinniksi.

Lainaan tähän esimerkiksi kirjoituksen joulukuulta 2013:


Jouni Paakkinen
lukematon,
26.12.2013 klo 21.53.02
vastaanottaja
Oma ISP (DNA) lopetti jo jokunen aika sitten, ensin omansa ja sitten
alihankintanakin k�ytt�m�ns� nyyssipalvelimen.

Tauon j�lkeen palasin t�nne juuri Skrollin (2013.4) Usenet-jutun
kannustamana, news.aioe.org tuntuu toimivan ihan jees.

Mutta joo, hiljaista on ja hiljaisemmaksi menee. :(

Jouni

Tuossa esimerkkiviestissä riittää, kun kaikki "�" -merkit korvataan "ä" -kirjaimella.

Mutta teoreettisesti osa voisi olla myös "ö" -kirjaimella korvattavia, vaikka juuri tässä viestissä ei tällaisia olekaan,

Tavoitteena siis kehittää automatiikkaa restoroimaan ä ja ö -kirjaimet kohdalleen tekstissä, joita tietotekniikka (siis huonosti koodatut ohjelmistot) ovat pahoinpidelleet.