Onko olemassa jotain keinoa tunnistaa onko joku sana suomenkielinen vai englanninkielinen?
Käyttää jotain sanastoa tietenkin voi, mutta onko jotain algoritmeja jotka tunnistavat sanat tiettyjen kirjainyhdistelmien avulla?
Käyttää jotain sanastoa tietenkin voi, mutta onko jotain algoritmeja jotka tunnistavat sanat tiettyjen kirjainyhdistelmien avulla?
Vastaukset 6
Vanhimmat
Voisitko antaa tarkentavan esimerkin, koska ainakaan yleisellä tasolla se ei voi mitenkään onnistua. Vai kumpaa kieltä mielestäsi ovat esimerkiksi seuraavat sanat: on, auto, veto, internet, jne?
Jos taas pelkkä arvaus riittää, silloin jotain tunnistuskeinoja voisi olla (englanninkielissä sanoissa ei muun muassa ole ä- tai ö-kirjaimia muualla kuin erisnimissä).
Internet on englantilaista alkuperää oleva sana, jota täälläkin käytetään kääntämättömänä (onneksi!).
,,eipä siihen mitään valmista funkkaria ole, riippuen ihan käyttötarkoituksesta ja ympäristöstä, niin voi kokeilla omaa sanastoa, mutta täydellisen kielen sanaston taivutuksineen ja murre sanoineen, niin enpä usko että kukaan olisi moiseen hommaan ryhtynyt ainakaan vielä, olisitko uranuurtaja?
Voitaisiin laskea kirjainyhdistelmien esiintymiskerrat kummankin kielen samanpituisesta tekstistä:
"wh"
suom:5 kpl
eng:501 kpl
yht:506 kpl
todennäköisyydet merkkijonolle "wh":
on suomea 5/506 = 0,0098814229 todennäköisyytellä
Lasketaan kaikkien sanassa esiintyvien yhdistelmien todennäköisyyksien keskiarvo:
"wh" 0,0098 "he" 0,3 "en" 0,6 = 0,3032
0,3032 < 0,5 : sana on englantia
tietysti kannattaisi laskea myös alkava ja loppuva kirjain " w" ja "n ".
Google-haulla "language guesser" (tai identifier) löytyy useita kielentunnistimia. Yleensä ne tarvitsevat hieman pidemmän tekstinpätkän kuin yhden sanan ja arvaukset ovat joskus vääriä. Aika hyvin ne kuitenkin toimivat ihan tilastolliselta pohjalta.
Joistakin kerrotaan, miten ne on toteutettu. Se käynee vastaukseksi sinulle. Tuosta aluksi:
http://www.google.fi/search?q=language guesser
(satunnaisesti hakkaamalla näppäimistöä saa usein aikaan hollantia tai tanskaa :-)
Esim.Kirjota googlee se sana,kokeile vuorotellen
hae kaikilta sivuilta,hae suomenkielisiltä sivuilta.
Voi jotain tärpätä.Mä oon joskus kokeillu.