Onko olemassa...

Onko olemassa jotain keinoa tunnistaa onko joku sana suomenkielinen vai englanninkielinen?

Käyttää jotain sanastoa tietenkin voi, mutta onko jotain algoritmeja jotka tunnistavat sanat tiettyjen kirjainyhdistelmien avulla?
6498
Äänestä

Muut lukivat myös

Vastaukset 6

Vanhimmat

Voisitko antaa tarkentavan esimerkin, koska ainakaan yleisellä tasolla se ei voi mitenkään onnistua. Vai kumpaa kieltä mielestäsi ovat esimerkiksi seuraavat sanat: on, auto, veto, internet, jne?

Jos taas pelkkä arvaus riittää, silloin jotain tunnistuskeinoja voisi olla (englanninkielissä sanoissa ei muun muassa ole ä- tai ö-kirjaimia muualla kuin erisnimissä).

Äänestä
  • Internet on englantilaista alkuperää oleva sana, jota täälläkin käytetään kääntämättömänä (onneksi!).

    Äänestä

,,eipä siihen mitään valmista funkkaria ole, riippuen ihan käyttötarkoituksesta ja ympäristöstä, niin voi kokeilla omaa sanastoa, mutta täydellisen kielen sanaston taivutuksineen ja murre sanoineen, niin enpä usko että kukaan olisi moiseen hommaan ryhtynyt ainakaan vielä, olisitko uranuurtaja?

Äänestä

Voitaisiin laskea kirjainyhdistelmien esiintymiskerrat kummankin kielen samanpituisesta tekstistä:

"wh"
suom:5 kpl
eng:501 kpl
yht:506 kpl

todennäköisyydet merkkijonolle "wh":
on suomea 5/506 = 0,0098814229 todennäköisyytellä

Lasketaan kaikkien sanassa esiintyvien yhdistelmien todennäköisyyksien keskiarvo:
"wh" 0,0098 "he" 0,3 "en" 0,6 = 0,3032

0,3032 < 0,5 : sana on englantia

tietysti kannattaisi laskea myös alkava ja loppuva kirjain " w" ja "n ".

Äänestä

Google-haulla "language guesser" (tai identifier) löytyy useita kielentunnistimia. Yleensä ne tarvitsevat hieman pidemmän tekstinpätkän kuin yhden sanan ja arvaukset ovat joskus vääriä. Aika hyvin ne kuitenkin toimivat ihan tilastolliselta pohjalta.

Joistakin kerrotaan, miten ne on toteutettu. Se käynee vastaukseksi sinulle. Tuosta aluksi:

http://www.google.fi/search?q=language guesser

(satunnaisesti hakkaamalla näppäimistöä saa usein aikaan hollantia tai tanskaa :-)

Äänestä

Esim.Kirjota googlee se sana,kokeile vuorotellen
hae kaikilta sivuilta,hae suomenkielisiltä sivuilta.
Voi jotain tärpätä.Mä oon joskus kokeillu.

Äänestä

Kommentoi aloitusta


mmmax kirjoitti:

Onko olemassa jotain keinoa tunnistaa onko joku sana suomenkielinen vai englanninkielinen?

Käyttää jotain sanastoa tietenkin voi, mutta onko jotain algoritmeja jotka tunnistavat sanat tiettyjen kirjainyhdistelmien avulla?

Anonyymi
5000

Ilmoita asiaton sisältö

  • Sisältää materiaalia, joka on loukkaavaa, herjaavaa, rasistista, uhkailevaa tai ahdistelevaa.

  • Materiaali sisältää nimiä, yhteystietoja tai muita henkilökohtaisia tietoja. Julkisuuden henkilöistä, julkisissa viroissa toimivista ihmisistä sekä yritysten vastuuhenkilöistä saa keskustella työhön liittyen. Myös yksityiselämään liittyvistä asioista voi keskustella siltä osin, kuin niistä on julkisesti kerrottu.

  • Sisältää lapsille haitallista tai heiltä kiellettyä materiaalia. Seksuaalinen sisältö on sallittua aiheeseen tarkoitetuilla palstoilla, joiden ikäraja on 18 vuotta.

  • Lainvastaista sisältöä voi olla mm. yksityiselämää loukkaavan tiedon levitys, kiihottaminen kansanryhmää vastaan, laiton uhkaaminen, alaikäisiin liittyvä seksuaalinen sisältö/grooming, petokset, identiteettivarkaudet, kunnianloukkaukset ja tekijänoikeusrikkomukset.

  • Sisältö ei liity palstan tai keskusteluketjun aiheeseen.

  • Viesti ei ole suomea tai ruotsia (pl. International Forums), se sisältää mainontaa, se sisältää tekijänoikeuksin suojattua materiaalia, se on massapostitus tai jokin muu syy.

Jaa keskustelu