Jos haluan vertailla, kuinka usein käytetään vaikka minä-sanan muotoja minä, mä, mie, mää & aineistona on korpus a) nuorisokirjallisuudesta vuodelta 2000 ja b) korpus nuorisokirjallisuudesta vuonna 1970. (Korpukset ovat selvästi eri kokoisia, mille ei voi nyt mitään, ja esiintymien lukuarvot on normitettu.) Jaan sanamuodon mukaan neljään kategoriaan ja lasken frekvenssit joka kategoriaan. Voiko korpusten vertailuun käyttää khiin neliötä, riippumattomuustestiä kahdelle populaatiolle, vai pitääkö olla t-testi (ja lasketaan prosenteista)? Hämää mm., että korpukset ovat erisuuruisia, joten onko mielekästä laskea absoluuttisista frekvensseistä. Tuon mukaan voisi silti olla khiin neliö:
"Biber et al. (1998: 43–45) tarkastelevat tekstilajien välisiä eroja. Erityisenä
esimerkkinä on sanojen big, large ja great esiintyminen englanninkielisessä fiktiossa
ja akateemisessa proosassa. Esiintymät on poimittu korpuksesta, jonka koko on
yhteensä 5,7 miljoonaa sanaa (näistä fiktiota 3 miljoonaa ja akateemista proosaa 2,7
miljoonaa sanaa). Tarjolla on sekä alkuperäiset lukuarvot että normitetut lukuarvot.
2 -testissä on käytettävä alkuperäisiä, normittamattomia lukuja." (Luojola 2006, 151)
"Biber et al. (1998: 43–45) tarkastelevat tekstilajien välisiä eroja. Erityisenä
esimerkkinä on sanojen big, large ja great esiintyminen englanninkielisessä fiktiossa
ja akateemisessa proosassa. Esiintymät on poimittu korpuksesta, jonka koko on
yhteensä 5,7 miljoonaa sanaa (näistä fiktiota 3 miljoonaa ja akateemista proosaa 2,7
miljoonaa sanaa). Tarjolla on sekä alkuperäiset lukuarvot että normitetut lukuarvot.
2 -testissä on käytettävä alkuperäisiä, normittamattomia lukuja." (Luojola 2006, 151)
Vastaukset 5
Vanhimmat
Vähän sotkuisesti selitetty. "Jaan sanamuodon mukaan neljään kateroriaan" Siis minkä jaat?
Kerro nyt selkosuomella, mitä ryhmiä sinulla lopulta on, ja mitä vertailuja haluat tefdä (ts. mitä eroja testata)! Vastaus ei ole vaikea, kun tuo on selvillä.
"Jaan sanamuodon mukaan neljään kateroriaan" :
siis oma luokkansa jokaiselle tutkittavalle sanamuodolle/sen esiintymien määrälle. Minä-muodolla esim. 200 esiintymää, mä-muodolla 300, mie-sanalla x esiintymää, mää-sanalla x esiintymää, tjs. Tämä ei sinänsä ole sen mutkikkaampaa. Edellinen tehdään sekä vanhempien tekstien korpuksesta että uudempien tekstien korpuksesta kerätyille esiintymille. Haluan tietää esim. ovatko jotkin muodot merkitsevästi yleisempiä tai harvinaisempia uudessa tai vanhassa aineistossa. Onko mä yleisempi uudessa kuin vanhassa, minä yleisempi vanhassa kuin uudessa, jne.
No jos vanhempi ja uudempi tekstikorpus ovat alunperinkin selvästi erisuuruisia, toinen vaikka 200 000 sanaa ja toinen 500 000 sanaa, onko tämä nyt khiin neliön kannalta ongelma? Erisuuruisten korpusten kanssa esim. korpuslingvistit luovat tutkittavien ilmaisujen frekvensseille normitettuja lukuarvoja, jotta ilmiöstä ja sen yleisyyden mahdollisesta lisääntymisestä/vähenemisestä saadaan realistisempi kuva. Jos esim. nähdään, että "minä" esiintyy uudessa korpuksessa 200 kertaa ja vanhassa 600 kertaa, siitä ei ihan voi päätellä sanamuodon lisääntyneen; ovathan korpukset lähtökohtaisesti liian erisuuruisia. Jos sitten esiintymien luvut normalisoidaan ja nähdään, että minän esiintymiä on vaikka 1000:ta sanetta kohden kolminkertainen määrä toisessa kuin toisessa korpuksessa, voi jo jotain päätelmiä ehkä tehdä.
No niin. Khiin neliö kuitenkin lasketaan absoluuttisista frekvensseistä eikä normitetuista luvuista. Onko järkevää laskea, siis vain laittaa absoluuttiset frekvenssit kuten tavallista ja laskea niistä odotetut jne., vaikka ne absoluuttiset frekvenssit ovat esiintyneet eri kokoluokan korpuksissa?
Khi^2-testisuure lasketaan alkuperäisistä frekvensseistä. Itse asiassa testisuureen laskemisessa tapahtuu tuo normeeraus automaattisesti..
Khi^2-testin sijasta voi käyttää myös ei-parametrisia varianssianalyysejä, kun luokkien määrä >2.
No ilmeisesti voin tehdä ihan tavanomaiseen tapaan khiin neliö- riippumattomuustestin kahdelle populaatiolle, vaikka ne esiintymät ovat ihan erisuuruisista korpuksista. tänks
Kyllä, voit tehdä! Mutta terminologista ymmärrystäsi tilastollisesta testauksesta voisit lisätä.
Testit tehdään otoksille, ei populaatioille (perusjoukoille). Testi yksinketaisesti kertoo, millä todennäköisyydellä otoksesta saatu ero tai riippuvuus pätee populaatiossa. Kun koko perusjoukko tutkitaan, pienetkin erot/riippuvuudet ovat todellisia, ei todennäköisiä.
[On kylläkin olemassa matemaattis-filosofinen koulukunta, joka katsoo, että myös populaatioiden tapauksessa testaus olisi järkevää.]
Tapuksessasi voidaan ymmärtää, että korpukset ovat otoksia suuremmista populaatioista (kaikista suomea puhuvista minä/mie/mä -inehmoista jne.), populaatioita.