ANOVA.Mitä eroa yksi- ja kaksisuuntaisella varianssianalyysillä?

tuo parittaisten t-testien käyttö yksisuuntaisen anovan korvikkeena pyytäisi p-arvojen adjusointia monitestauksen huomioimiseksi, jos vertailtavia ryhmiä on useampia kuin kaks. muutenhan se toki on kätevä tapa.

Niin piti vielä tässä asiaa pohdittuani lisätä, että voiko erot sitten testata Mann-Whitneyllä, kun K-W on osoittanut sellaisia olevan? Eli selvittää, minkä ryhmien välillä erot todellisuudessa ovat. Tietty aika aikaavievää...

pääpiirteet:

yksisuuntaisessa anovassa on esimerkiks ryhmittelevä muuttuja ikäryhmä (0-20v,21-30v,...,51-60v) ja joka ryhmästä mitattu joku suure, vaikkapa henkilöiden painoindeksi. tutkit siis sitä, että onko ikäryhmien välillä eroa keskimääräisissä painoindekseissä.

kaksisuuntaisessa sinulla voisi olla esim. ikäryhmä kuten yllä ja sukupuoli (mies, nainen). tällöin voi tutkia onko sekä ikäryhmällä että sukupuolella vaikutusta painoindeksiin erikseen ja lisäksi mahdollista iän ja sukupuolen yhdysvaikutusta eli onko painoindeksin vaihtelu erilaista ikäryhmittäin eri sukupuolilla.

detaljit ja käyttö eri tyyppisissä tilanteissa kannattaa hakea kirjallisuudesta jos on tarvetta. googlellakin löytää nykyään vaikka mitä.

Kruskal-Wallisin tapauksessa (kuten myös parametrisessa anovassa) erot voi löytää parittaisten testien avulla. todennäkösesti ohjelmassa mistä noita ajat on optiona tulostaa parivertailujen tulokset. jos on tarve tietää miten parivertailut tehdään niin tässäkin kohti kannattaa sitten lähteä hakemaan kirjallisuutta. anovalle esim "tukey hsd" (tukey's honest significant difference) ja kruskal-wallisin tapauksessa "kruskal wallis post hoc" hakusanoilla voit löytää asioita.

mietäsvaan kirjoitti:

Niin piti vielä tässä asiaa pohdittuani lisätä, että voiko erot sitten testata Mann-Whitneyllä, kun K-W on osoittanut sellaisia olevan? Eli selvittää, minkä ryhmien välillä erot todellisuudessa ovat. Tietty aika aikaavievää...

Lue lisää

kyllä ne erot voi testata millä vaan tilanteeseen sopivalla parittaisella testillä myöskin, mutta siinä tapauksessa et tule käyttäneeksi kokonaisotoksen antamaa informaatiota testeissä hyväksi ja joudut säätämään kriittisten rajojen kanssa siten että kokonaisuuden merkitsevyystasoksi tuon kaiken monitestauksen jälkeen tulee haluttu merkitsevyystaso. lienee helpointa tukeutua vain ohjelmasta analyysin ohessa saataviin oheistesteihin parittaisista vertailuista.

karzah kirjoitti:

pääpiirteet:

yksisuuntaisessa anovassa on esimerkiks ryhmittelevä muuttuja ikäryhmä (0-20v,21-30v,...,51-60v) ja joka ryhmästä mitattu joku suure, vaikkapa henkilöiden painoindeksi. tutkit siis sitä, että onko ikäryhmien välillä eroa keskimääräisissä painoindekseissä.

kaksisuuntaisessa sinulla voisi olla esim. ikäryhmä kuten yllä ja sukupuoli (mies, nainen). tällöin voi tutkia onko sekä ikäryhmällä että sukupuolella vaikutusta painoindeksiin erikseen ja lisäksi mahdollista iän ja sukupuolen yhdysvaikutusta eli onko painoindeksin vaihtelu erilaista ikäryhmittäin eri sukupuolilla.

detaljit ja käyttö eri tyyppisissä tilanteissa kannattaa hakea kirjallisuudesta jos on tarvetta. googlellakin löytää nykyään vaikka mitä.

Kruskal-Wallisin tapauksessa (kuten myös parametrisessa anovassa) erot voi löytää parittaisten testien avulla. todennäkösesti ohjelmassa mistä noita ajat on optiona tulostaa parivertailujen tulokset. jos on tarve tietää miten parivertailut tehdään niin tässäkin kohti kannattaa sitten lähteä hakemaan kirjallisuutta. anovalle esim "tukey hsd" (tukey's honest significant difference) ja kruskal-wallisin tapauksessa "kruskal wallis post hoc" hakusanoilla voit löytää asioita.

Lue lisää

Hei!

Minulla on käytössäni spss tai pasw. valitettavasti en löytänyt niistä kruskalin-wallisin yhteydessä esim. post hocia?

mietäsvaan kirjoitti:

Hei!

Minulla on käytössäni spss tai pasw. valitettavasti en löytänyt niistä kruskalin-wallisin yhteydessä esim. post hocia?

joo hei vaan,

minulla ei nyt ole SPSS tai PASW:a käsillä jotta voisin katsoa antaako se noita jälkikäteisiä parivertailuja. oletko koittanut ajaa tuon testin ja katsoa tulostaako se niitä jopa erikseen pyytämättä? voihan toki olla, ettei koko kyseisessä ohjelmistossa ole tuon testin yhteydessä valmiina näitä parittaisia vertailuita. jos ei niitä ole, niin minulle ei nyt tule mitään muuta suoraa tapaa mieleen (jos oletuksena on että pitää käyttää SPSS / PASW ja ei-parametrisia testejä) kuin tehdä parivertailut mann-whitney testillä (ilmeisesti oletus on nyt että ylipäänsä ei-parametrisia testejä tulee käyttää?) ja sitten adjusoida p-arvot esim. bonferroni-metodilla. tämä metodi on kyllä ehkä turhan konservatiivinen ja voi olla mahdollista, että todellisiakin eroja jää siten 'piiloon'.

toki jos muuttujasi on likimain normaalijakautunut niin voisit käyttää tavanomaista anovaa mistä nuo jälkikäteiset parivertailutkin takuulla löytyy.

sitten on tietysti vielä vaihtoehtoja esim vaihtaa ohjelmistoa tai laskea kruskal-wallisin tilanteessa käsin nuo jälkikäteen tehdyt parivertailut, mutta siihen tarvinnet jo kirjallisuusreferenssiä.

toivottavasti aukeaa eteenpäin..

karzah kirjoitti:

joo hei vaan,

minulla ei nyt ole SPSS tai PASW:a käsillä jotta voisin katsoa antaako se noita jälkikäteisiä parivertailuja. oletko koittanut ajaa tuon testin ja katsoa tulostaako se niitä jopa erikseen pyytämättä? voihan toki olla, ettei koko kyseisessä ohjelmistossa ole tuon testin yhteydessä valmiina näitä parittaisia vertailuita. jos ei niitä ole, niin minulle ei nyt tule mitään muuta suoraa tapaa mieleen (jos oletuksena on että pitää käyttää SPSS / PASW ja ei-parametrisia testejä) kuin tehdä parivertailut mann-whitney testillä (ilmeisesti oletus on nyt että ylipäänsä ei-parametrisia testejä tulee käyttää?) ja sitten adjusoida p-arvot esim. bonferroni-metodilla. tämä metodi on kyllä ehkä turhan konservatiivinen ja voi olla mahdollista, että todellisiakin eroja jää siten 'piiloon'.

toki jos muuttujasi on likimain normaalijakautunut niin voisit käyttää tavanomaista anovaa mistä nuo jälkikäteiset parivertailutkin takuulla löytyy.

sitten on tietysti vielä vaihtoehtoja esim vaihtaa ohjelmistoa tai laskea kruskal-wallisin tilanteessa käsin nuo jälkikäteen tehdyt parivertailut, mutta siihen tarvinnet jo kirjallisuusreferenssiä.

toivottavasti aukeaa eteenpäin..

Lue lisää

Kiitos!
Eli tosiaan osa aineistosta normaalisti jakautunutta, osa ei. Tämän takia tarvitsen molempia testejä.
Miksi ei pysty suoraan käyttämään Mann-Whitneyn testin p-arvoja, jos verrataan kahta eri ryhmää keskenään? Kuitenkin vertailu tehdään alkuperäisillä arvoilla... Jos esim. eka kruskallin-wallisin kertoo, että on eroa ryhmien välillä. Ja sitten testaa M-W:llä kaikkia näitä ryhmiä keskenään? Kuulostaa kyllä typerältä näpertelyltä, mutta pitäisikö sen lisäksi tosiaan vielä tehdä jotain p-arvoille..?

Lisäksi olisin kysynyt Anovan Levenen testistä. Eli Anovan aluksihan tulee Levenen testi, jonka p-arvon pitäisi ilmeisesti olla yli 0,05, jotta koko Anovaa voitaisiin edes käyttää eli Levenen pitäisi kertoa, onko aineisto normaalisti jakautunut. Olen kuitenkin testannut normaalisti jakautumista Kolmogorov-Smirnovin ja Shapiro-Wilkin testin avulla etukäteen ja jakanut sen mukaan aineiston parametriseen ja parametrittomaan. Kuitenkin tuo Levene antaa aivan eri tuloksia ja jakaa aineiston aivan eri tavoin... Mistäköhän tässä kiikastaa?

Vähitellen, vähitellen...

mietäsvaan kirjoitti:

Kiitos!
Eli tosiaan osa aineistosta normaalisti jakautunutta, osa ei. Tämän takia tarvitsen molempia testejä.
Miksi ei pysty suoraan käyttämään Mann-Whitneyn testin p-arvoja, jos verrataan kahta eri ryhmää keskenään? Kuitenkin vertailu tehdään alkuperäisillä arvoilla... Jos esim. eka kruskallin-wallisin kertoo, että on eroa ryhmien välillä. Ja sitten testaa M-W:llä kaikkia näitä ryhmiä keskenään? Kuulostaa kyllä typerältä näpertelyltä, mutta pitäisikö sen lisäksi tosiaan vielä tehdä jotain p-arvoille..?

Lisäksi olisin kysynyt Anovan Levenen testistä. Eli Anovan aluksihan tulee Levenen testi, jonka p-arvon pitäisi ilmeisesti olla yli 0,05, jotta koko Anovaa voitaisiin edes käyttää eli Levenen pitäisi kertoa, onko aineisto normaalisti jakautunut. Olen kuitenkin testannut normaalisti jakautumista Kolmogorov-Smirnovin ja Shapiro-Wilkin testin avulla etukäteen ja jakanut sen mukaan aineiston parametriseen ja parametrittomaan. Kuitenkin tuo Levene antaa aivan eri tuloksia ja jakaa aineiston aivan eri tavoin... Mistäköhän tässä kiikastaa?

Vähitellen, vähitellen...

Lue lisää

ensiksi: koska en tunne tarkemmin aineistoasi enkä tutkimusongelmaa, en ota mitään kantaa noihin aineiston jakoihin mistä puhut ja siihen kuinka mielekästä on jakaa eri osia eri testeillä testattavaksi, koska se tosiaan riippuu täysin kysymyksenasetteluista ja aineistostasi. sinun on parempi mennä juttelemaan ohjaajan kanssa tuosta.

toiseksi, toivon mukaan valaiseva esimerkki miksi p-arvojen adjusointi on tarpeen:
sanotaan että haluat testata kahta parittaista otosta ja testissä käytetään 5% merkitsevyystasoa niin tämä tarkoittaa että otetaan 5% riski virheellisesti hylätä nollahypoteesi vaikka se siis pätee. ajatellaan nyt että haluat tehdä 100 kappaletta parittaisia vertailuja eri ryhmille ja kussakin vertailussa käytät 5% merkitsevyystasoa. tässä 100 testin tapauksessa sinulla on noin 0.994 suuruinen todennäköisyys saada merkitsevä tulos vaikka nollahypoteesi(t) pätisivät. Eli siis isoissa määrissä testejä on hyvin todennäköistä, että mukana on näitä 'sattumalta' merkitseviä testejä ja siten esim. merkitsevyystason 0.05 käyttö kussakin testissä ei vastaa enää 0.05 merkitsevyystasoa kokonaisuudessaan tälle testien joukolle. bonferroni adjusoi tuon siten että kokonaisuuden tasolla merkitsevyystasoksi muodostuu esim. haluttu 0.05 ja tällöin yksittäisten testien merkitsevyystasojen tulee olla pienempiä. kuten jo sanoin, kyseinen metodi on konservatiivinen ja kannattanee miettiä haluaako sitä käyttää ylipäänsä.

jos vertaat vain kahta ryhmää kerran, ei mitään adjusointeja tarvita. jos sinulla on iso joukko ryhmiä ja haluat ensin selvittää onko ryhmien välillä eroa ja sen jälkeen etsiä minkä kaikkien ryhmien välillä on eroa, tulee tehtyä monia vertailuja ja jonkunlainen huomiointi monivertailujen vuoksi tarvitaan.

kolmanneksi: Levenen testi testaa vertailtavien ryhmien varianssien yhtäsuuruuksia, mikä on eräs perus anovan oletuksista, se ei testaa normaalijakautuneisuutta.

hope to help......

karzah kirjoitti:

ensiksi: koska en tunne tarkemmin aineistoasi enkä tutkimusongelmaa, en ota mitään kantaa noihin aineiston jakoihin mistä puhut ja siihen kuinka mielekästä on jakaa eri osia eri testeillä testattavaksi, koska se tosiaan riippuu täysin kysymyksenasetteluista ja aineistostasi. sinun on parempi mennä juttelemaan ohjaajan kanssa tuosta.

toiseksi, toivon mukaan valaiseva esimerkki miksi p-arvojen adjusointi on tarpeen:
sanotaan että haluat testata kahta parittaista otosta ja testissä käytetään 5% merkitsevyystasoa niin tämä tarkoittaa että otetaan 5% riski virheellisesti hylätä nollahypoteesi vaikka se siis pätee. ajatellaan nyt että haluat tehdä 100 kappaletta parittaisia vertailuja eri ryhmille ja kussakin vertailussa käytät 5% merkitsevyystasoa. tässä 100 testin tapauksessa sinulla on noin 0.994 suuruinen todennäköisyys saada merkitsevä tulos vaikka nollahypoteesi(t) pätisivät. Eli siis isoissa määrissä testejä on hyvin todennäköistä, että mukana on näitä 'sattumalta' merkitseviä testejä ja siten esim. merkitsevyystason 0.05 käyttö kussakin testissä ei vastaa enää 0.05 merkitsevyystasoa kokonaisuudessaan tälle testien joukolle. bonferroni adjusoi tuon siten että kokonaisuuden tasolla merkitsevyystasoksi muodostuu esim. haluttu 0.05 ja tällöin yksittäisten testien merkitsevyystasojen tulee olla pienempiä. kuten jo sanoin, kyseinen metodi on konservatiivinen ja kannattanee miettiä haluaako sitä käyttää ylipäänsä.

jos vertaat vain kahta ryhmää kerran, ei mitään adjusointeja tarvita. jos sinulla on iso joukko ryhmiä ja haluat ensin selvittää onko ryhmien välillä eroa ja sen jälkeen etsiä minkä kaikkien ryhmien välillä on eroa, tulee tehtyä monia vertailuja ja jonkunlainen huomiointi monivertailujen vuoksi tarvitaan.

kolmanneksi: Levenen testi testaa vertailtavien ryhmien varianssien yhtäsuuruuksia, mikä on eräs perus anovan oletuksista, se ei testaa normaalijakautuneisuutta.

hope to help......

Lue lisää

Kiitos taas!
Eli tosiaan vertaan vain kahta ryhmää kerrallaan mann-whitheyllä eli jos esim. neljä ryhmää.
niin 1 & 2, 1 & 3, 1 & 4, 2 & 3, 2 & 4, 3 & 4.

Mutta ymmärtääkseni Levenen pitää olla yli 0,05, mutta osalla aineistoa ei ole. Mutta luulin, että pelkkä normaalisti jakautuneisuus sallisi Anovan suorittamisen.

mietäsvaan kirjoitti:

Kiitos taas!
Eli tosiaan vertaan vain kahta ryhmää kerrallaan mann-whitheyllä eli jos esim. neljä ryhmää.
niin 1 & 2, 1 & 3, 1 & 4, 2 & 3, 2 & 4, 3 & 4.

Mutta ymmärtääkseni Levenen pitää olla yli 0,05, mutta osalla aineistoa ei ole. Mutta luulin, että pelkkä normaalisti jakautuneisuus sallisi Anovan suorittamisen.

Lue lisää

ok, sinulla on esimerkistäsi päätellen juurikin sellainen tilanne missä pitäisi käyttää jotain adjusointia monivertailujen takia, jos halutaan päästä lähemmäs todellisia merkitsevyyksiä.

jos Levenen testi antaa merkitsevän tuloksen, ryhmiesi varianssit eivät todennäköisesti ole yhtä suuret ja näin ollen perus anovan olettamus yhtä suurista variansseista ei todennäköisesti ole voimassa -> homma ei toimi optimaalisesti. monia analyysejahan voi kyllä suorittaa vaikka oletuksia vähän rikottaisiinkin ja usein homma pelittää kohtuullisen hyvin vielä senkin jälkeen. esim. pienet poikkeamat normaalisuudesta tuskin kaataa venettä. jos anovan oletukset on voimassa niin se yleisesti ottaen tehokkaampi testi kuin ei-parametriset vastineensa ja siksi sitä kannattaa käyttää jos mahdollista. muutenhan kaikki nuo testaamiset kannattaa hoitaa ei-parametrisesti kun ei tarvitse välittää liikoja anovan oletusten kaltaisista vaatimuksista kuten normaalisuus ja varianssien yhtäläisyys..

karzah kirjoitti:

ok, sinulla on esimerkistäsi päätellen juurikin sellainen tilanne missä pitäisi käyttää jotain adjusointia monivertailujen takia, jos halutaan päästä lähemmäs todellisia merkitsevyyksiä.

jos Levenen testi antaa merkitsevän tuloksen, ryhmiesi varianssit eivät todennäköisesti ole yhtä suuret ja näin ollen perus anovan olettamus yhtä suurista variansseista ei todennäköisesti ole voimassa -> homma ei toimi optimaalisesti. monia analyysejahan voi kyllä suorittaa vaikka oletuksia vähän rikottaisiinkin ja usein homma pelittää kohtuullisen hyvin vielä senkin jälkeen. esim. pienet poikkeamat normaalisuudesta tuskin kaataa venettä. jos anovan oletukset on voimassa niin se yleisesti ottaen tehokkaampi testi kuin ei-parametriset vastineensa ja siksi sitä kannattaa käyttää jos mahdollista. muutenhan kaikki nuo testaamiset kannattaa hoitaa ei-parametrisesti kun ei tarvitse välittää liikoja anovan oletusten kaltaisista vaatimuksista kuten normaalisuus ja varianssien yhtäläisyys..

Lue lisää

Jos suurin osa muutujista ei ole normaalisia, niin yhdenmukaisuuden vuoksi kannattaa käyttää koko homman läpi ei-parametrisia. Mutta mikäpä siinä, jos haluaa oikein taiteilla ryhmä kerrallaan. Mutta entäs sitten, kun yhden ryhmän joku muuttuja on normaalijakutunut ja toisen ei? Menetelmä kannattaa valita heikoimman mittaustason mukaan!

Kyllä tuossa aloittajan tapauksessa näyttäisi olevan paras valita Kruskal-Wallis, ja jos sitten ryhmäkohtaisia eroja verrataan yksityiskohtaisemmin, niin Mann-Whitney siihen. Onhan Mann-Whitneyn tehokkuus (siis kyky hylätä väärä nollahypoteesi) pienilläkin otokseilla sentään 3/pii ~ 96 % t-testistä, joten infoa ei siinä mielessä paljonkaan hukata.

Tosin jos antamieni linkkien jälkeen vielä täytyy kysyä, mikä ero on yksi- ja kaksisuuntaisella varianssianalyysilla, niin huh-huh ... MItähän siitäkin gradusta tulee? Ei sentään gradua kai ihan netin kautta tehdä!?

Noista menetelmien eksakteista matemaattisista vaatimuksista vs. käytännöstä voisi puhua kyllä enemmänkin, mutta otetaan se sitten, kun puheeksi tulee. Oikeastaan joku voisi avata jopa uuden keskustelun tuosta, itse en viitsi, mutta voin hyvin osallistua, jos avaus on järkevää tasoa.

Statitician kirjoitti:

Jos suurin osa muutujista ei ole normaalisia, niin yhdenmukaisuuden vuoksi kannattaa käyttää koko homman läpi ei-parametrisia. Mutta mikäpä siinä, jos haluaa oikein taiteilla ryhmä kerrallaan. Mutta entäs sitten, kun yhden ryhmän joku muuttuja on normaalijakutunut ja toisen ei? Menetelmä kannattaa valita heikoimman mittaustason mukaan!

Kyllä tuossa aloittajan tapauksessa näyttäisi olevan paras valita Kruskal-Wallis, ja jos sitten ryhmäkohtaisia eroja verrataan yksityiskohtaisemmin, niin Mann-Whitney siihen. Onhan Mann-Whitneyn tehokkuus (siis kyky hylätä väärä nollahypoteesi) pienilläkin otokseilla sentään 3/pii ~ 96 % t-testistä, joten infoa ei siinä mielessä paljonkaan hukata.

Tosin jos antamieni linkkien jälkeen vielä täytyy kysyä, mikä ero on yksi- ja kaksisuuntaisella varianssianalyysilla, niin huh-huh ... MItähän siitäkin gradusta tulee? Ei sentään gradua kai ihan netin kautta tehdä!?

Noista menetelmien eksakteista matemaattisista vaatimuksista vs. käytännöstä voisi puhua kyllä enemmänkin, mutta otetaan se sitten, kun puheeksi tulee. Oikeastaan joku voisi avata jopa uuden keskustelun tuosta, itse en viitsi, mutta voin hyvin osallistua, jos avaus on järkevää tasoa.

Lue lisää

tuohon mann whitneyn ja t-testin tehokkuuseroon palaisin sen verran että t-testin olettamusten voimassaolessa tarkoitit varmaankin että suurilla otoksilla tehokkuudessa päästään lähelle t-testiä? pienillä otoksillahan näillä nimenomaan tulee tällöin selkeää tehokkuuseroa t-testin hyväksi.

karzah kirjoitti:

tuohon mann whitneyn ja t-testin tehokkuuseroon palaisin sen verran että t-testin olettamusten voimassaolessa tarkoitit varmaankin että suurilla otoksilla tehokkuudessa päästään lähelle t-testiä? pienillä otoksillahan näillä nimenomaan tulee tällöin selkeää tehokkuuseroa t-testin hyväksi.

Lue lisää

.. ihan kaivamatta nyt M-W:n:hen liittyviä dokumentteja muistelen, että testin tehokkuus lisääntyy aika nopeasti pienilläkin otoksilla otoskoon kasvaessa. Oliko nyt niin, että testisuuretta voidaan käsitellä normaalijakautuneena satunnaismuuttujana ryhmien koon ollessa jotain parinkymmenen luokkaa?
Tietysti vertailu t-testiin on mielekästä vain silloin, kun molempia voidaan käyttää, mutta eihän t-testin käyttö alle parinkymmenen ryhmähavainnon tapauksessa oiken tunnu järkevältä.

Statistician kirjoitti:

.. ihan kaivamatta nyt M-W:n:hen liittyviä dokumentteja muistelen, että testin tehokkuus lisääntyy aika nopeasti pienilläkin otoksilla otoskoon kasvaessa. Oliko nyt niin, että testisuuretta voidaan käsitellä normaalijakautuneena satunnaismuuttujana ryhmien koon ollessa jotain parinkymmenen luokkaa?
Tietysti vertailu t-testiin on mielekästä vain silloin, kun molempia voidaan käyttää, mutta eihän t-testin käyttö alle parinkymmenen ryhmähavainnon tapauksessa oiken tunnu järkevältä.

Lue lisää

hei, olet todellakin oikeassa että sen teho lisääntyy melko nopeasti. parikymmentä on jo ruhtinaallinen otoskoko jos tiedetään että ne todella on normaalijakaumista. minulla oli itselläni mielessä todella pienet otokset, en ehkä painottanut tätä tarpeeksi eli esim suuruusluokka 5 ja 10 väliltä. oman kirjoitukseni taustalla oli tosiaan se oletus että t-testin olettamusten tiedettäisiin todella pätevän eli otokset normaalijakaumista yhtäläisin varianssein. tällöinhän ei tarvitse nojautua keskeiseen raja-arvolauseeseen kun keskiarvojen erotuksen normaalisuus pätee millä tahansa otoskoolla, ainoastaan tuon testisuureen varianssin estimoinnissa olisi epävarmuutta mutta sehän huomioidaan juuri t-jakaumalla. en ehkä tuonut selvästi esiin että tarkoitin tilannetta että tiedetään t-testin olettamusten voimassaolo, niiden empiirinen testaaminenhan vaatisi jo käytännössä toki hieman isompia otoksia.

no joka tapauksessa, tein ihan mielenkiinnon vuoksi simulaatiot miten nuo testit käyttäytyvät otoskokojen ollessa luokkaa 5...30 ja keskiarvojen todellisen eron vaihtelevan 0..2. otosten hajonnat oli 1. hankalissa tilanteissa, eli missä keskiarvot ovat hyvin lähellä toisiaan, MW-testin voima oli noin 2/3 (n. 66%) t-testin voimasta otoskokojen ollessa 5. Suhde kasvoi siten että 2 suuruinen ero otosten keskiarvoissa tuotti voimasuhteen n. 85%. t-testin voima tuossa 2 suuruisen eron tapauksessa oli noin 79% ja Mann-Whitneyn testillä noin 67%. Keskimääräiset p-arvot 10 000 toistetussa testissä tässä viimeisessä tapauksessa olivat n. 0.042 t-testillä ja 0.063 M-W testillä kun otoskoot oli siis vain 5 ja todellinen keskiarvoero 2.
Tuo MW kyllä kuroo t-testin voimaa äkkiä kiinni, kun otoskokoa kasvatetaan. Käytin 10 000 toistettua otantaa noista jakaumista kussakin tilanteessa, joten tarkkuus pitäisi olla ihan hyvä. Tulokset on tallella, joten niistä saisi mukavia kuvioitakin piirreltyä mm. otoskoon ja keskiarvojen eron funktioina, mutta ei ole juuri nyt ylimääräistä aikaa. voin katsoa jos saan myöhemmin ne graafisiksi ja lätkäistyä sitten jonnekkin näkyviin.

karzah kirjoitti:

hei, olet todellakin oikeassa että sen teho lisääntyy melko nopeasti. parikymmentä on jo ruhtinaallinen otoskoko jos tiedetään että ne todella on normaalijakaumista. minulla oli itselläni mielessä todella pienet otokset, en ehkä painottanut tätä tarpeeksi eli esim suuruusluokka 5 ja 10 väliltä. oman kirjoitukseni taustalla oli tosiaan se oletus että t-testin olettamusten tiedettäisiin todella pätevän eli otokset normaalijakaumista yhtäläisin varianssein. tällöinhän ei tarvitse nojautua keskeiseen raja-arvolauseeseen kun keskiarvojen erotuksen normaalisuus pätee millä tahansa otoskoolla, ainoastaan tuon testisuureen varianssin estimoinnissa olisi epävarmuutta mutta sehän huomioidaan juuri t-jakaumalla. en ehkä tuonut selvästi esiin että tarkoitin tilannetta että tiedetään t-testin olettamusten voimassaolo, niiden empiirinen testaaminenhan vaatisi jo käytännössä toki hieman isompia otoksia.

no joka tapauksessa, tein ihan mielenkiinnon vuoksi simulaatiot miten nuo testit käyttäytyvät otoskokojen ollessa luokkaa 5...30 ja keskiarvojen todellisen eron vaihtelevan 0..2. otosten hajonnat oli 1. hankalissa tilanteissa, eli missä keskiarvot ovat hyvin lähellä toisiaan, MW-testin voima oli noin 2/3 (n. 66%) t-testin voimasta otoskokojen ollessa 5. Suhde kasvoi siten että 2 suuruinen ero otosten keskiarvoissa tuotti voimasuhteen n. 85%. t-testin voima tuossa 2 suuruisen eron tapauksessa oli noin 79% ja Mann-Whitneyn testillä noin 67%. Keskimääräiset p-arvot 10 000 toistetussa testissä tässä viimeisessä tapauksessa olivat n. 0.042 t-testillä ja 0.063 M-W testillä kun otoskoot oli siis vain 5 ja todellinen keskiarvoero 2.
Tuo MW kyllä kuroo t-testin voimaa äkkiä kiinni, kun otoskokoa kasvatetaan. Käytin 10 000 toistettua otantaa noista jakaumista kussakin tilanteessa, joten tarkkuus pitäisi olla ihan hyvä. Tulokset on tallella, joten niistä saisi mukavia kuvioitakin piirreltyä mm. otoskoon ja keskiarvojen eron funktioina, mutta ei ole juuri nyt ylimääräistä aikaa. voin katsoa jos saan myöhemmin ne graafisiksi ja lätkäistyä sitten jonnekkin näkyviin.

Lue lisää

Kyllähän oma kokeilu lisää uskoa asiaan, vaikka pyörää ei välttämättä aina tarvitse keksiä uudelleen ;-). Itse kyllä poimin tuon ulkomuistista kivikaudella käydyn ei-parametristen testien kurssin perusteella.

Tuo pienillä otoksilla leikkiminen on todella hazardia, ja käytännössä useimmiten normaalijalaumaolettamus, puhumattakaan varianssien yhtäsuuruudesta. Pienistä otoksista voin kertoa,vaikka seuraavan opetuksessa käyttämäni esimerkin.

Aikoinaan toimittaja pani vanhan huonokuntoisen naisen maksamaan 55 markan taksikyydin kahdella kahdenkympin yhdellä satasen setelillä. Viidestä maalaistaksista neljä oikaisi virheen, kaupukilaistakseista kaksi. Toimittajan johtopäätös oli, että maalaistaksit ovat kaksi kertaa rehellisempiä kuin kaupunkilaistaksit.

Fisherin eksakti tn-testi antaa p-arvoksi 0.238 ---> maalais- ja kaupunkilaistaksien välillä ei ole merkitsevää eroa rehellisyydessä, kaksinkertaisesta erosta pumumtaakaan. Päätöksenteon sattumanvaraisuutta kuvaa, että yhden taksikuskin toisenlainen käyttäytyminen olisi saanut eron merkitseväsi.