Vaikka itse on oikeassa, mitäs sitten jos totuus on väärässä:
Why Most Published Research Findings Are False
John P. A. Ioannidis
Summary
There is increasing concern that most current published research findings are false. The probability that a research claim is true may depend on study power and bias, the number of other studies on the same question, and, importantly, the ratio of true to no relationships among the relationships probed in each scientific field. In this framework, a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance. Simulations show that for most study designs and settings, it is more likely for a research claim to be false than true. Moreover, for many current scientific fields, claimed research findings may often be simply accurate measures of the prevailing bias. In this essay, I discuss the implications of these problems for the conduct and interpretation of research.
John P. A. Ioannidis is in the Department of Hygiene and Epidemiology, University of Ioannina School of Medicine, Ioannina, Greece, and Institute for Clinical Research and Health Policy Studies, Department of Medicine, Tufts-New England Medical Center, Tufts University School of Medicine, Boston, Massachusetts, United States of America.
Why Most Published Research Findings Are False
John P. A. Ioannidis
Summary
There is increasing concern that most current published research findings are false. The probability that a research claim is true may depend on study power and bias, the number of other studies on the same question, and, importantly, the ratio of true to no relationships among the relationships probed in each scientific field. In this framework, a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance. Simulations show that for most study designs and settings, it is more likely for a research claim to be false than true. Moreover, for many current scientific fields, claimed research findings may often be simply accurate measures of the prevailing bias. In this essay, I discuss the implications of these problems for the conduct and interpretation of research.
John P. A. Ioannidis is in the Department of Hygiene and Epidemiology, University of Ioannina School of Medicine, Ioannina, Greece, and Institute for Clinical Research and Health Policy Studies, Department of Medicine, Tufts-New England Medical Center, Tufts University School of Medicine, Boston, Massachusetts, United States of America.
Vastaukset 3
Vanhimmat
Totuus ei pala tulessakaan ja huonoin tutkimus on tekemättä jätetty tutkimus.
Transtutkimusta Suomessa on käsittääkseni varsin vähän. Tämä on tietty ymmärrettävääkin, koska ts-joukkokin on pieni. Maailmalta sitten löytyy enemmänkin, jos jaksaa kaivaa sekä osaa suhtautua "avoimin silmin" löydöksiin. Repertuaari on aika laaja ja voi varmaan sanoa poikkitieteellinen.
Jos pohtii, että miksi joku päätyy sukupuolen korjaukseen, on mielestäni monen tekijän lopputulema (ks Pimenof). On helppoa sanoa, "että olen syntymästä saakka tiennyt...jne ja kysymys on vain sukupuolesta. En sinällään epäile, etteivätkö nämä olisi t o t t a, mutta ne pitäisi pystyä jotenkin selittämään. (hah, nyt se meni taas tähän).
Tutkimusten kritisoiminen on helppoa, mutta teeppäs ite :) Tosin, eikö tiede korjaa itseään ja uusi korjaa aina vanhaa.
Näin mie olen ymmärtänyt...
"Eikö ole niin, että
Kirjoittanut: Äimän-Käki 8.2.2007 klo 21.36
Transtutkimusta Suomessa on käsittääkseni varsin vähän. Tämä on tietty ymmärrettävääkin, koska ts-joukkokin on pieni. Maailmalta sitten löytyy enemmänkin, jos jaksaa kaivaa sekä osaa suhtautua "avoimin silmin" löydöksiin."
No tuo belgialaistutkimus on hieno, mutta siinäkin populaatio on sata. Vertailun vuoksi kolesterolitutkimuksiin osallistuu 10000 eikä sittenkään sada kiistatonta totuutta esille.
"Jos pohtii, että miksi joku päätyy sukupuolen korjaukseen, on mielestäni monen tekijän lopputulema (ks Pimenof). On helppoa sanoa, "että olen syntymästä saakka tiennyt...jne ja kysymys on vain sukupuolesta. En sinällään epäile, etteivätkö nämä olisi t o t t a, mutta ne pitäisi pystyä jotenkin selittämään."
Aivan niin.
Sitä paitis minusta on ruvennut tuntumaan, että aivan kuin Venäjällä, on olemassa rinnakkaisia totuuksia jotka ovat keskenään ristiriidassa. Kuva ei ole särötön eikä aukoton.
Kun ihmisellä on tasaveroisia vaihtoehtoja, niin valinnan vaikeuden muodostama ahdistus päättää mikä vaihtoehdoista valitaan. Transihmisten piiri, etenkin ulostulon jälkeen on ahdistava. Lisäksi yhteiskunnassa ei katsota jahkailua eikä päättämättömyyttä suopeasti - "Jos sinä et päätä, joku toinen päättää puolestasi ja lopputulos on useimmiten huono". Jos tutkija kompastuu tällaisiin niin miten sitten me. Jotenkin ymmärtää kristittyjä, jotka sanovat, että tätä vaihtoehtoa (leikkaushoitoa) suorastaan tyrkytetään, mutta hekään eivät näe että he tyrkyttävät omaa vaihtoehtoaan.
"Tosin, eikö tiede korjaa itseään ja uusi korjaa aina vanhaa. "
Tiede on politiikan jatke. Vasaralle kaikki ongelmat ovat nauloja. Nykypäivänä kaikki nivelletään talouteen, 1970-luvulla politiikkaan ja 1930-luvulla rotuun. Kaikki olivat yhtä oikeita omana aikanaan.
Objektiivista on lähinnä vain sen huomaaminen, että on subjektiivinen.
"No tuo belgialaistutkimus on hieno, mutta siinäkin populaatio on sata. Vertailun vuoksi kolesterolitutkimuksiin osallistuu 10000 eikä sittenkään sada kiistatonta totuutta esille."
Ei voida vaatia että jokaisessa tutkimuksessa otos olisi yhtä suuri. Ensinnäkin otoksen laajuuteen vaikuttaa tutkittavan asian laatu, samoin perusjoukon koko. Olisihan se hauskaa jos transtutkimuksiin saataisiin aina vähintään 1000 ihmistä mukaan, mutta koitapa metsästää sellainen joukko jostain. Saati 1000 transihmisen ruumiit aivotutkimusta varten. Se nyt vaan ei ole realiteettien rajoissa. Siispä täytyy tehdä tyly päätös, että joko tutkitaan saatavilla olevaa aineistoa tai sitten ei tutkita mitään.