Haluaisin opiskella tilastotiedettä itsenäisesti, kun töitä tai opiskeluja ei ole. Mikä olisi hyvä matemaattisesti tarkka kirja, josta voisin ymmärtää regressioanalyysiä ja mallien hyvyyden mittausta? Onko olemassa muita tapoja mallien hyvyyden mittaamiseen kuin regressio ja Akaiken informaatiokriteerio? Tykkään eniten tarkoista matemaattisista oppikirjoista, jossa väitteet on todistettu huolella. Kiinnostaisi opetella ainakin vertailemaan malleja, Akaiken kriteerio, residuaalit, ja tavallaan laskemaan annetusta datasta, onko todennäköisempää että se on vaikka peräisin Poissonin jakaumasta kuin normaalijakaumasta.
Aiempaa taustaa on sen verran, että olen lukenut perustestit (Z, t, Ficher, McNemar, khiin neliö yms.) ja Berger & Casella: Statistical Inference.
Aiempaa taustaa on sen verran, että olen lukenut perustestit (Z, t, Ficher, McNemar, khiin neliö yms.) ja Berger & Casella: Statistical Inference.
Vastaukset 7
Vanhimmat
Muuten: Jorma Rissasen kehittämä MDL eli Minimum Description Length on informaatioteoreettinen menetelmä ja se antaa pääpiirteissään saman tuloksen kuin Akaiken informaatiokriteeri. MDL on kuitenkin suositumpi, koska sillä on yhteys Kolmogorov-kompleksisuuteen.
Olisi ehkä hyvä aloittaa kirjasta:
Grönroos, Matti: Johdatus tilastotieteeseen: Kuvailu, mallit ja päättely. Helsinki: Finn Lectura, 2003. ISBN 951-792-148-9.
Toisaalta yksi hyvä teos on:
Introduction to Mathematical Statistics (6th Edition)
Robert V. Hogg
Joseph McKean
Allen T. Craig
Toisaalta jos haluat opiskella päälle informaatioteoriaa, niin yksi perusteos on:
Elements of Information Theory (Wiley Series in Telecommunications and Signal Processing)
Thomas M. Cover, Joy A. Thomas
Pari suositusta:
Lineaarinen regressioanalyysi ja yleistetyt lineaariset mallit:
Moore, D.S., McCabe, G.P. (2006). Introduction to the practice of statistics, 5th Edition, Freeman.
McCullagh, P., Nelder, J. (1989). Generalized Linear Models, Chapman and Hall. ISBN 0-412-31760-5.
Oletko tietoinen, että pienimmän neliösumman menetelmä PNS (Least squares method) on aivan sama juttu kuin regresioanalyysi, mutta tätä termiä käyttävät erityisesti insinööritieteilijät ja fysiikkaa lähellä olevat tieteilijät? Suosittelen käyttämään tätä termiä hakusanana. Samoilla aloilla esiintyvät paljon myös MDL ja AIC.
"Oletko tietoinen, että pienimmän neliösumman menetelmä PNS (Least squares method) on aivan sama juttu kuin regresioanalyysi, mutta tätä termiä käyttävät erityisesti insinööritieteilijät ja fysiikkaa lähellä olevat tieteilijät"
En tiennyt tuota. Eli olenkin siis jo tehnyt regressioanalyysiä, kun suoritin PNS:ää erääseen ongelmaan. Mutta ehkäpä pitäisi seuraavaksi opetella MDL ja AIC,
Informaatiokriteerit (ml. selityskerroin) ovat aika suppeita regressiomallin hyvyyden tarkastelukriteereitä. Pitäisi tsekata myös sellaisia ongelmia kuin multikollineaarisuus, autokorrelaatio, heteroskedastisuus, virheternin normaalijakautuneisuus ja mallin stabiliteetti.
Oma suosikkiteokseni on Koutsoyiannis: Theory of Econometrics. Sen jälkeen voi siirtyä eksaktimpiin matemaattisiin esityksiin.
Totta tuo! Lisäksi OLS (tavallinen pienin neliösumma) ei suinkaan ole ainoa, eikä aina edes paras estimointitapa. Vaihtoehtoja ovat esim GLS (generalized lest squares, maximum likelihood-estimointi ja bayeslainen estimointi.
Mitä tulee MDL:ään, olen soveltanut sitä muutamassa ongelmassa mallin
x=As w
asteluvun estimointiin.
x: havaittu data m-vektori
A: tuntematon m x n-matriisi (m>n), jossa n on tuntematon luku ja sen suuruus pitäisi selvittää
s: tuntematon lähdesignaali n-vektori
w: additiivista valkoista gaussista kohinaa m-vektori
Tämän ongelman ratkaisuun tarvitaan datan x kovarianssimatriisin estimaatin ominaisarvoja tai vastaavasti datamatriisin
X=[x1, x2, ...,xN]
singulaariarvojen neliöitä.
Homma on varsin näppärä ja toimii varsin hyvin voimakkaallakin kohinalla. Sovelluksia ovat mm. korkean resoluution sinisignaalien taajuuksien estimointi, tutka- ja kaikuluotaintekniikka, tietoliikennetekniikka,...