Regression itseopiskelukirja

tulevastatisti

Haluaisin opiskella tilastotiedettä itsenäisesti, kun töitä tai opiskeluja ei ole. Mikä olisi hyvä matemaattisesti tarkka kirja, josta voisin ymmärtää regressioanalyysiä ja mallien hyvyyden mittausta? Onko olemassa muita tapoja mallien hyvyyden mittaamiseen kuin regressio ja Akaiken informaatiokriteerio? Tykkään eniten tarkoista matemaattisista oppikirjoista, jossa väitteet on todistettu huolella. Kiinnostaisi opetella ainakin vertailemaan malleja, Akaiken kriteerio, residuaalit, ja tavallaan laskemaan annetusta datasta, onko todennäköisempää että se on vaikka peräisin Poissonin jakaumasta kuin normaalijakaumasta.

Aiempaa taustaa on sen verran, että olen lukenut perustestit (Z, t, Ficher, McNemar, khiin neliö yms.) ja Berger & Casella: Statistical Inference.

7

101

    Vastaukset

    Anonyymi (Kirjaudu / Rekisteröidy)
    5000
    • Jaska Jakobson

      Muuten: Jorma Rissasen kehittämä MDL eli Minimum Description Length on informaatioteoreettinen menetelmä ja se antaa pääpiirteissään saman tuloksen kuin Akaiken informaatiokriteeri. MDL on kuitenkin suositumpi, koska sillä on yhteys Kolmogorov-kompleksisuuteen.

      Olisi ehkä hyvä aloittaa kirjasta:

      Grönroos, Matti: Johdatus tilastotieteeseen: Kuvailu, mallit ja päättely. Helsinki: Finn Lectura, 2003. ISBN 951-792-148-9.

      Toisaalta yksi hyvä teos on:

      Introduction to Mathematical Statistics (6th Edition)
      Robert V. Hogg
      Joseph McKean
      Allen T. Craig

      Toisaalta jos haluat opiskella päälle informaatioteoriaa, niin yksi perusteos on:

      Elements of Information Theory (Wiley Series in Telecommunications and Signal Processing)
      Thomas M. Cover, Joy A. Thomas

    • namusetä

      Pari suositusta:

      Lineaarinen regressioanalyysi ja yleistetyt lineaariset mallit:

      Moore, D.S., McCabe, G.P. (2006). Introduction to the practice of statistics, 5th Edition, Freeman.
      McCullagh, P., Nelder, J. (1989). Generalized Linear Models, Chapman and Hall. ISBN 0-412-31760-5.

    • Uuno-Einari 66

      Oletko tietoinen, että pienimmän neliösumman menetelmä PNS (Least squares method) on aivan sama juttu kuin regresioanalyysi, mutta tätä termiä käyttävät erityisesti insinööritieteilijät ja fysiikkaa lähellä olevat tieteilijät? Suosittelen käyttämään tätä termiä hakusanana. Samoilla aloilla esiintyvät paljon myös MDL ja AIC.

      • tulevastatisti

        "Oletko tietoinen, että pienimmän neliösumman menetelmä PNS (Least squares method) on aivan sama juttu kuin regresioanalyysi, mutta tätä termiä käyttävät erityisesti insinööritieteilijät ja fysiikkaa lähellä olevat tieteilijät"

        En tiennyt tuota. Eli olenkin siis jo tehnyt regressioanalyysiä, kun suoritin PNS:ää erääseen ongelmaan. Mutta ehkäpä pitäisi seuraavaksi opetella MDL ja AIC,


    • Statistician

      Informaatiokriteerit (ml. selityskerroin) ovat aika suppeita regressiomallin hyvyyden tarkastelukriteereitä. Pitäisi tsekata myös sellaisia ongelmia kuin multikollineaarisuus, autokorrelaatio, heteroskedastisuus, virheternin normaalijakautuneisuus ja mallin stabiliteetti.

      Oma suosikkiteokseni on Koutsoyiannis: Theory of Econometrics. Sen jälkeen voi siirtyä eksaktimpiin matemaattisiin esityksiin.

      • e < mc^3

        Totta tuo! Lisäksi OLS (tavallinen pienin neliösumma) ei suinkaan ole ainoa, eikä aina edes paras estimointitapa. Vaihtoehtoja ovat esim GLS (generalized lest squares, maximum likelihood-estimointi ja bayeslainen estimointi.


    • Xenia Onatop

      Mitä tulee MDL:ään, olen soveltanut sitä muutamassa ongelmassa mallin

      x=As w

      asteluvun estimointiin.

      x: havaittu data m-vektori
      A: tuntematon m x n-matriisi (m>n), jossa n on tuntematon luku ja sen suuruus pitäisi selvittää
      s: tuntematon lähdesignaali n-vektori
      w: additiivista valkoista gaussista kohinaa m-vektori

      Tämän ongelman ratkaisuun tarvitaan datan x kovarianssimatriisin estimaatin ominaisarvoja tai vastaavasti datamatriisin

      X=[x1, x2, ...,xN]

      singulaariarvojen neliöitä.

      Homma on varsin näppärä ja toimii varsin hyvin voimakkaallakin kohinalla. Sovelluksia ovat mm. korkean resoluution sinisignaalien taajuuksien estimointi, tutka- ja kaikuluotaintekniikka, tietoliikennetekniikka,...

    Ketjusta on poistettu 0 sääntöjenvastaista viestiä.

    Luetuimmat keskustelut

    1. Istuva kansanedustaja epäiltynä pahoinpitelystä ja ampuma-aserikoksesta

      Seiskan tietojen mukaan Timo Vornanen on epäiltynä pahoinpitelystä ja ampuma-aserikoksesta eikä kenellekään taatusti tul
      Maailman menoa
      459
      3369
    2. Tollokin tajuaa että Timo Vornanen

      oli joutunut äärimmäiseen tilanteeseen ampuessaa yhden laukauksen katuun. Ei poliisi tee tuollaista hetken mielijohteest
      Maailman menoa
      451
      3277
    3. Timo Vornanen kilahti

      Mikähän sille kansanedustajalle polisiisi miehelle on noin pahasti mennyt hermot , että tulevaisuudensa pilasi totaalise
      Kotka
      135
      2918
    4. Pullonpalautusjärjestelmä muuttuu - paluu menneisyyteen

      EU suuressa viisaudessaan on päättänyt, että pulloja pitää kierrättää. Jos oikein ymmärsin, nykyisen järjestelmänmme ti
      Maailman menoa
      164
      2242
    5. Sininen farmari - Ford Focus- YFB-842 on poliisilta kadoksissa Kauhajärvellä

      https://alibi.fi/uutiset/poliisilta-poikkeuksellinen-vihjepyynto-autossa-oleva-henkilo-on-avuntarpeessa/?shared=29255-2d
      Lapua
      8
      2110
    6. Mitkä kolme sanaa haluat nyt sanoa ikäväsi kohteelle?

      Niitä tässä odotan.
      Ikävä
      187
      1460
    7. Onko oikeudenmukaista? Yhdellä taholla yllättävä valta-asema Tähdet, tähdet -voittajan valinnassa!

      Näinpä, onko sinusta tämä oikein? Viime jaksossakin voittaja selvisi vain yhden äänen erolla ja tänä sunnuntaina ensimm
      Tv-sarjat
      23
      1367
    8. No kerros nyt nainen

      Kumpi mielestäsi oli se joka väärinkäsitti kaiken? Nyt voi olla jo rehellinen kun koko tilanne on jo lähes haihtunut.
      Ikävä
      97
      1246
    9. Persukansanedustaja Timo Vornanen ammuskellut Helsingissä

      Poliisi siviiliammatiltaan, luvallinen ase mukana baarissa tällä hemmetin valopääpersulla. Meni eduskunnasta suoraan baa
      Haapavesi
      86
      1232
    10. Nainen, mietit miten minä jaksan

      En voi hyvin. Nykyään elämäni on lähinnä selviytymistä tunnista ja päivästä toiseen. Usein tulee epävarma olo, että mite
      Ikävä
      89
      1060
    Aihe