klasyczny model regresji liniowej - uniwersytet warszawski
TRANSCRIPT
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Klasyczny Model Regresji LiniowejZaj ↪ecia 5
Natalia Nehrebecka
04 maja, 2010
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Plan zaj ↪ec1 Klasyczny Model Regresji Liniowej
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
2 Estymator macierzy kowariancji estymatora MNKEstymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
3 Kombinacja liniowa parametrowEstymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βk
Przyk lad - Estymator wariancji i odchylenia standardowego βk
4 PrognozaPrecyzja prognozyPrzyk lad - prognoza
5 Pytania teoretyczne
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
KMRL: Uk lad za lozen na temat b l ↪edow losowych w modelu,pozwalaj ↪acy na okreslenie statystycznych w lasnosciMNK
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε
2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N
3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0
4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)
5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε
2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N
3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0
4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)
5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε
2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N
3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0
4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)
5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε
2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N
3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0
4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)
5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε
2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N
3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0
4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)
5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
Zaburzenia losowe ε s ↪a sferyczne.
Oznacza to, ze warunkowa macierz wariancji-kowariancjiwektora zaburzen przy danej macierzy X ma postac:
Var(ε) = σ2I =
Var(ε1) Cov(ε2, ε1) · · · Cov(εN , ε1)
Cov(ε1, ε2) Var(ε2) · · ·...
......
. . ....
Cov(ε1, εN) Cov(ε2, εN) · · · Var(εN)
=
σ2 · · · 0...
. . ....
0 · · · σ2
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
Sta losc wariancji zaburzen nazywamy homoskedastycznosci ↪azaburzen.
Jesli wariancje nie by lyby jednakowe, to sytuacj ↪e tak ↪anazywamy heteroskedastycznosci ↪a.
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
Przypadek zerowych kowariancji dla roznych zaburzenlosowych εi oraz εj nazywamy brakiem autokorelacji zaburzen.Oznacza to, ze zaburzenia losowe dla roznych obserwacji s ↪aniezalezne, a przez to nieskorelowane,
a wi ↪ec nie maj ↪a tendencji do gromadzenia si ↪e np. woko ldodatnich lub ujemnych (lub naprzemiennie dodatnich iujemnych) wartosci
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
1 Nieobci↪
azonosc: E (b) = β
2 Efektywnosc:Twierdzenie (Gaussa-Markowa) Dla spe lnionych za lozenKMRL estymator MNK jest najlepszym estymatoremparametrow β w klasie liniowych i nieobci ↪azonychestymatorow tego parametru.
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Wektor oszacowan (estymator) parametrow jest wektoremlosowym, moze wi ↪ec odbiegac od prawdziwych wartosciparametrow
Precyzj ↪e oszacowania mierzy si ↪e za pomoc ↪a miar rozrzutu,dyspersji
Najpopularniejsz ↪a miar ↪a rozrzutu jest macierzwariancji-kowariancji
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Wyprowadzenie wzoru
Wazne za lozenia KMRL: brak autokorelacji (cov(εi , εj) = 0dla i 6= j ) i homoskedastycznosc (var(εi ) = σ2 dlai = 1, . . . ,N)
Var(b) = Var((X ′X )−1X ′y) = Var((X ′X )−1X ′(Xβ + ε)
= Var(β + (X ′X )−1X ′ε) = (X ′X )−1X ′ Var(ε)︸ ︷︷ ︸σ2I
X (X ′X )−1
= σ2(X ′X )−1X ′X (X ′X )−1 = σ2(X ′X )−1 = Σ
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Oszacowanie wariancji estymatora parametrow Σ uzyskamy,jesli uda si ↪e znalezc estymator wariancji b l ↪edu losowego σ2
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Oszacowanie b l ↪edow losowych w MNK - reszty
Dlatego estymator wariancji b l ↪edow losowych buduje si ↪e napodstawie wariancji reszt
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Podstawowa macierz idempotentna
e = y − Xb = y − X(X′X)−1X′y =
(I − X(X′X)−1X′)y =MX y
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
W lasnosci macierzy MX
1 MX jest macierz ↪a:
1 idempotentn ↪a: MX MX = MX
2 symetryczn ↪a: MX = M′X
2 Kolumny macierzy MX s ↪a ortogonalne do kolumn macierzy X:MX X = 0
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Zaleznoscmi ↪edzy resztami a b l ↪edami losowymi
e = MX y = MX (Xβ︸ ︷︷ ︸0
+ε) = MX ε
st ↪ade′e = ε′MX ε
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
suma kwadratow reszt jest skalarem, wi ↪ec
e′e = tr(e′e) = tr(ε′MX ε)
aletr(ε′MX ε) = tr(MX εε
′)
st ↪ad (korzystaj ↪ac z za lozenia o homoskedastycznosci)
E (e′e) = E (trMX εε′) = tr(MX E (εε′)︸ ︷︷ ︸
σ2I
) = σ2tr(MX )
ale
tr(MX ) = N − K
czyliE (e ′e) = σ2(N − K )
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Nieobci ↪azony estymator wariancji
Poniewaz
E (e′e
N − K) = σ2
Dlatego nieobci ↪azonym estymatorem wariancji b l ↪edu losowego jest
s2 =e′e
N − K
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Liczba stopni swobody
df︸︷︷︸stopnie swodoby
= N︸︷︷︸liczba obserwacji
− K︸︷︷︸liczba estymowanych parametrow
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Σ = s2(X′X)−1
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Nieobci ↪azonym estymatorem wariancji b l ↪edu losowego jest:
s2 = e′eN−K = 306,34918
1083−5 = 0, 284183 (Mean Squared Error)
s =√
s2 =√
0, 284183 = 0, 53309 (Root of Mean SquaredError)
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk
Z punktu widzenia pytania badawczego interesuj ↪ace s ↪a nietylko wielkosci oszacowanych parametrow, ale rowniezoszacowania pewnych funkcji tych parametrow.Jakie w lasnosci ma tak uzyskane oszacowanie i jaka jest jegowariancja?W lasnosci estymatora MNK kombinacji liniowej parametrow β:
δ′β =K∑
k=1
δkβk
nieobci ↪azonym estymatorem δ′β:
E (δ′b) = δ′E (b) = δ′β
wariancja kombinacji liniowej parametrow:
Var(δ′b) = E[(δ′b − δ′β)(δ′b − δ′β)′
]=
= E[δ′(b − β)(b − β)′δ
]= δ′Σbδ
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk
Estymatorem wariancji kombinacji liniowej parametrow
δ′Σbδ
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk
Model dla dochodu z uwgl ↪ednionymi interakcjami mi ↪edzy p lci ↪ai wykszta lceniem:
log(dochod) = β0 + β1wiek + β2wiek2 + β3plec+
+β4srednie + β5wyzsze + β6plec × srednie + β7plec × wyzsze + ε
Korzysc z uzyskania wyzszego wykszta lcenia w stosunku dowykszta lcenia podstawowego dla kobiet: β5 + β7
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk
b5 + b7 = 0, 866966 + (−0, 3459179) = 0, 521048
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk
szczegolnym przypadkiem kombinacji liniowej elemtow wektoraβ jest kombinacja, ktora daje k-ty element tego wektora.
δ =[
0 · · · 0 1 0 · · · 0]
δ′β = βk
nieobci ↪azonym estymatorem βk jest:
δ′b = bk
estymatorem wariancji βk jest:
δ′Σbδ =[Σb
]kk
se(bk) - oszacowanie odchylenia b l ↪edu standardowego bk ,ktore wykorzystuje si ↪e do mierzenia precyzji oszacowanparametrow.
se(bk) =
√[Σb
]kk
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk
Model dla dochodu:
log(dochod) = β0+β1wiek +β2plec +β3srednie +β4wyzsze +ε
Oszacowanie β1 rowne b1 = 0,004746
Oszacowanie Var(b1) = 2, 665e − 06
Oszacowanie se(b1) = 0, 0016325
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Precyzja prognozyPrzyk lad - prognoza
Prognoza przewidywana przez model wartosc yf dla danegowektora zmiennych objasniaj ↪acych xf . Nieobci ↪azon ↪aprognoz ↪a wartosci yf w KMRL jest
yf = xf b (1)
B l ↪ad prognozy ef = yf − yf
Zadanie
Pokaz, ze prognoza uzyskiwana z MNK na podstawie wzoru (1)jest nieobci ↪azona, tzn. E (ef ) = 0
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Precyzja prognozyPrzyk lad - prognoza
Wariancja prognozy zwi ↪azana ze zmiennosci ↪a prognoz:
Var(yf ) = Var(xf b) = xf Var(b)x′f = xf Σbx ′f
Wariancja b l ↪edu prognozy zwi ↪azana ze zmiennosci ↪a odchylenprognozy od wartosci obserwowanych:
Var(ef ) = E [(yf − yf )(yf − yf )′]
= xf Var(b)x′f + σ2 = xf Σbx′f + σ2
= Var(yf )︸ ︷︷ ︸b l ↪ad estymacji
+ σ2︸︷︷︸b l ↪ad losowy
(przy za lozeniu braku autokorelacji)
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Precyzja prognozyPrzyk lad - prognoza
Nieobci ↪azony estymator wariancji b l ↪edu prognozy
Zadanie
Podaj wzor na nieobci ↪azony estymator wariancji b l ↪edu prognozy
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Precyzja prognozyPrzyk lad - prognoza
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Precyzja prognozyPrzyk lad - prognoza
Model dla dochodu:
log(dochod)i = 6, 47 + 0, 0046× wieki − 0, 32× pleci
Prognoz ↪e wysokosci dochodu dla kobiety w wieku 35 lat.
Wektor zmiennych egzogenicznych:x f =[
1 35 1]
log(dochod)f = 6, 47 + 0, 0046× 35− 0, 32× 1 = 6, 311
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Precyzja prognozyPrzyk lad - prognoza
Wariancja prognozy:
xf Σbx ′f =
[1 35 1
] 0, 00478652 0, 0001092 −0, 00043010, 0001092 2, 892e − 06 −3, 562e − 06−0, 0004301 −3, 562e − 06 0, 0011713
1351
=
= 0, 00064698
Oszacowanie b l ↪edu standardowego odchylenia losowego:s2 = (0, 56179)2
Wariancja b l ↪edu prognozy:
xf Σbx′f + s2 = 0, 00064698 + (0, 56179)2 = 0, 316255
Odchylenie standardowe prognozy:√
0, 316255 = 0, 562366
N. Nehrebecka 5. KMRL
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
1 Wymienic za lozenia Klasycznego Modelu Regresji Liniowej(KMRL).
2 Udowodnic, ze, w KMRL estymator b jest nieobci ↪azony.3 Wyprowadzic postac macierzy wariancji kowariancji b i podac
interpretacj ↪e jej elementow.4 Podac (s lowami) tresc twierdzenia Gaussa-Markowa i wyjasnic
jego znaczenie.5 Pokazac, ze s2 jest nieobci ↪azonym estymatorem σ2.6 Udowodnic, ze s2(X ′X )−1 jest nieobci ↪azonym estymatorem
Var(b).7 Podac postac estymatora dla kombinacji liniowej δ′β i
udowodnic, ze jest on nieobci ↪azony.8 Co to jest prognoza? Udowodnic, ze prognoza postaci xf b jest
nieobci ↪azona.9 Podac dwa zrod la b l ↪edu prognozy i wzor na wariancj ↪e b l ↪edu
prognozy.N. Nehrebecka 5. KMRL