Ekonometrija 2
Ekonometrija, Osnovne studije
Predavač: Aleksandra Nojković
Struktura predavanja
Svojstva ocena na malim uzorcima
Asimptotska svojstva ocena
Svojstva ocena dobijenih metodom ONK
Svojstva ocena
U regresionoj analizi ocenjujemo nepoznate parametre β i β0.
Da li su ocene ONK kvalitetne?
Da li omogućavaju pouzdano zaključivanje o nepoznatim parametrima?
Uopštavanje: Pretpostavimo da se osnovni skup sastoji od vrednosti koje uzima slučajna promenljiva X, čije vrednosti su određene nekom raspodelom verovatnoće (može biti poznata).
Svojstva ocena (nastavak) Nepoznati parametar osnovnog skupa je θ.
Ocena ovog parametra se dobija na osnovu svih n elemenata uzorka X1, X2, ..., Xn; Ocena se dobija prema svim raspoloživim podacima iz uzorka (egzostivnost); Ispunjeno je za ONK ocene b i bo.
Ocena je slučajna promenljiva – funkcija je elemenata uzorka, koji su slučajne promenljive.
Ocene vs ocenjena vrednost (konkretan broj).
Analiza ocene zasniva se na poznavanju uzoračke raspodele verovatnoće ocene θ.
Svojstva ocena na malim uzorcima
(uzoračka svojstva ocena)
Nepristrasnost
Efikasnost
Linearnost
1) Nepristrasnost (centriranost)
Ocena je nepristrasna ako je njena srednja vrednost jednaka parametru koji se ocenjuje.
Pojedinačno se svaka ocenjena vrednost izračunata na bazi većeg broja uzoraka istog obima može razlikovati od stvarne vrednosti parametra θ.
.E
F-ja gustine nepristrasne i pristrasne ocene
Varijansa ocene
U praksi se ocena nepoznatog parametra dobija na bazi jednog uzorka.
Postoji verovatnoća da se i nepristrasna ocena u izvesnoj meri razlikuje od θ.
Pitanje širine intervla u čijim granicama varira ova ocena.
Varijansa ocene se definiše:
.EEvar
2
2) Efikasnost
Ocena je efikasna ocena parametra θ, ako je:
a) data ocena nepristrasna i
b) ne postoji druga nepristrasna ocena sa manjom varijansom.
Efikasna je ona ocena koja ima najmanju disperziju oko prave vrednosti parametra.
Efikasna ocena se često naziva i najbolja nepristrasna ocena (najbolja je ona ocena koja ima najmanju varijansu).
F-ja gustine relativno efikasne i
neefikasne ocene
3) Linearnost
Uslov koji pojednostavljuje problem određivanja efikasne ocene.
Linearna je ocena koja se dobija kao linearna funkcija elemenata iz uzorka:
gde su α1, α2,..., αn parametri.
,nn2211 XXX
Najbolja linearna nepristrasna
ocena (NLNO)
Ocena je NLNO ukoliko zadovoljava sledeće uslove:
a) linearna ocena,
b) nepristrasna ocena i
c) ocena sa najmanjom varijansom.
Engl. akronim BLUE (engl. Best Linear Unbiased Estimator).
Funkcije gustine ocena 21 i
Srednja kvadratna greška (SKG)
U cilju izbora bolje ocene koristi se kriterijum SKG.
U cilju izbora bolje ocene koristi se kriterijum minimalne srednje kvadratne greške (SKG).
SKG omogućava izbor one ocene koja će imati što manju varijansu i pristrasnost (zbir varijanse i kvadrata pristrasnosti, pokazati...).
SKG jednaka je varijasi samo ako je zadovoljen uslov nepristrasnosti (sredstvo za izbor efikasne ocene).
.
2
ESKG
Pojam asimptotske raspodele i
granične vrednosti Asimptotska raspodela (granična raspodela) verovatnoće
ocene jeste raspodela čija svojstva poprima ocena kada se obim uzorka povećava i teži beskonačnosti.
Pretpostavimo da slučajnu promenljivu X karakteriše srednja vrednost μ i σ2 (raspodela nije specifikovana).
Na osnovu uzorka od n opservacija određujemo ocenu (čija je srednja vrednost μ a varijansa σ2/n).
Prema CGT, sa rastom uzorka, asimptotska raspodela se aproksimira normalnom raspodelom.
Za beskonačan uzorak, varijansa je jednaka nuli (ispunjeno je samo za parametre...).
_
X
_
X
_
X
Raspodela za uzorke različitog obima _
X
Granična vrednost ocene
Kada se raspodela svodi na jednu vrednost -konstantu (pri uslovu n ──>∞), onda ocena konvergira u verovatnoći ka toj konstanti.
Vrednost ka kojoj konvergira ocena naziva se granična vrednost ocene i obeležava se kao:
Granična vrednost ocene je μ, što se predstavlja na sledeći način:
.limp
_
X
.XlimpXElim__
n
Asimptotska raspodela
Važno je utvrditi da li asimptotska raspodela uopšte postoji i ako postoji kojeg je oblika.
Moguće su sledeće situacije: uzoračka raspodela ocena je poznata i identična za sve obime uzorka; mnoge ocene karakteriše jedna raspodela za određene obime uzorka, da bi sa uslovom n ──>∞ raspodela poprimila nova svojstva; uzoračka raspodela pojedinih ocena ne mora biti poznata, ali postoji mogućnost da se odredi njena asimptotska raspodela (npr. asim. raspodela ).
Asimptotsku raspodelu karakterišu asimptotska srednja vrednost i asimptotska varijansa.
_
X
Parametri asimptotske
raspodele ocene
Asimptotska srednja vrednost dobija se na osnovu
sredje vrednosti ocene pri uslovu n ──>∞ i
predstavlja se kao:
Asimptotska varijansa (varijansa asimptotske raspodele) ocene se određuje kao:
.varnlimn
1
n
.Elim n
Asimptotska svojstva ocena
(svojstva ocena na velikim uzorcima)
Asimptotska nepristrasnost
Konzistentnost
Asimptotska efikasnost
1) Asimptotska nepristrasnost
Ocena je asimptotski nepristrasna ocena parametra θ ako je zadovoljen sledeći uslov:
Ocena je asimptotski nepristrasna ako postaje nepristrasna sa rastom uzorka.
Pri tome, varijansa ocene ne mora da se smanjuje.
.n,E
Asimptotski nepristrasna ocena
2) Konzistentnost
Ocena je konzistentna ocena parametra θ ako je zadovoljen sledeći uslov:
Ocena je konzistentna ako konvergira u verovatnoći
ka stvarnoj vrednosti parametra kada n ──>∞.
Dovoljan uslov za konzistentnost ocene jeste da varijansa i pristrasnost teže ka nuli kada obim uzorka teži ka beskonačnosti (potreban uslov podrazumeva da postoje asimptotska srednja vrednost i varijansa), odnosno SKG teži nuli kada obim uzorka teži beskonačnosti.
.limp
F-ja gustine konzistentne ocene
F-ja gustine nekonzistentne ocene
Ocena je nekonzistentna (plim( )≠θ) kada sa rastom uzorka
a) smanjuje varijansa, ali ne i pristrasnost ili
b) smanjuje pristrasnost, ali ne i varijansa.
Uzoračke raspodele nepristrasnih
ocena 21 i
“Brzina” konvergencije
Pretpostavimo da su moguće nepristrasne ocene parametra θ (prikazane na slici).
Obe ocene su konzistentne, jer se sa rastom uzorka smanjuje njihova varijansa, tako da ocene konvergiraju u verovatnoći ka θ, kada n──>∞.
Ocena konvergira u verovatnoći “brže“ od ocene odnosno svojstvo konzistentnosti postiže za manji obim uzorka – ima manju asim. varijansu.
21 i
1
,2
3) Asimptotska efikasnost
Ako raspodela ocene konvergira ka θ po bržoj stopi od , onda je varijansa raspodele ocene (pri datoj veličini uzorka) manja od varijanse raspodele verovatnoće ocene
Ocena je asimptotski efikasna ocena parametra θako je:
a) konzistentna ocena i
b) ne postoji druga konzistentna ocena sa manjom asimptotskom varijansom.
Ocena koja najbrže teži ka nepoznatom parametu θ.
1
2
.2
1
Osobine ocena dobijenih
metodom NK i metodom MV
Ocene dobijene metodom NK imaju sve poželjne osobine u malim uzorcima.
Metod maksimalne verodostojnosti (MV) daje ocene parametara koje imaju poželjne asimptotske osobine: konzistentost i asim. efikasnost.
Metod MV se koristi kada su na raspolaganju veliki uzorci i kada se pretpostavka o normalnoj distribuciji grešaka može smatrati opravdanom (u opštem slučaju pristrasne u malim uzorcima).
Svojstva ocena dobijenih primenom
metoda ONK
Polazna relacija u analizi statističkih karakteristika ocene b:
gde je sa ωi označen količnik
,
x
yx
bn
1i
iin
1i
2
i
n
1i
ii
.
x
xn
1i
2
i
i
Linearnost
Na osnovu sledećeg izraza:
zaključujemo da je ocena b linearna funkcija slučajne
promenljive Yi, a time i raspoloživih podataka.
Linearna ocena je i ocena
Ovo svojstvo obezbeđuje veći stepen jednostavnosti u analizi ocena.
,Ybn
1i
ii
.XbYb0
Nepristrasnost
Ukoliko su zadovoljene pretpostavke KLRM, ocene b0 i b su nepristrasne i važi:
Pokazati...
.bEibE oo
Varijansa ocena
Daje odgovor na pitanje u kojoj meri promena uzorka utiče na ocenjene vrednosti b0 i b.
Varijanse ocena ONK su:
Primećujemo da varijanse ocena zavise od: 1. varijanse σ2, 2. obima uzorka n i 3. zbira kvadrata odstupanja vrednosti nezavisne promenljive od odgovarajuće aritmetičke sredine, Σxi
2.
Pokazati...
2
2
2
0
1var
ix
X
nb
2
i
2
xbvar
Najbolje linearne nepristrasne ocene
Ocene b0 i b dobijene metodom ONK su NLNO, odnosno ocene sa najmanjom varijansom.
Pokazati da je ocena nagiba b NLNO parametra β...
Dokaz
Proizvoljna ocena b* parametra β je linearna:
b*=ΣaiYi,
pri čemu su a1, a2, ...an proizvoljne konstante.
Iz uslova nepristrasnosti: E(b*)=β, sledi da moraju biti ispunjeni uslovi:
Σai=0, ΣaiXi=1.
Varijansa ocene b* je:
var (b*)=E(b*-E(b*))2=σ2Σai2.
Dokaz (nastavak 1)
Određujemo konstante ai tako da var(b*) bude minimalna uz ispunjenje dva uslova koji obezbeđuju nepristrasnost ocene b*.
Formiramo funkciju Lagrange-ovog multiplikatora:
gde su λ1 i λ2 Lagrange-ovi multiplikatori.
Izjednačavamo prve parcijalne izvode H po ai, λ1 i λ2 sa nulom:
,1XaaaH ii2i1i
2
01Xa
0a
0Xa2
0Xa2
ii
i
221
2
2
121
2
1
Dokaz (nastavak 2)
Na osnovu prvih n jednačina imamo:
odakle je:
,X2
1a i212i
.XX2
1Xa
Xn2
1a
2
i2112ii
i212i
Dokaz (nastavak 3)
Iz poslednej dve jednačine (izjednačavanje funkcije H po λ1 i λ2 sa nulom) sledi:
Rešavajući po λ1 i λ2 dobijamo:
.1XX2
1
0Xn2
1
2
i2112
i212
.
XXn
n2
XXn
X2
2
i
2
i
2
2
2
i
2
i
i
2
1
Dokaz (nastavak 4)
Zamenjujući rešenja za λ1 i λ2 u jednakost:
dobijamo rešenje za ai:
Proizvoljna ocena b* je NLNO za ai=ωi, tako da ocena b* predstavlja ocenu b dobijenu metodom ONK.
Slično, dokaz za bo...
,X2
1a i212i
.
x
x
XnXn
XXn
XXn
XnXa i2
i
i
_22
i
_
i
2
i
2
i
ii
i
Konzistentnost
Ocene b0 i b su konzistentne što znači da konvergiraju u verovatnoći parametrima β0 i β
kada obim uzorka teži beskonačnosti.
Pokazano je da su ocene nepristrasne, pri tome varijanse teže nuli sa povećanjem obima uzorka (povećavaju se vrednosti n i Σxi
2 u imeniocu
izraza za varijansu), tako da je ispunjeno:
.n,0bvar,0bvar 0
Ocena varijanse slučajne greške σ2
Ocena varijase slučajne greške (s2) se određuje kao:
S2 je nepristrasna ocena σ2 (pokazati...)
s je broj koji se obično naziva standardna greška regresije.
.2n
e
s
n
1i
2
i2