kvantitative metoder 2

Kvantitative metoder 2: Inferens i den lineære regressionsmodel

1

Kvantitative metoder 2

Inferens i den lineære regressionsmodel

12. marts 2007


2

Dagens program

Resultater om OLS med endeligt antal observationer (kap. 4): Normalitetsantagelse (MLR.6). Test af en enkelt lineær restriktion på koefficienter i

lineær regressionsmodel. Asymptotiske resultater for OLS: (kap. 5).

Konsistens Asymptotisk normalitet og efficiens Eksempel: Monte Carlo eksperiment med uniformt

fordelte fejlled (asynorm_uni.sas).

n


3

Fordeling af OLS estimatoren: Endelig stikprøve

Linearitet af i u og CLM giver følgende resultat: Theorem 4.1: Under CLM antagelserne og betinget på

gælder at

hvor

Heraf følger:

1 2, ,..., kx x xˆ ˆ~ ( ,Var( ))j j jN

2

2ˆVar( )

(1 )jj jSST R

ˆ ˆ( ) / standardafv.( ) ~ (0,1)j j j N


4

Fordeling af OLS estimatoren: Endelig stikprøve (fortsat)

Theorem 4.1 indeholder den ukendte parameter , derfor ikke umiddelbart operationel.

Erstattes af kan man vise at der gælder følgende resultat:

Theorem 4.2: Under CLM antagelserne og betinget på gælder at

hvor k+1 er antal regressorer i modellen inkl. konstantled.

t-fordelingen går mod N(0,1) når antallet af frihedsgrader vokser. Fin approximation hvis større end 120.

2

2 2

1 2, ,..., kx x x

1ˆ ˆ( ) / standardfejl( ) ~j j j n kt


5

Hypotesetest: Restriktion på en enkelt koefficient

Betragt en nulhypotese om en regressionskoefficient: , hvor a er en konstant.

Under nulhypotesen påstår vi altså en bestemt værdi af en parameter i den sande model.

Bruge afvigelsen mellem estimatet, og den postulerede værdi, a, til at vurdere gyldigheden af nulhypotesen.

0 jH : a

ˆj


6


t-testet for er givet ved

og er fordelt som under nulhypotesen. Alternativhypotesen:

Ensidede alternativer: eller Tosidet alternativ:

Ex. Afkast af uddannelse: Hypotese om Nulhypotese: Relevant alternativ:

0 jH : a ˆ ˆ( ) / standardfejl( )j ja

1n kt

1 j:H a 1 j:H a

1 j:H a

1

1 0

1 10? 0?


7


Klassisk teststrategi: Vælg signifikansniveau: Sandsynlighed for at afvise

nulhypotesen, givet at den er sand. Typisk vælges 5 %. Vælg alternativhypotese: Bestemmer den kritiske region, givet

signifikansniveauet. Beregn teststatistik.

Afvis nulhypotesen hvis testet er i den kritiske region. Afvis ellers ikke.

Alternativ: Beregn p-værdi: Marginale signifikansniveau som ville betyde at nulhypotesen netop ville blive afvist.


8


Typiske eksempler: a=0: Standard signifikanstest. a=1 eller a=-1: Test af homogenitet eller proportionalitet.

Konfidensinterval: Givet signifikansniveau, , fx 5 %. Så er 100- % konfidensintervallet givet ved:

Konstrueres intervallet således vil det i 100- % af udfaldene rumme den sande værdi. Nulhypoteser om værdier udenfor vil således blive afvist.

Skitsér på tavlen.

1 1ˆ ˆ ˆ ˆ[ (1 / 2)standardfejl( ), (1 / 2)standardfejl( )]j n k j j n k jt t


9

Hypotesetest: Eksempel: Lønrelationen

Afhængig variabel: log(timeløn)

Kilde: Output fra SAS-programmet lon_udd2.sas

Regressor Model (1) Model (2)

uddaar 0,0452(0,0035)

0,0485(0,0032)

erfaring _ 0,0139(0,0010)

konstant 4,3500(0,0420)

4,1051(0,0424)

Antal observationer 1046 1046

0,140 0,2752R


10

Generel lineær restriktion

Nulhypotese på linearkombination af koefficienter:

Involverer flere koefficienter, men stadig kun en restriktion (et lighedstegn).

Ex. Produktionsfunktion af Cobb-Douglas typen med arbejdskraft (L), kapital (K) og uobserverbare faktorer (U):

I log-transformerede størrelser: Test antagelse om konstant skalaafkast:

0 1 2H :

0 1 2H : 14

1 2i i i iY AL K U

0 1 2H : 1

0 1 2 3H : 2

1 2logi i i iy A l k u


11

Generel lineær restriktion (fortsat)

Hypotesen er af formen: ”Linearkombination af koefficienterne er lig med konstant”.

Estimere , men hvad med ? Omparameterisere modellen:

OLS af I reparameterisering er hypotesen direkte en restriktion

på koefficienten til : Kald den fx Test restriktionen vha. t-stat. på Hvis CLM opfyldt så eksakt t-fordelt.

1 2ˆ ˆ 1 2

ˆ ˆstd.fejl( )

1 2 1 2 2log log ( ) ( )i i i i i i i iy A l k u A l k l u

på en konstant, og log af kapital-arbejdskraftsforholdet, i i i iy l k l

il 1 2 ˆ 1


12

Eksakte versus asymptotiske egenskaber

Under antagelserne MLR.1-4 er OLS en middelret estimator. Ved uafhængige trækninger af datasæt af n observationer vil

OLS–estimatoren i gennemsnit ramme den sande parameterværdi, .

Gælder for enhver størrelse n af datasættet

Under CLM-antagelserne MLR.1-6 kender vi hele fordelingen eksakt: t-test følger t-fordelingen For enhver størrelse n af datasættet

MLR.6: Normalitet er restriktivt. Nu: Se på egenskaber for OLS når vi lader

jˆj

( 1)n k

( 1)n k

n


13

Konsistens: Generelt

Wooldridge appendix C.3 definerer konsistens af en estimator, se også Berry og Lindgren kap. 9.3

Estimatoren konvergerer i sandsynlighed mod den sande værdi:

Egenskab for estimatoren når antallet af observationer øges mod uendeligt.

Minimalkrav til en ”fornuftig” estimator.

1 2

n

estimator for baseret på , ,..., . er konsistent for hvis for ethvert >0,

P(|W | ) 0 for .

n n

n

W Y Y YW

n

nplim(W )


14

Konsistens: Generelt (fortsat)

Store tals lov: i.i.d. følge med middelværdi . Så gælder

Anvendes på en lang række størrelser beregnet ud fra data: Gennemsnit, varianser, kovarianser mv.

Egenskaber ved plim (se side 774-75):1. 2.

1 2, ,..., nY Y Y plim( )Y

n nFor =g( ) hvor g() er kontinuert: plim(g(W )) (plim(W )).g Hvis plim( ) og plim( ) så gælder:(i) plim( )(ii) plim( )(iii) plim( / ) / , forudsat 0.

n n

n n

n n

n n

W UW UW UW U


15

Konsistens: Generelt (fortsat)

Middelret estimator er ikke nødvendigvis konsistent: Præcisionen bliver ikke nødvendigvis bedre når

Men: Hvis variansen af en middelret estimator går mod nul i sandsynlighed når , så gælder at

Ex. Estimation af middelværdi af i.i.d. følge med middelværdi og konstant varians : Gennemsnittet af n observationer:

Gennemsnit af første og n’te observation:

n nplim(W )

2

1

1 ,n

n ii

Y Yn

( ) ,nE Y

plim( )nY

n

1( ) / 2,n nY Y Y

2Var( ) / ,nY n( ) ,nE Y

2Var( ) / 2,nY plim( )nY


16

Konsistens: OLS

Theorem 5.1: Konsistens af OLS estimatoren:Under antagelserne: MLR.1: Lineær model: MLR.2: Tilfældigt udvalg af MLR.3: Ingen perfekt multikollinearitet: er non-singulær. MLR.4: Betinget middelværdi nul:

Så er OLS-estimatoren konsistent for Bevis: Tavlegennemgang. Konsistens kan vises under svagere betingelse end

MLR.4:

,i ix yy X u

( | ) 0E u X 'X X

1ˆ ( ' ) 'X X X Y

( ) 0 og Cov( , ) 0, 1, 2,..., .jE u x u j k


17

Konsistens: OLS

Hvis fejlleddet er korreleret med en eller flere regressorer vil OLS være inkonsistent:

Inkonsistensen (den ”asymptotiske bias”) i den simple lineære regressionsmodel er givet ved

Per konstruktion forsvinder problemet ikke ved at få flere data fra samme population.

Vil se på metoder til at håndtere inkonsistens i kap. 15.

( ) 0 eller Cov( , ) 0, 1, 2,..., .jE u x u j k

1 1 1 1ˆlim( ) Cov( , ) / ( )p x u Var x


18

Asymptotisk normalfordeling for OLS: Generelt

Konsistens af OLS i store datasæt under MLR.1-4: Minimumskrav opfyldt.

Inferens: Vi behøver mere end det. Antager nu: MLR.5: Homoskedasticitet: Men ikke MLR.6: Normalitet af ui

Normalfordelte fejlled er alt for stærk antagelse i en række realistiske problemstillinger: Diskrete fordelinger: Heltallige udfald, fx antal medlemmer af

en bestyrelse. Skæve fordelinger: Asymmetriske aktieafkast. Fordelinger med ”tunge” haler: Aktieafkast (outliers).

221 ),...,,|(Var kxxxu


19

Asymptotisk normalfordeling for OLS: Generelt

Teorem 5.2: Asymptotisk normalfordeling af OLS estimatoren

Antag: Gauss-Markov antagelserne MLR.1-5.

2 2 2 2 2 2

1

1ˆ ˆ( ) ~ (0, / ), / 0, lim( )n

j j j j j iji

n AN a a a p rn

).( afestimator konsistent ener ˆ 22 uVar

ˆ er residual fra regression af på øvrige regressorer.ij jr x


20

Asymptotisk normalfordeling for OLS: I praksis

Standardiserede OLS estimater er asymptotisk standardnormalfordelt:

Hvad er ”asymptotisk”?

Afhænger bl.a. af, hvor meget u’s fordeling afviger fra normalfordelingen: Ikke hårde regler.

N(0,1) >< tn-k-1: Ikke vigtigt (for rimeligt store n og moderate værdier af k).

ˆ ˆ( ) / . ( ) ~ (0,1)j j jstd fejl AN


21

Asymptotisk normalfordeling for OLS: Monte Carlo experiment

Lad os designe et lille eksperiment, hvor MLR.1-5 er overholdt (faktisk er u uafhængige af x her): Lineær model, ingen eksakt multikollinearitet, u har middelværdi nul og konstant varians.

Men u trækkes fra en uniform (eller lige) fordeling: Kontinuert fordeling fx på intervallet [-1,1]. Konstant tæthed f(u)=0.5 over intervallet. Udfaldsrummet begrænset >< normalfordeling.

Resultat af eksperimentet for forskellige n: SAS


22

Asymptotisk normalfordeling for OLS: Standardfejl

OLS standardfejlen: Asymptotik:

Komponenter i formlen:

Betyder at går mod nul som 1/n, standardfejlen går mod nul som

2

2

ˆˆˆ ( )(1 )j

j j

VarSST R

2 2

2

lim( ˆ )

lim( ) , 0 1.

lim( / ) ( )j

j j

pp R a a

p SST n Var x

ˆˆ ( )jVar 1/ n


23

Asymptotisk efficiens af OLS estimatoren

Under Gauss-Markov antagelserne er OLS asymptotisk efficient.

Theorem 5.3: Under Gauss-Markov antagelserne har OLS den mindste asymptotiske varians blandt estimatorer, der løser ligningerne

OLS:

1 1 11

( ,..., )( .... ) 0, 0,1,... .n

j k i o i k iki

g x x y x x j k

1 11

1 11

( .... ) 0,

( .... ) 0, 1,... .

n

i o i k ikin

ij i o i k iki

y x x

x y x x j k


24

Oversigt over OLS estimatorens egenskaber

Antagelser Eksakt Asymptotisk

MLR1-MLR4

Middelret(Theorem 3.1)

Konsistent(Theorem 5.1)

MLR1-MLR5

BLUE(Theorem 3.4)

Asymptotisk efficiens(Theorem 5.3)

MLR1-MLR5

+MLR6Normal fordelt (Theorem 4.1)

Asymptotisk Normalfordelt(Theorem 5.2)


25

Næste gang

Test af flere restriktioner: kap. 4.5 Andre test: kap. 5.2 Præsentation af estimationsresultater: kap.

4.6

kvantitative metoder 2

Documents