stima di massima verosimiglianza: richiami
DESCRIPTION
Stima di Massima Verosimiglianza: RICHIAMI Dato un campione di osservazioni (x 1 ….x n ) si definisce funzione di verosimiglianza che rappresenta la funzione di probabilita / densita del campione stesso: - PowerPoint PPT PresentationTRANSCRIPT
Stima di Massima Verosimiglianza: RICHIAMI
Dato un campione di osservazioni (x1….xn) si definisce funzione di verosimiglianza che rappresenta la funzione di probabilita/densita del campione stesso: in quest'ambito si ipotizza che essa sia funzione del vettore dei parametri , mentre le realizzazioni campionarie x sono fisse e INDIPENDENTI. Per il teorema della probabilità composte si ha:
In altri termini ipotizziamo (invertendo le assunzioni solite) che il parametro sia variabile, naturalmente NON perché lo sia in sé, ma perché la sua manifestazione osservabile è stocastica (in un certo senso torna fuori il concetto di superpopolazione)
E’ il concetto bayesiano di parametro e di “spazio” dei parametri.
Va sempre così bene? È sempre facile? NO! Per diversi modelli la soluzione del sistema che uguaglia a 0 gli scores e soprattutto le derivate seconde sono troppo complesse per essere risolte per via analitica e occorre ricorrere a metodi numerici (li vedremo)
Ad es. modelli probit bivariati:
Quindi richiede una soluzione iterativa (numerica)
Un esempio di massimizzazione numerica di una MLE
L’esempio ha solo valore didattico, trattandosi della distribuzione esponenziale sarebbe possibile una soluzione analitica
Reddito Anni di istr
20,5 12
31,5 16
47,7 18
26,2 16
44 12
8,28 12
30,8 16
17,2 12
19,9 10
9,96 12
55,8 16
25,2 20
29 12
85,5 16
15,1 10
28,5 18
21,4 16
17,7 20
6,42 12
84,9 16
Distribuzione esponenziale:
2/1)(
/1)()(
yV
yEeyf y
Ipotizziamo un modello semplice:
)/(1)(
1)/(
ii xy
ii
i
iii
iii
ex
yf
x
xxyExy
Log-verosimiglianza:
n
i i
ii
n
i xyxLn
11
)ln()(
Log-veromiglianza
-89
-88,9
-88,8
-88,7
-88,6
-88,5
-88,4
-88,39 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
alfa
LogV
er
Max =15.6
Test per stime MLE
Confronto tra un modello “generale” (con logveros. L)e uno “vincolato” o “ridotto” (con logveros. Lv)
I modelli devono essere, quindi, “annidati” (nested)
Se i vincoli sono appropriati si avrà Lv L
0ln21
).(ln2 2
LL
LL
vincolinLLLR
vv
v
Valore del test LR
0
2
4
6
8
10
12
14
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
L/Lv
LR
Likelihood Ratio testMisura la riduzione di L connessa alla introduzione del vincolo, se il vincolo è valido, si
dovrebbe perdere poca informazione:
ˆˆˆ
ˆˆˆ
).(ˆˆˆ
0ˆ:ˆ:
'
21'
00
CVarCqCVar
dovevincolinqCqCVarqCW
qCHqCH
Test di Wald
Misura il valore del vincolo in corrispondenza del parametro di max MLE, se il vincolo è appropriato, il valore dovrebbe essere 0, cioè verifica se la stima max MLE rispetta i vincoli: (Si stima del modello generale)
0ˆ*
0ˆˆ
ˆ)ln(
ˆ*
:
ˆˆ.ˆ*
CL
CLL
soluzioneCLLnCvincLMaxL
Test dei moltiplicatori di Lagrange
Misura il valore dei moltiplicatori di Lagrange, se il vincolo è appropriato, il valore dovrebbe essere 0, cioè verifica se la stima max MLE rispetta i vincoli: (Si stima del modello ristretto)
Se i sono “vicini” a 0 il vincolo non ha effetti sulla stima, allora si calcolano le derivate di L nel punto di massimo vincolato, se sono prossime a 0 la perdita di informazioni non è significativa
).(ˆ
ˆlnˆˆ
ˆln 21'
vincolinLILLMv
vv
v
v
verosimiglianza
Vincolo su
Derivata L
Riprendiamo il modello iniziale:
)/(1)( ii xy
ii e
xyf
È una forma ristretta di un Gamma generalizzata con Parametro =1
)/(1)( ii xyi
ii eyxyf
Il vincolo è =1, se non vi è perdita di informazione allora tra tutte le distribuzioni generate da una Gamma, quella esponenziale è la più adatta
Utilizziamo i tre test per verificare:
1:1:
1
0
HcontroH
LIKELIHOOD RATIO:
Dalla stima MLE dei DUE modelli otteniamo:
Ln(L) non vincolato (Gamma) = -82.916Ln(L) vincolato (esponenziale) = -88.436
LR=-2[-88.436-(-82.916)]=11.04 ²(1)
Il valore test è 3.842, quindi si rigetta H0
TEST DI WALD
Dalla stima MLE del solo modello non vincolato:
Il valore test è ancora 3.842, quindi si rigetta H0
)1(984.61151.36625.01151.3
6625.0)ˆ(ˆ
1ˆˆ
01ˆˆ0:
6625.0)ˆ(151.3ˆ
ˆˆˆ
ˆˆˆ
21
'
W
VarqcVar
ccqc
vincoliiVare
CVarCqCVarW
TEST DEI MOLTIPLIPICATORI DI LAGRANGE:
Dalla stima MLE del solo modello non vincolato:
Il valore test è ancora 3.842, quindi si rigetta H0
)1(120.5914.7000.0
894.326689.06689.002166.0
914.7000.0
6689.0
894.32914.7
02166.0000.0
).(ˆˆlnˆ
ˆˆln
21
2
2
21'
LM
l
lel
lel
vincolinLILLMv
vv
v
v