statistique (ma101) cours 2keribin/ma101/2018/ma101... · 2018-05-23 · statistique (ma101) cours...
TRANSCRIPT
![Page 1: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/1.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Statistique (MA101) Cours 2ENSTA 1ere annee
Christine Keribin
Laboratoire de MathematiquesUniversite Paris-Sud
2017-2018
1/29
![Page 2: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/2.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Resume Cours 1 : modele stat. et estimateur
I Donnees observees : x = (x1, . . . , xn).
I Modele : x est une realisation de X = (X1, . . . ,Xn),n variables aleatoires dont on modelise la loi.
I Un n-echantillon X est i.i.d. ssi
↪→ les Xi sont independantes↪→ les Xi ont la meme loi marginale IP
La loi de l’echantillon est la loi produit IP⊗n
Xi ∼ IP; X1, . . . ,Xn ∼ IP⊗n
I Modele parametrique : IP appartient a une famille delois P = {IPθ, θ ∈ Θ} parametree par un parametre θ dedimension finie
I Estimateur de νn(θ), variable aleatoire ν(X ) definie apartir de l’echantillon.Proprietes : biais, variance, risque
2/29
![Page 3: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/3.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Sommaire
Proprietes asymptotiquesConsistanceLoi asymptotique
Construction d’estimateursMomentsEMV
3/29
![Page 4: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/4.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Rappels Convergence (cours de probabilite)Soit Xn une suite de v.a. et X une v.a.. On etudie soncomportement quand n→∞
I XnL−→X : la suite (Xn) converge en loi vers la v.a. X si
IP(Xn ≤ x)→ IP(X ≤ x)
pour tout x ou la fct de repartition de X est continue.
I XnP−→X : La suite Xn converge en probabilite vers la
v.a. X si
∀ε, limn→∞
IP(|Xn − X | > ε) = 0
I Xnp.s.−→X : la suite Xn converge presque surement vers
la v.a. X si
IP( limn→∞
|Xn − X | = 0 ) = 1
I XnL2
−→X : La suite Xn converge en moyennequadratique vers la v.a. X si IE[(Xn − X )2]→ 0
4/29
![Page 5: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/5.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Proprietes
I cvg ps ⇒ cvg en proba ⇒ cvg en loi
I cvg L2 ⇒ cvg en proba
I Soit c une constante reelle. XnL−→ c ⇔ Xn
P−→ c
Lemme (Lemme de Slutsky)
Si XnL−→X et Yn
L−→ c ou c est une constante, alors
(Xn,Yn)L−→(X , c). En appliquant cette convergence jointe a
une fonction continue de (x , y), on a en particulier
(i) Xn + YnL−→X + c
(ii) XnYnL−→ cX
(iii) Xn/YnL−→X/c
5/29
![Page 6: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/6.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Consistance d’un estimateur
Soit l’estimateur νn de ν(θ)
I νn est consistant ssi νn tend en probabilite vers ν(θ)quand n→∞ :
∀θ ∈ Θ,∀ε, limn→∞
IPθ(|νn − ν| > ε) = 0
I νn est fortement consistant ssi ∀θ ∈ Θ,
IPθ( limn→∞
|νn − ν| = 0 ) = 1
6/29
![Page 7: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/7.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Outils pour montrer la convergence
Theoreme (Inegalite de Bienayme-Tchebychev)
Soit T une v.a. telle que IE(T 2) < +∞. Alors,
∀t > 0, IP({|T − IE(T )| > t}) ≤ Var(T )
t2
Rem : si le risque quadratique tend vers 0, alors l’estimateurest consistant
7/29
![Page 8: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/8.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Outils pour montrer la convergence
Theoreme (Loi des grands nombres)
Soit X1, . . . ,Xn un n-echantillon i.i.d. de loi IPθ integrable,d’esperance µ, la moyenne empirique X satisfait lesproprietes suivantes :
I C’est un estimateur sans biais de µ :
Bθ(X , µ) = IEθ(X )− µ = 0
I Si IPθ a une variance σ2 finie, la variance de X est
Varθ(X ) =1
n2
n∑i=1
Varθ(Xi ) =σ2
n,
et X converge p.s., la suite X est fortement consistante.
8/29
![Page 9: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/9.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Outils pour montrer la convergence
Theoreme (Loi des grands nombres de Kolmogorov)
Soit X1, . . . ,Xn un n-echantillon i.i.d. de loi IPθ, tel queIE(|g(X1)|) soit fini. Alors l’estimateur νn
νn =1
n
n∑i=1
g(Xi )→ IEθ[g(X1)] = ν(θ) ps
est fortement consistant pour estimer ν(θ).
La LGN est le premier theoreme fondamental en statistique
9/29
![Page 10: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/10.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Ex : loi exponentielle d’esperance 0.5n= 2
Xb
Den
sity
0 1 2 3 4
0.0
0.4
0.8
1.2
n= 5
XbD
ensi
ty
0 1 2 3 4
0.0
0.5
1.0
1.5
2.0
n= 10
Xb
Den
sity
0 1 2 3 4
0.0
0.5
1.0
1.5
2.0
2.5
n= 30
Xb
Den
sity
0 1 2 3 4
01
23
4
10/29
![Page 11: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/11.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Outils pour montrer la convergence
Proposition (Continuite pour la convergence)
Soit g une fonction continue.Si ν est un estimateur (fortement) consistant de ν(θ), alorsg(ν) est un estimateur (fortement) consistant de g(ν(θ)).
11/29
![Page 12: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/12.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Deuxieme theoreme fondamental
Theoreme (de limite centrale)
Soit {Xn} une suite de variables aleatoires i.i.d. admettantune esperance µ et une variance σ2 > 0 finie. Alors, la suitedes variables Wn =
√n(Xn − µ) converge en loi vers la v.a.
N (0, σ2) quand n→∞
√n(Xn − µ)
L−→N (0, σ2)
Rem :
I On a aussi :√n(Xn − µ)/σ
L−→N (0, 1)
I TLC, TCL, CLT ...
I Lemme de l’application continue
12/29
![Page 13: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/13.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Exemple : approx. loi Binomiale
0.0 0.5 1.0 1.5 2.0
0.25
0.35
0.45
n= 2 p= 0.5
0:n
dbin
om(0
:n, n
, mu)
0 1 2 3 4 5
0.05
0.15
0.25
n= 5 p= 0.5
0:n
dbin
om(0
:n, n
, mu)
0 2 4 6 8 10
0.00
0.10
0.20
n= 10 p= 0.5
0:n
dbin
om(0
:n, n
, mu)
0 10 20 30 40 50
0.00
0.04
0.08
n= 50 p= 0.5
0:n
dbin
om(0
:n, n
, mu)
0.0 0.5 1.0 1.5 2.0
0.0
0.2
0.4
0.6
0.8
n= 2 p= 0.1
0:n
dbin
om(0
:n, n
, mu)
0 1 2 3 4 5
0.0
0.1
0.2
0.3
0.4
0.5
0.6
n= 5 p= 0.1
0:n
dbin
om(0
:n, n
, mu)
0 2 4 6 8 10
0.0
0.1
0.2
0.3
0.4
n= 10 p= 0.1
0:n
dbin
om(0
:n, n
, mu)
0 10 20 30 40 50
0.00
0.05
0.10
0.15
n= 50 p= 0.1
0:n
dbin
om(0
:n, n
, mu)
13/29
![Page 14: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/14.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Exemple : loi exponentiellen= 2
W
Den
sity
−3 −2 −1 0 1 2 3
0.0
0.1
0.2
0.3
0.4
0.5
n= 5
WD
ensi
ty
−3 −2 −1 0 1 2 3
0.0
0.1
0.2
0.3
0.4
n= 10
W
Den
sity
−3 −2 −1 0 1 2 3
0.0
0.1
0.2
0.3
0.4
n= 30
W
Den
sity
−3 −2 −1 0 1 2 3
0.0
0.1
0.2
0.3
0.4
14/29
![Page 15: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/15.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Elements de preuve TCL
I On pose Zk = Xk − µ de fonction caract.ϕz(t) = IE(e itZk ) ;
I Wn =∑n
k=1 Zk/√n, les Zk sont iid, donc
ϕwn(t) =
[ϕz1
(t√n
)]nI Pour tt x ∈ IR,
∣∣∣e ix − 1− ix + x2
2
∣∣∣ ≤ min(|x |3
6 , x2)
,
d’ou
ei t√
nZ1 = 1 + i
t√nZ1 −
t2
2nZ 2
1 + hn(Z1)
avec |hn(Z1)| ≤ t2
n min(t|Z1|36√n,Z 2
1
)≤ t2
n Z21 donc hn(Z1)
integrable et
ϕy1
(t√n
)= 1− t2σ2
2n+ IE[hn(Z1)]
ou limn→∞ nIE[hn(Z1)] = 0 (cvg dominee)
15/29
![Page 16: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/16.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Elements de preuve TCL
I Pour n assez grand tel que t2σ2/n < 1, on a∣∣∣∣ϕz1
(t√n
)n
−(
1− t2σ2
2n
)n∣∣∣∣ ≤ n∑k=1
∣∣∣∣ϕz1
(t√n
)− 1 +
t2σ2
2n
∣∣∣∣︸ ︷︷ ︸|IE(hn(Z1)|
I ∣∣∣∣ϕz1
(t√n
)n
− e−t2σ2
2
∣∣∣∣ ≤ n|IE(hn(Z1)|+∣∣∣∣(1− t2σ2
2n
)n
− e−t2σ2
2
∣∣∣∣I(
1− t2σ2
2n
)n= en log(1− t2σ2
n) → e−
t2σ2
2
I pour tt t ∈ IR
limn→∞
ϕwn(t) = e−t2σ2
2 = ϕN (0,σ2)(t)
16/29
![Page 17: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/17.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Application
La loi de l’estimateur empirique de l’esperance d’une loiquelconque de moment d’ordre 2 fini peut etre approximeepar une loi gaussienne
Xappr∼ N (µ,
σ2
n)
Exemple si X ∼ B(θ), si nθ > 5 et n(1− θ) > 5
I Xappr∼ N
(θ, θ(1−θ)
n
)I nX
appr∼ N (nθ, nθ(1− θ))
I√n X−θ√
θ(1−θ)
appr∼ N (0, 1)
Utilisation...
17/29
![Page 18: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/18.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Normalite asymptotique
DefinitionSi un estimateur νn de ν ∈ IRp de variance Var(νn) = Vn aun comportement asymptotiquement normal si
V−1/2n (νn − ν)
L−→Np(0, Idp)
Si nVn → V0 ou V0 > 0 est finie, on dit que la vitesse del’estimateur est en
√n
I Un estimateur est d’autant meilleur que sa vitesse deconvergence est rapide et sa loi limite concentree autourde 0.
I Il existe des estimateurs non asymptotiquementnormaux
18/29
![Page 19: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/19.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Delta-methode
Proposition
Si ν(θ) est une fonction differentiable de θ ∈ IRp et θ unestimateur asympt. normal
V−1/2n (θ − θ)
L−→Np(0, Idp)
alors ν(θ) est un estimateur asympt. normal de ν(θ)
(DνVnD′ν)−1/2(νn − ν(θ))
L−→Np(0, Idp)
avec Dθ =(∂ν(θ)/∂θ1 . . . ∂ν(θ)/∂θp
)
19/29
![Page 20: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/20.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Sommaire
Proprietes asymptotiquesConsistanceLoi asymptotique
Construction d’estimateursMomentsEMV
20/29
![Page 21: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/21.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Methode des momentsSoit X1, . . . ,Xn ∼ IPθ.
I Les moments de IPθ dependent de θ. Moment d’ordrek :
IE(X k1 ) = mk(θ)
I On definit le moment empirique d’ordre k
mk(θ) =1
n
n∑i=1
X ki
fortement consistant si IE(|X k |) existe.
I Un estimateur θn de θ obtenu par la methode desmoments est solution de
m1(θ) = m1
......
...
mp(θ) = mp.
Exemple : estimateur empirique de la variance21/29
![Page 22: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/22.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Methode des moments
Extension :Soit X1, . . . ,Xn ∼ IPθ et ν(θ) = φ(m1(θ), . . . ,mk(θ)) oumk(θ) = IEθ(gk(X1)).Un estimateur des moments de ν(θ) est
νn = φ
(1
n
n∑i=1
g1(Xi ), . . . ,1
n
n∑i=1
gk(Xi )
)
On remplace les esperances par leur version empirique. SiIEθ(|gk(X1)|) est fini pour tout k , et φ est continue, alors lamethode des moments est consistante.
22/29
![Page 23: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/23.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Methode du maximum de vraisemblance
Cadre du modele parametrique domine : les lois (IPθ)θ∈Θ
admettent une densite fθ(x) par rapport a une mesurecommune ξ (mesure de Lebesgue, mesure de comptage)
∀A ∈ A, IPθ(A) =
∫Afθ(x) dξ(x)
DefinitionDans un modele parametrique domine, on appellevraisemblance d’une realisation (x1, . . . , xn) du n-echantillon,la fonction de θ :
θ 7→ L(θ; x1, . . . , xn) = fθ(x1, . . . , xn)
Pour un echantillon i.i.d. : L(θ; x1, . . . , xn) =∏n
i=1 fθ(xi )
! : Vraisemblance 6= densiteExemple : loi gaussienne, loi de Bernoulli
23/29
![Page 24: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/24.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Exemple : loi de Bernoulli
0 1 2 3 4 5
0.0
0.1
0.2
0.3
0.4
n= 5
0:n
dbin
om(0
:n, n
, mu)
0.0 0.2 0.4 0.6 0.8 1.0
0.00
0.02
0.04
0.06
0.08
theta
thet
a^xb
* (
1 −
thet
a)^(
n −
xb)
Densite (a gauche) et la vraisemblance (a droite)24/29
![Page 25: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/25.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Estimateur du maximum de vraisemblance
La valeur θ1 de θ est plus vraisemblable que la valeur θ2, siL(θ1; x) > L(θ2; x) ; graphe !
Definition (EMV)
On appelle estimation du maximum de vraisemblance, unevaleur θn maximisant la vraisemblance
θn ∈ Arg maxθ∈Θ
L(θ; x).
θn = t(x1, . . . , xn) est une fonction des donnees, ce quiinduit la statistique t(X1, . . . ,Xn) que l’on note(abusivement) avec la meme notation :θn = t(X1, . . . ,Xn) est appele Estimateur du Maximum deVraisemblance
Exemple : loi gaussienne, loi de Bernoulli
25/29
![Page 26: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/26.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
EMV
Remarque : quand l’echantillon est i.i.d. on utilise plutot lalog-vraisemblance
`n(θ; x) = log L(θ; x) =n∑
i=1
log fθ(xi )
Proprietes
I Si θ → `n(θ; x) est une fonction continue et que Θ estcompact, l’existence de l’EMV est garantie.
I Si la vraisemblance est derivable en θ,
↪→ soit l’EMV annule le gradient,↪→ soit il est situe sur le bord de Θ
26/29
![Page 27: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/27.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Calcul de l’EMV
Si le domaine de definition de fθ ne depend pas de θ, et si lavraisemblance est deux fois derivable :
I Chercher θn annulant les equations de vraisemblance(ou equations normales ou equations du score)
Un(θn) := ∇`n(θn; x) =
(∂
∂θk`n(θn; x)
)k=1,...,dim(θ)
= 0,
I Verifier que θn est bien un maximum :Hn(θ) = ∇2`n(θ; x) est definie negative autour de θn.
Exemple : loi gaussienne, loi de Bernoulli
27/29
![Page 28: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/28.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Calcul numerique de la vraisemblance
Dans le cas ou le calcul analytique de l’EMV est impossible↪→ schema numerique, par ex. Newton-Raphson :
I Initialiser θ(0)
I Iterer jusqu’a converge ou a un nombre de pas fixes
↪→ Linearisation de Un au point courant(θ(m),Un(θ(m)))
0 = Un(θ(m)) + Hn(θ(m))(θ(m+1) − θ(m))
↪→ si Hn(θ(m)) est inversible
θ(m+1) = θ(m) − [Hn(θ(m))]−1Un(θ(m))
Attention, il peut y avoir des maxima locaux
28/29
![Page 29: Statistique (MA101) Cours 2keribin/MA101/2018/MA101... · 2018-05-23 · Statistique (MA101) Cours 2 Christine Keribin Propri et es asymptotiques Consistance Loi asymptotique Construction](https://reader031.vdocuments.pub/reader031/viewer/2022022020/5b9df30e09d3f275078d5acc/html5/thumbnails/29.jpg)
Statistique(MA101) Cours 2
Christine Keribin
Proprietesasymptotiques
Consistance
Loi asymptotique
Constructiond’estimateurs
Moments
EMV
Proprietes de l’EMV
Propriete
Soit X1, . . . ,Xn ∼ IPθ. Sous des conditions de regularite dumodele, l’EMV θn de θ est consistant et asymptotiquementnormal.Il est donc asymptotiquement sans biais mais peut etrebiaise a distance finie
Nous demontrerons ces proprietes au cas par cas en 1A, asuivre dans le cours de 2A !
Remarque : Quand l’echantillon est i.i.d. on utilise plutot lalog-vraisemblance
`n(θ; x) = log L(θ; x) =n∑
i=1
log fθ(xi )
29/29