2013 02 27_statistics_lecture02

Лекция 2. Статистики первого типа. Точеченые оценкии их свойства

Буре В.М., Грауэр Л.В.

ШАД

Санкт-Петербург, 2013

Буре В.М., Грауэр Л.В. (ШАД) Лекция 2. Статистики первого типа. Точеченые оценки и их свойстваСанкт-Петербург, 2013 1 / 74

Cодержание

Содержание

1 Статистики первого типаСтатистики первого типаТеоремы непрерывностиПредельное распределение статистик первого типа

2 Точечные оценкиСвойства точечных оценокМетоды построения точечных оценокНеравенство Рао-Крамера


Статистики первого типа Статистики первого типа

Статистики первого типа

Следуя [3] будем рассматривать функционал G (F ), заданный намножестве функций распределения:

G (F ) = h

∞∫−∞

g(x)dF (x)

,

где g : R→ Rm — заданная борелевская функция,h : Rm → Rl некоторая борелевская функция, непрерывная в точкеa =

∫∞−∞ g(x)dFξ(x) ∈ Rm.

Тогда назовем статистику S(X[n]) = G (F ∗n ) статистикой первого типа.Таким образом,

S(X[n]) = G (F ∗n ) = h

(∫ ∞−∞

g(x)dF ∗n (x)

)= h

(1

n

n∑i=1

g(Xi )

).



Замечание 1

Положим h(t) ≡ t, g(x) = xk , то G (F ∗n ) = a∗k , значит, начальныйэмпирический момент порядка k является статистикой первого типа.

Нетрудно заметить, что центральный эмпирический момент такжеявляется статистикой первого типа.

Покажем это для дисперсии (центрального момента второго порядка):

s2 = a0∗2 =

1

n

n∑i=1

(Xi − a∗1)2 =1

n

n∑i=1

X 2i −

(1

n

n∑i=1

Xi

)2

,

a02 =

+∞∫−∞

(x − a1)2dFξ(x) =

+∞∫−∞

x2dFξ(x)−

+∞∫−∞

xdFξ(x)

2

.



Выберем функции h и g следующего вида:

h(t1, t2) = t2 − t21 ,

g(x) = (g1(x), g2(x)) = (x , x2).

Тогда получаем равенства:

a02 = h

+∞∫−∞

g(x)dFξ(x)

,

a0∗2 = h

(1

n

n∑i=1

g(xi )

).



Теорема 1

Пусть S(X[n]) = G (F ∗n ) — статистика первого типа, тогда имеет местосходимость:

S(X[n])п.н.−−−→

n→∞h(a) = G (Fξ).

ДоказательствоИз усиленного закона больших чисел Колмогорова следуетсходимость:

1

n

n∑i=1

g(xi )п.н.−−−→

n→∞Eg(ξ) =

+∞∫−∞

g(x)dFξ(x),

так как все слагаемые взаимно независимые, одинаковораспределенные случайные величины.



Функция h(·) непрерывна в точке a, следовательно,

G (F ∗n ) = h

(1

n

n∑i=1

g(xi )

)п.н.−−−→

n→∞h

+∞∫−∞

g(x)dFξ(x)

.

Следствие 1Пусть у генеральной совокупности ξ существует теоретическийначальный момент порядка k , ak = Eξk ∈ R , тогда

a∗kп.н.−−−→

n→∞ak .

Следствие 2Пусть у генеральной совокупности ξ существует теоретическийцентральный момент порядка k , a0

k = E (ξ − Eξ)k ∈ R , тогда

a0∗k

п.н.−−−→n→∞

a0k .



Рассмотрим случайный вектор ξ = (ξ1, . . . , ξm)T с m компонентами.Пусть имеется выборка:

(X1,X2, . . . ,Xn) =

X11 X12 . . . X1n

X21 X22 . . . X2n

. . . . . . . . . . . .Xm1 Xm2 . . . Xnm

.

Рассмотрим компоненты ξk и ξl , им соответствуют элементы выборки:Xk1, . . . ,Xkn и Xl1, . . . ,Xln.



Вычислим выборочные моменты:

a∗1k = Xk =1

n

n∑i=1

Xkiп.н.−−−→

n→∞Eξk ,

a∗1l = Xl =1

n

n∑i=1

Xliп.н.−−−→

n→∞Eξl .

Кроме того,

a∗2k = s2k =

1

n

n∑i=1

(Xki − Xk)2 п.н.−−−→n→∞

Dξk ,

a∗2l = s2l =

1

n

n∑i=1

(Xli − Xl)2 п.н.−−−→

n→∞Dξl .



Коэффициент корреляции равен

%(ξk , ξl) =cov(ξk , ξl)√Dξk√Dξl

,

где

cov(ξk , ξl) = E(ξk − Eξk)(ξl − Eξl) = E (ξkξl)− E (ξk)E (ξl).

Подберем эмпирический аналог ковариации. Рассмотрим элементывыборки: (

Xk1

Xl1

),

(Xk2

Xl2

), . . . ,

(Xkn

Xln

).



Надо центрировать величины:(Xk1 − Xk

Xl1 − Xl

),

(Xk2 − Xk

Xl2 − Xl

), ...,

(Xkn − Xk

Xln − Xl

).

Перемножив их, получаем выборочную ковариацию:

cov(ξk , ξl) =1

n

n∑i=1

(Xki − Xk)(Xli − Xl) =

=1

n

n∑i=1

XkiXli − Xk Xlп.н.−−−→

n→∞cov(ξk , ξl).



Так как имеют место сходимости:

1

n

n∑i=1

XkiXliп.н.−−−→

n→∞E (ξkξl),

Xk Xlп.н.−−−→

n→∞EξkEξl ,

тогда имеет место сходимость почти наверное для выборочногокоэффициента корреляции:

%(ξkξl) =cov(ξk , ξl)√

s2k s

2l

п.н.−−−→n→∞

%(ξkξl).

Напомним, что под одномерной выборкой понимаем взаимнонезависимые случайные величины, распределенные так же, какгенеральная совокупность.


Статистики первого типа Теоремы непрерывности

Теоремы непрерывности

Теорема 2

Пусть η — случайная величина, заданная на вероятностномпространстве (Ω,F ,P), последовательность случайных величин ηnтакже задана на (Ω,F ,P). Пусть борелевская функция H : R −→ Rнепрерывна на борелевском множестве B ∈ B(R), Pη ∈ B = 1, тогдасправедливы утверждения:

1 Если ηnп.н.−−−→

n→∞η, тогда H(ηn)

п.н.−−−→n→∞

H(η).

2 Если ηnp−−−−→

n−→∞η, тогда H(ηn)

p−−−−→n−→∞

H(η).



ДоказательствоДокажем первое утверждение. Определим множество A следующимобразом:

A = ω : ηn(ω) −−−−→n−→∞

η(ω).

По условию первого утверждения P(A) = 1. Рассмотрим множествоA ∩ η−1(B). Определим вероятность:

P(A ∩ η−1(B)) = P(A ∪ η−1(B) ≤ P(A) + P(η−1(B)) = 0,

тогда P(A ∩ η−1(B)) = 1.Теперь рассмотрим событие ω ∈ A ∩ η−1(B). Тогда

ηn(ω) −−−−→n−→∞

η(ω) ∈ B.

Следовательно, имеет место сходимость:

H(ηn(ω)) −−−−→n−→∞

H(η(ω)).



Докажем второе утверждение теоремы от противного.Пусть утверждение 2 неверно. Это означает, что существует ε > 0,существует δ > 0, и существует последовательность n(1)

k , чтосправедливо неравенство

P|H(ηn

(1)k

)− H(η)| > ε > δ.

Последовательность ηn

(1)k

сходится по вероятности к η, ηn

(1)k

P−−−−→k−→∞

η,

следовательно, существует подпоследовательность n(2)k ⊂ n

(1)k , для

которой имеет место сходимость почти наверно:

ηn

(2)k

п.н−−−−→k−→∞

η.

Возникло противоречие, так как ηn

(2)k

п.н−−−−→k−→∞

η, но с другой стороны

P|H(ηn

(2)k

)− H(η)| > ε > δ,

отсюда следует, что утверждение 2 верно.Буре В.М., Грауэр Л.В. (ШАД) Лекция 2. Статистики первого типа. Точеченые оценки и их свойстваСанкт-Петербург, 2013 15 / 74


Теорема 3

Пусть для последовательности случайных векторов имеет местосходимость по распределению:ηn = (η

(1)n , . . . , η

(m)n )

d−−−−→n−→∞

η = (η(1), . . . , η(m)). Пусть задана функция

H : Rm −→ Rl непрерывная на Rm, тогда H(ηn)d−−−−→

n−→∞H(η).

Доказательство Для любой непрерывной и ограниченной функцииg(x) должно выполняться следующее предельное соотношение:

Eg(H(ηn)) −−−−→n−→∞

Eg(H(η)).

Рассмотрим g(H(t)) ≡ h(t), то есть h — суперпозиция двухнепрерывных функций, следовательно, она непрерывна. Так как gограничена, то отсюда следует, что h ограничена, то есть выполненоследующее соотношение:

Eh(ηn) −−−−→n−→∞

Eh(η).



Теорема 4

Пусть борелевская функция H : Rm → Rk непрерывна на B ∈ B(Rm) иPη ∈ B = 1. Пусть ηTn = (η1n, . . . , ηmn)

d−−−→n→∞

η, тогда

H(ηn)d−−−→

n→∞H(η).

Доказательство теоремы можно найти в книге [1].



Теорема 5

Пусть последовательность случайных величин ηn сходится пораспределению к случайной величине η, ηn

d−−−−→n−→∞

η. Пусть функцияH : R→ R — борелевская функция. Числовая последовательностьbn −−−→

n→∞0, причем bn 6= 0 для любого n. Тогда справедливы

утверждения:1 Если функция H дифференцируема в точке a ∈ R, то

H(a + bnηn)− H(a)

bn

d−−−−→n−→∞

H ′(a)η.

2 Если функция H дифференцируема в некоторой окрестноститочки a, H ′(a) = 0, и существует H ′′(a), то


b2n

d−−−−→n−→∞

1

2H ′′(a)η2.



ДоказательствоДокажем утверждение 1. Введем H1(x) и H1(x , y) = H1(x)y , причем

H1(x) =

H(a+x)−H(a)

x , x 6= 0,H ′(a), x = 0.

Из условия теоремы ясно, что H1(x) непрерывна в нуле, тогда H1(x , y)непрерывна на множестве (0, y), y ∈ R. Покажем, что(bnηn, ηn)

d−−−→n→∞

(0, η). Воспользуемся методом характеристическихфункций.



Надо показать, что

ϕ(bnηn,ηn)(t1, t2) −−−−→n−→∞

ϕ(0,η)(t1, t2). (1)

Рассмотрим левую часть (1):

ϕ(bnηn,ηn)(t1, t2) = Ee i(t1bnηn+t2ηn) = Ee i(t1bn+t2)ηn = ϕηn(bnt1 + t2)±±ϕη(bnt1 + t2) = (ϕηn(bnt1 + t2)−ϕη(bnt1 + t2)) +ϕη(bnt1 + t2) −−−→

n→∞

−−−→n→∞

ϕη(t2) = Ee it2η+it10 = ϕ(0,η)(t1, t2),

так как t1, t2 фиксированы, то (bnt1 + t2) ∈ [a, b], то есть, сходимостьна данном промежутке равномерная, тогда(ϕηn(bnt1 + t2)− ϕη(bnt1 + t2)) −−−→

n→∞0.

Таким образом, показали, что

ϕ(bnηn,ηn)(t1, t2) −−−−→n−→∞

ϕ(0,η)(t1, t2).

Заметим, что P(0, η) ∈ (0, y) : y ∈ R = 1.



Подставим в H1 случайный вектор (bnηn, ηn), получим:

H1(bnηn, ηn) =H(a + bnηn)− H(a)

bn,

H1(bnηn, ηn)d−−−→

n→∞H1(0, η) = H ′(a)η

как следует из теоремы 4.Докажем второе утверждение теоремы. Запишем формулу Тейлоравторого порядка:

H(a + x) = H(a) +1

2H ′′(a)x2 + o(x2).

Введем функцию:

H2(x) =

H(a+x)−H(a)

x2 , x 6= 0,12H′′(a), x = 0.



Введем функцию H2(x , y) = H2(x)y2, функция непрерывна намножестве (0, y) : y ∈ R. Подставим в H2 случайный вектор(bnηn, ηn):

H2(bnηn, ηn)d−−−−→

n−→∞H2(0, η) =

1

2H ′′(a)η2,

H2(bnηn, ηn) =H(a + bnηn)− H(a)

b2n

.

Утверждение 2 доказано.


Теорема 5 допускает обобщение на многомерный случай.



Теорема 6

Пусть задана функция H : Rm → R и последовательность случайныхвекторов ηn = (η

(1)n , . . . , η

(m)n )

d−−−−→n−→∞

η = (η(1), . . . , η(m)). Пустьчисловая последовательность bn −−−→

n→∞0 такая, что bn 6= 0 для любого

n. Тогда справедливы утверждения:

1 Если существует ∂H∂t

∣∣t=a

=(∂H∂t1, . . . , ∂H∂tm

)∣∣∣t=a

, a ∈ Rm, то


bn

d−−−→n→∞

H ′(a)ηT .

2 Если H ′(a) = 0, и существует H ′′(a) =(∂2H∂ti∂tj

)∣∣∣t=a

, то


b2n

d−−−−→n−→∞

1

2ηH ′′(a)ηT .

Можно продолжить обобщение теоремы 6 на случай H : Rm → Rl .


Статистики первого типа Предельное распределение статистик первого типа

Предельное распределение статистик первого типа

Пусть задана статистика первого типа:

S(X[n]) = G (F ∗n ) = h

(1

n

n∑i=1

g(Xi )

),

где G (F ) = h(∫∞−∞ g(x)dF (x)

),∫∞−∞ g(x)dFξ(x) = a ∈ Rm, т. е.

G (Fξ) = h(a).



Теорема 7

Пусть имеется выборка X[n] из генеральной совокупности ξ с функцией

распределения Fξ и S(X[n]) = h

(1n

n∑i=1

g(Xi )

)— статистика I типа,

борелевские функции h : R −→ R, g : R −→ R, тогда справедливыутверждения:

1 Если существует h′(a), то

√n(S(X[n])− h(a)

) d−−−−→n−→∞

h′(a)ζ,

где ζ — случайная величина, распределенная нормально спараметрами (0,Dg(ξ)), ζ ∼ N(0,Dg(ξ)).

2 Если h′(a) = 0 и существует h′′(a), то

n(S(X[n])− h(a)

) d−−−−→n−→∞

1

2h′′(a)ζ2.



ДоказательствоПрименима теорема 5. Преобразуем функцию G (F ∗):

G (F ∗) = h

(1

n

n∑i=1

g(Xi )

)= h

(a +

1

n

n∑i=1

(g(Xi )− a)

)=

= h

(a +

1√n√n

n∑i=1

(g(Xi )− a)

),

где a = Eg(X1).По центральной предельной теореме для одинаково распределенныхслагаемых, справедливо:

1√n

n∑i=1

(g(Xi )− a) = ξnd−−−−→

n−→∞ζ ∼ N(0, σ2),

где σ2 = Dg(ξ). Заметим, что 1√n

= bn.



Теорема 8

Пусть задана статистика I типа S(X[n]) = h

(1n

n∑i=1

g(Xi )

)и

борелевские функции h : Rm → R, g : R→ Rm, тогда справедливыутверждения:

1 Если существует h′(a) =(∂h∂t1, . . . , ∂h∂tm

)∣∣∣t=a

, где

a = Eg(ξ) = (Eg1(ξ), . . . ,Egm(ξ)), то

√n(S(X[n])− h(a)

) d−−−→n→∞

h′(a)ζT ,

где случайный вектор ζ = (ζ1, . . . , ζm) подчиняется многомерномунормальному распределению с параметрами (0,Dg(ξ)),ζ ∼ N(0,Dg(ξ)).

2 Если h′(a) = 0 и существует h′′(a), то

n(S(X[n])− h(a)

) d−−−−→n−→∞

1

2ζh′′(a)ζT .



Доказательство проводится аналогично доказательству теоремы 7.Применяется центральная предельная теорема для одинаковораспределенных случайных векторов.

ПримерРассмотрим генеральную совокупность ξ, для которой Eξ = α > 0,Dξ = σ2. Получена выборка X[n] = (X1, . . . ,Xn) из ξ. Найдемасимптотическое распределение статистики 1/X , гдеX = 1

n

∑ni=1 Xi = a∗1. Покажем, что 1/X — статистика первого типа.

Для доказательства достаточно взять h(t) = 1/t, g(x) = x и заметить,что

1/X = h

(1

n

n∑i=1

g(Xi )

).



Очевидно, что

a =

+∞∫−∞

g(x)dFξ(x) = Eg(ξ) = Eξ = α,

при этом, h(α) = 1/α, 1/X = h( 1n

∑ni=1 g(xi )) является статистикой

первого типа.Из теоремы 7 следует, что

√n

(1

X− 1

α

)d−−−→

n→∞ζ

(−1

α2

)= −ζ 1

α2,

где ζ ∼ N(0, σ2).


Точечные оценки Свойства точечных оценок

Точеченые оценки

Рассмотрим выборку X[n] = (X1, . . . ,Xn), генеральную совокупность ξи ее функцию распределения Fξ(x , θ), где θ = (θ1, . . . , θm) —неизвестные параметры в распределении случайной величины ξ. Поимеющейся выборке можно построить оценку для этих параметров.

Определение 1

Пусть θ ∈ Θ ⊂ R. Под оценкой понимается статистика θ(X[n]) такая,что получившееся значение можно рассматривать как точечнуюоценку параметра θ (θ(X[n]) ∼ θ).

Невозможно найти численное значение вероятностиP∣∣∣θ(X[n])− θ

∣∣∣ > ε

для произвольного ε, так как вероятностьсодержит неизвестный параметр θ. Тогда какую оценку считать«хорошей»?



Свойства точечных оценок

1. Несмещенность.


Пусть параметр θ ∈ Θ ⊂ R. Говорят, что оценка θ(X[n]) являетсянесмещенной оценкой параметра θ, если

E θ(X[n]) = θ (2)для любого θ ∈ Θ.


Говорят, что оценка θ(X[n]) является асимптотически несмещеннойоценкой параметра θ, если

E θ(X[n]) −−−→n→∞

θ (3)

для любого θ ∈ Θ.



Замечание 3Свойство несмещенности позволяет агрегировать информацию,накопленную в различных научных центрах. Рассмотрим следующийпример. Пусть θ1 — несмещенная оценка параметра θ, полученная внекотором научном центре, θ2 — несмещенная оценка того жепараметра, полученная в другом научном центре. Предполагая, чтотехническая оснащенность научных центров одинаковая, будемсчитать, что дисперсии оценок одинаковы:

D(θi ) = E (θi − θ)2 = σ2(θ),

E (θi ) = θ, i = 1, 2.

Рассмотрим новую оценку:

θ =θ1 + θ2

2, E θ =

E θ1 + E θ2

2= θ,



тогда имеют место равенства:

D θ = E (θ − θ)2 =1

4E(θ1 − θ) + (θ2 − θ)2 =

σ2(θ)

2.

Как видим, агрегированная оценка оказывается более точной,дисперсия уменьшилась в два раза.

Пример 1Выборочное среднее является несмещенной оценкой дляматематического ожидания:

EX = E

1

n

n∑k=1

Xk

=

1

n

n∑k=1

EXk = Eξ = a1.

Рассмотрим выборочную дисперсию, проверим, выполнено лисвойство несмещенности:



Es2 = E

1

n

n∑k=1

(Xk − a1 −

1

n

n∑i=1

(Xi − a1)

)2

=

= E

1

n

n∑k=1

(Xk − a1)2 −

(1

n

n∑k=1

(Xk − a1)

)2 =

=1

n

n∑k=1

E (Xk − a1)2 − 1

n2

n∑k=1

σ2 = σ2 − 1

nσ2 =

n − 1

nσ2,

при выводе формулы учитывалось следующее соотношение:

E(Xk − a1)(Xl − a1) = σ2δkl =

σ2, k = l ;0, k 6= l .

Таким образом, получаем равенство:

Es2 =n − 1

nσ2.



Cледовательно, s2 — смещенная оценка, однако она являетсяасимптотически несмещенной оценкой: Es2 −−−→

n→∞σ2.

Рассмотрим исправленную оценку дисперсии:

s2 =n

n − 1s2 =

1

n − 1

n∑k=1

(Xk − X )2,

что доказывает, что s2 — несмещенная оценка дисперсии.



2. Состоятельность.


Пусть параметр θ ∈ Θ ⊂ R. Говорят, что оценка θ(X[n]) состоятельна,если

θ(X[n])p−−−→

n→∞θ (4)



Оценка θ(X[n]) называется сильно состоятельной оценкой параметра θ,если

θ(X[n])п.н.−−−→

n→∞θ (5)





В случае, когда θ(X[n]) — векторная оценка, свойство состоятельностии сильной состоятельности рассматриваются покомпонентно.

Замечание 5В определении оценки предполагалось, что n фиксировано, но обычнопод оценкой понимают некоторое правило, по которому можнопостроить оценку для любого n.


Пусть существует Eξk , тогда a∗k — статистика первого рода, где a∗k —эмпирический момент порядка k . Тогда a∗k → ak = Eξk , то есть, a∗kявляется сильно состоятельной оценкой.



Пусть существует E (ξ − Eξ)k , тогда

a0∗k =

1

n

n∑i=1

(Xi − X )k

— сильно состоятельная оценка для теоретического момента, то есть:

a0∗k

п.н.−−−→n→∞

a0k = E (ξ − Eξ)k .

Пример 2Выборочное среднее и выборочная дисперсия представляют собойсильно состоятельные оценки соответствующих числовыххарактеристик случайной величины при условии, что они существуюти конечны.

a∗1 = xп.н−−−→

n→∞a1 = Eξ,

s2 =1

n

n∑k=1

(xk − X )2 = a0∗2

п.н−−−→n→∞

a02 = Dξ.



3. Эффективность.Пусть в распределении генеральной совокупности имеетсянеизвестный параметр θ ∈ Θ ⊂ R. Рассмотрим некоторый классоценок K = θ(X[n]) параметра θ.


Говорят, что оценка θ∗(X[n]) ∈ K является эффективной оценкойпараметра θ в классе K , если для любой другой оценки θ ∈ K имеетместо неравенство:

E (θ∗ − θ)2 6 E (θ − θ)2 (6)


Класс несмещенных оценок обозначим через

K0 =θ(X[n]) : E θ = θ,∀θ ∈ Θ

.



Рассмотрим случай, когда m > 1, то есть, θ = (θ1, . . . , θm). Длялюбого y ∈ Rm определим αy = (θ, y) = θ1y1 + . . .+ θmym. Тогдаα∗y = (θ∗, y) — оценка параметра αy .


Будем говорить, что оценка θ∗ ∈ K является эффективной оценкойпараметра θ = (θ1, . . . , θm) в классе K , если для любой другой оценкиθ ∈ K и любого y ∈ Rm при любом допустимом значении θ ∈ Θ имеетместо неравенство:

E (α∗y − αy )2 6 E (αy − αy )2, (7)

где αy = (θ, y).



Теорема 9

Пусть несмещенные оценки θ1 и θ2 параметра θ ∈ Θ ⊂ R являютсяэффективными, тогда оценки θ1 и θ2 почти наверное совпадают.

ДоказательствоРассмотрим θ = θ1+θ2

2 . Нетрудно показать несмещенность даннойоценки. Справедливо тождество:

(θ1 − θ)2

2+

(θ2 − θ)2

2=

((θ1 − θ)

2− (θ2 − θ)

2

)2

+

+

((θ1 − θ)

2+

(θ2 − θ)

2

)2

.

Из условия теоремы следует, что для любого θ ∈ Θ имеет месторавенство:

D θ1 = D θ2 = d2(θ).



Кроме того, для любого θ ∈ K0 должно выполняться неравенство:D θ ≥ d2(θ). Найдем для тождества математическое ожидание:

d2(θ) =1

4E (θ1 − θ2)2 + D θ.

Следовательно, E (θ1 − θ2)2 = 0 (так как если это неверно, тоD θ < d2(θ), чего быть не может), но тогда θ1

п.н= θ2.


Утверждение теоремы переносится на многомерный случай.



Рассмотрим случай, когда θ вектор. Пусть θ = (θ1, . . . , θk)T ∈ Θ ⊂ Rk ,θ ∈ K0, то есть E θ = θ для любого θ ∈ Θ. Возьмем любой векторy ∈ Rk , рассмотрим скалярное произведение:

(θ, y) =k∑

i=1

θi (X[n])yi ,

как оценку для скалярного произведения (θ, y). Оценка (θ, y) будетнесмещенной оценкой:

E (θ, y) = (θ, y)

для любого θ ∈ Θ и y ∈ Rk .Оценка (θ, y) эффективна, если D(θ, y) ≤ D(θ, y) для любого θ ∈ K0 илюбого θ ∈ Θ, и y ∈ Rk .Вычислим левую и правую части неравенства, получим:

D(θ, y) = yTD θy ,

где D θ — ковариацинонная матрица вектора θ,



D(θ, y) = yTD θy ,

где D θ — ковариацинонная матрица вектора θ. Следовательно,справедливо неравенство:

yT (D θ − D θ)y ≥ 0.

Тогда, так как y — любое, получаем, что матрица коэффициентовквадратичной формы является неотрицательно определеннойматрицей, т. е. D θ − D θ 0. В результате приходим к определению 8,которое эквивалентно определению 7 для класса несмещенных оценок.


Оценка θ эффективна в классе K0, или просто эффективна, еслиD θ − D θ 0 (неотрицательно определенная матрица), где θ ∈ K0 длялюбого θ ∈ Θ ⊂ Rk .



4. Асимптотическая нормальность.


Пусть оценивается параметр θ ∈ Θ ⊂ R. Оценка θ называетсяасимптотически нормальной оценкой параметра θ с коэффициентомрассеивания σ2(θ), если

√n(θ − θ)

d−−−→n→∞

ζ ∼ N(0, σ2(θ)). (8)

Из этого определения следует, что для любого x ∈ R имеет местосходимость:

P√

n(θ − θ) 6 x−−−−→n−→∞

1√2πσ(θ)

x∫−∞

e− y2

2σ2(θ) dy .




Пусть оценивается параметр θ ∈ Θ ⊂ Rm. Оценка θ = (θ1, . . . , θm)называется асимптотически нормальной с матрицей рассеивания Σ(θ),если имеет место сходимость по распределению:

√n(θ − θ)

d−−−→n→∞

η ∼ N(0,Σ(θ)).



5. Асимптотическая эффективность.


Оценка θ называется асимптотически эффективной в класс K оценокпараметра θ ∈ Θ ⊂ R, если

limn→∞

E (θ − θ)2

E (θ − θ)26 1

для любого параметра θ ∈ Θ ⊂ R и любой оценки θ ∈ K .

Статистическая оценка считается «хорошей», если она обладает хотябы некоторыми из свойств 1-5.


Точечные оценки Методы построения точечных оценок

Методы построения точечных оценок

Рассмотрим сначала метод моментов. Пусть требуется оценитьпараметр θ ∈ Θ ⊂ R по имеющейся выборке X[n] = (X1, . . . ,Xn).Рассмотрим борелевскую функцию g(x) : R→ R и определим

функцию m(θ) =∞∫−∞

g(x)dFξ(x ; θ).

Далее положим, что

∞∫−∞

g(x)dF ∗n (x) =1

n

n∑i=1

g(Xi ) = g . (9)

Получим уравнение

m(θ) = g =1

n

n∑i=1

g(Xi ). (10)



Предположим, что уравнение (10) имеет единственное решение θ(X[n]),тогда будем это решение называть оценкой θ неизвестного параметраθ, полученной по методу моментов:

θ(X[n]) = m−1

(1

n

n∑i=1

g(Xi )

).

Введем следующее обозначение: h(·) = m−1(·), оценка по методумоментов при некоторых условиях является статистикой первого типа.По теореме о предельном поведении статистики первого типаполучаем сходимость:

θ(X[n])п.н.−−−→

n→∞θ.



Свойства оценок, построенных по методу моментов:1 Если функция m−1(y) непрерывна на всей области определения,

то оценка по методу моментов сильно состоятельна.2 Если m′(θ) 6= 0 для всех θ ∈ Θ, тогда оценка по методу моментов

асимптотически нормальна с коэффициентом рассеяния Dg(ξ)(m′(θ))2 ,

где θ — истинное значение параметра.Метод моментов легко обобщить на многомерный случай, при этом,g(x) = (g1(x), . . . , gk(x)), где k — число неизвестных параметров, тоесть, θ = (θ1, . . . , θk)T ∈ Θ ⊂ Rk .



Пример 3

Пусть ξ ∼ N(a, σ2), тогда θ = (a, σ2)T ∈ Θ = R× R+. Выберемg(x) = (x , x2), тогда

Eg(ξ) =

(EξEξ2

)=

(a

σ2 + a2

),

так как σ2 = Dξ = Eξ2 − (Eξ)2 = Eξ2 − a2. Нетрудно показать, что

g =

1n

n∑k=1

Xk

1n

n∑k=1

X 2k

=

(X

s2 + X 2

),

так как s2 = 1n

n∑k=1

X 2k − (X )2.



Таким образом, получили систему:a = Xσ2 + a2 = s2 + X 2.

Следовательно, оценки по методу моментов имеют следующий вид:a = X ,σ2 = s2.



Пример 4Рассмотрим равномерно распределенную случайную величину ξ сплотностью распределения:

fξ(x) =

1θ , x ∈ [0, θ];0, x /∈ [0, θ].

Так как неизвестный параметр один, то g(x) = x . Вычислимматематическое ожидание:

Eg(ξ) = Eξ =

θ∫0

x1

θdx =

1

2θx2 =

θ

2.

Уравнение имеет вид:θ

2= X ,



откуда получаем оценку:

θ = 2X = 21

n

n∑k=1

Xi .

Может оказаться, что 1n

∑nk=1 Xi > θ/2, тогда θ > θ. Данный метод

может дать сильно завышенную оценку.



Рассмотрим теперь метод максимального правдоподобияпостроения точечных оценок. Пусть задана генеральная совокупностьξ с функцией распределения Fξ и плотностью распределения fξ (будемпредполагать, что плотность распределения существует). Заданавыборка X[n] = (X1, . . . ,Xn) . Совместная плотность распределениявыборки имеет вид:

fX[n](x1, . . . , xn) =

n∏i=1

fξ(xi ). (11)

В плотности распределения выборки существует неизвестныйпараметр θ, поэтому ниже будем рассматривать совместную плотностьраспределения в виде:

fX[n](x1, . . . , xn|θ) =

n∏i=1

fξ(xi , θ) или fX[n](X[n]|θ) =

n∏i=1

fξ(Xi , θ),

где θ = (θ1, . . . , θm) ∈ Θ.Буре В.М., Грауэр Л.В. (ШАД) Лекция 2. Статистики первого типа. Точеченые оценки и их свойстваСанкт-Петербург, 2013 55 / 74



Если генеральная совокупность имеет плотность распределения fξ, тофункцией правдоподобия выборки X[n] будем называть функцию

L(X[n], θ) =n∏

i=1

fξ(Xi , θ).


Если генеральная совокупность ξ — дискретная случайная величина свозможными значениями zi и соответствующими вероятностямиpξ(zi , θ), то функцией правдоподобия выборки X[n] будем называтьфункцию

L(X[n], θ) =n∏

i=1

pξ(Xi , θ).



Будем считать функцию правдоподобия функцией неизвестногопараметра θ. Для нахождения оценки параметра θ решаем задачу:

maxθ∈Θ

L(X[n], θ).


Оценкой максимального правдоподобия параметра θ называетсяоценка

θ(X[n]) = arg maxθ∈Θ

L(X[n], θ), (12)

если решение задачи максимизации существует и единственно.



Свойства оценок максимального правдоподобия:1 Предположим, что существует взаимно однозначное соответствиеβ : Θ↔ B , пусть

b(X[n]) = arg maxb∈B

L(X[n], β−1(b)). (13)

Если решение (12) существует и единственно, то существует иединственно решение (13), причем, имеет место равенство:

θ = β−1(b).

2 Если функция правдоподобия непрерывно дифференцируема, ивыполнены некоторые условия гладкости, то можно доказать, чтооценки метода максимального правдоподобия — сильносостоятельны, асимптотически эффективны и асимптотическинормальны [3], [?], [?].



Замечание 8Часто вместо функции L(X[n], θ) рассматривают функцию ln L(X[n], θ),поскольку функция ln(t) является строго возрастающей функциейсвоего аргумента t, и данный переход правомерен.



Пример 5

Рассмотрим случайную величину ξ ∼ N(a, σ2) с плотностьюраспределения

fξ(x) =1√2πσ

e−(x−a)2

2σ2 .

Функция правдоподобия имеет вид:

L(X[n], a, σ2) =

n∏i=1

fξ(Xi , a, σ2) =

1

(2π)n2σn

e

−n∑

i=1(Xi−a)2

2σ2 .

Тогда

ln L = ln1

((2π)12σ)n

−

n∑i=1

(Xi − a)2

2σ2,

продифференцируем по a: ∂ ln L/∂a = 0, или∑n

i=1 Xi − an = 0, откудаa = X .



Продифференцируем по σ:

∂ ln L

∂σ= −n

σ+

n∑i=1

(Xi − a)2

σ3= 0,

nσ2 =n∑

i=1

(xi − a)2,

откуда находим решение:

σ2 =1

n

n∑i=1

(Xi − a)2 =1

n

n∑i=1

(Xi − X )2 = s2.

Нетрудно проверить, что X и s2 доставляют максимум функцииправдоподобия.



Пример 6Пусть случайная величина ξ подчиняется равномерномураспределению с плотностью:

f (x , θ) =

1θ , x ∈ [0, θ];0, x 6∈ [0, θ].

Запишем функцию правдоподобия:

L(X[n], θ) =n∏

i=1

f (Xi , θ) =

1θn , если для ∀i : Xi ∈ [0, θ];0, если ∃i : Xi 6∈ [0, θ].

Построим вариационный ряд X(1) ≤ . . . ≤ X(n). Таким образом,получаем:

L(X[n], θ) =

1θn , X(n) ∈ [0, θ];0, ∃k : X(k) 6∈ [0, θ].

Очевидно, что оценка максимального правдоподобия θ(X[n]) = X(n).


Точечные оценки Неравенство Рао-Крамера

Неравенство Рао-Крамера

Пусть имеется выборка X[n] из генеральной совокупности ξ с функциейраспределения Fξ(x , θ) и плотностью распределения fξ(x , θ), гдеθ ∈ Θ ⊂ R — неизвестный параметр.

Замечание 9Все результаты этого параграфа можно перенести на дискретныйслучай.

Функция правдоподобия имеет вид:

L(X[n], θ) =n∏

i=1

fξ(Xi , θ),

совместная плотность выборки имеет вид:

fX[n](x , θ) = L(x , θ) =

n∏i=1

fξ(xi , θ).



Имеет место следующее равенство:∫Rn

L(x , θ)dx = 1. (14)

Пусть имеется оценка θ(X[n]) неизвестного параметра θ, и справедливоследующее равенство:

E θ =

∫Rn

θ(x1, . . . , xn)L(x , θ)dx = h(θ). (15)

Обозначим через In(θ) математическое ожидание:

In(θ) = E

(∂ ln L(X(n), θ)

∂θ

)2

=

∫Rn

(∂ ln L(x , θ)

∂θ

)2

L(x , θ)dx .




Величина In(θ), если математическое ожидание существует и конечно,называется информационным количеством Фишера (соответствующимвыборке объема n).

Будем предполагать, что выполнены условия регулярности:Для информационного количества Фишера выполненонеравенство 0 < In(θ) <∞ для любого θ ∈ Θ.Равенства (14) и (15) можно продифференцировать и получитьследующие уравнения: ∫

Rn

∂L(x , θ)

∂θdx = 0, (16)

∫Rn

θ(x1, . . . , xn)∂L(x , θ)

∂θdx = h′(θ). (17)

Множество N = x ∈ Rn : L(x , θ) = 0 не зависит от θ.Буре В.М., Грауэр Л.В. (ШАД) Лекция 2. Статистики первого типа. Точеченые оценки и их свойстваСанкт-Петербург, 2013 65 / 74


Теорема 10

(Неравенство Рао-Крамера) Пусть имеется генеральная совокупность ξc функцией распределения Fξ(y , θ), где θ ∈ Θ ⊂ R. Задана выборкаX[n] из генеральной совокупности ξ, и выполнены условиярегулярности, тогда имеет место неравенство:

D θ >(h′(θ))2

In(θ). (18)

ДоказательствоПерепишем 16 и 17 следующим образом:∫

Rn

∂ ln L(x , θ)

∂θL(x , θ)dx = E

∂ ln L(X[n], θ)

∂θ

= 0,

∫Rn

θ(x)∂ ln L(x , θ)

∂θL(x , θ)dx = E

θ(X[n])

∂ ln L(X[n], θ)

∂θ

= h′(θ).



Заметим, что множество N = x : L(x , θ) = 0 — множество мерынуль, так как

PX[n] ∈ N =

∫N

L(x , θ)dx = 0.

Умножим первое равенство на E θ и вычтем из второго:

E

(θ(X[n])− E θ)

∂ ln L(X[n], θ)

∂θ

= h′(θ).

Сделаем обозначения:

η1 = (θ(X[n])− E θ),

η2 =∂ ln L(X[n], θ)

∂θ.

Воспользуемся неравенством Коши-Шварца-Буняковского:

(h′(θ))2 = (Eη1η2)2 ≤ Eη21Eη

22 = D θIn(θ).

Теорема доказана.Буре В.М., Грауэр Л.В. (ШАД) Лекция 2. Статистики первого типа. Точеченые оценки и их свойстваСанкт-Петербург, 2013 67 / 74



Неравенство (18) выполнено как равенство тогда и только тогда, когдаη1

п.н.= A(θ)η2 (следует из неравенства Коши-Шварца-Буняковского), то

есть,

(θ(X[n])− θ)п.н.= A(θ)

∂ ln L

∂θ.


Если E θ = θ для любого θ ∈ Θ (то есть, оценка — несмещенная), тосправедливо неравенство:

D θ ≥ 1

In(θ).




По определению In(θ) = E(∂ ln L∂θ

)2. Заметим, что

E

∂ ln L(X[n],θ)

∂θ

= 0.

Следовательно, имеют место равенства:

In(θ) = E

(∂ ln L

∂θ

)2

= D

(∂ ln L(X[n], θ)

∂θ

)=

= D

(n∑

i=1

∂ ln fξ(Xi , θ)

∂θ

)=

n∑i=1

D∂ ln fξ(Xi , θ)

∂θ= nI1(θ),

где I1(θ) — информационное количество Фишера, соответствующееодному наблюдению. Как видим, наблюдается линейный ростинформации.



Из неравенства Рао-Крамера можно сделать вывод, что врегулярном случае дисперсия не может убывать быстрее чем 1/n.Для «хороших» оценок дисперсия должна убывать, разбросдолжен становиться меньше с ростом n.Для несмещенных оценок при выполнении условий регулярностиоценка эффективна, если неравенство Рао-Крамера выполненокак равенство.



Справедлива еще одна формула для вычисления In(θ) при выполнениидополнительных условий, которые необходимы для корректногопроведения всех последующих преобразований. Продифференцируемравенство ∫

Rn

∂ ln L(x , θ)

∂θL(x , θ)dx = 0

еще один раз, получаем следующее равенство:∫Rn

(∂ ln L(x , θ)

∂θ

)2

L(x , θ)dx +

∫Rn

∂2 ln L(x , θ)

∂θL(x , θ)dx = 0,

или, что тоже самое:

E

∂ ln L(X[n], θ)

∂θ

2

+ E

∂2 ln L(X[n], θ)

∂θ2

= 0.

Откуда сразу получаем равенство:

In(θ) = −E

∂2 ln L(X[n], θ)

∂θ2

.



Замечание 13Справедлив аналог неравенства Рао-Крамера для многомерногослучая. Пусть θ ∈ Θ ⊂ Rk , пусть E θ(X[n]) = θ, тогда

D θ ≥ (In(θ))−1,

где In - информационная матрица Фишера, а D θ - ковариациноннаяматрица

In(θ) = E

∂ ln L(X[n], θ)

∂θ

(∂ ln L

∂θ

)T,

D θ = E

(θ − θ)(θ − θ)T

То есть, матрица D θ − (In(θ))−1 0 — неотрицательно определенная.



Пример 7

Пусть ξ ∼ N(a, σ2), методы максимального правдоподобия и моментовдали оценку a = X , которая является сильно состоятельной,несмещенной, асимптотически нормальной оценкой. Выясним,обращается ли неравенство Рао-Крамера в равенство. Действительно,можно заметить, что

∂ ln L

∂a=

n∑i=1

(Xi − a)

σ2=

n

σ2(X − a),

где

L(X[n], a) =1

(2π)n2σn

e−

n∑i=1

(Xi−a)2

2σ2 .

Как следует из замечания 10, случайные величины пропорциональны,следовательно, X — эффективная оценка.



Биллингсли П.Сходимость вероятностных мер. — М.: Изд. Наука, 1977.

Боровков А.А.Теория вероятностей. — М.: Изд. Наука, 1986.

Боровков А.А.Математическая статистика. — М.: Изд. Наука, 1984.


2013 02 27_statistics_lecture02

Documents