参数的点估计：用样本统计量的值估计未知参数的值。

山东农业大学概率论与数理统计主讲人：程述汉苏本堂

估计量：设为总体 X 的未知参数，用样本 (X1, X2, …, Xn) 构成的一个统计量来估计的真值，称为的估计量。

),,,(ˆˆ21 nXXX

参数的点估计：用样本统计量的值估计未知参数的值。本节介绍： 1 ）矩估计法； 2 ）极大似然估计法。

§7.1 参数的点估计

问题：若总体 X 的分布函数 F(x) 的类型已知，但它的一个或多个参数未知 , 如何估计这些未知参数？想法：用 X 的样本观察值 (x1 ， x2 ，…， xn) 来估计总体中未知参数的值，即用样本统计量的值估计总体中未知参数的值。

第七章参数估计

估计值：对应于样本的一组观测值 ( x1, x2, …, xn) ，估计量的值 ( x1, x2, …, xn) 称为的估计值，仍记作。


mk= E(Xk)

ck= E[X-E(X)]k

总体矩总体矩的估计值样本矩

1

1 nk

k ii

A Xn

1

1( )

nk

k ii

B X Xn

ˆ km

ˆkc

=

=

显然 1m 22

1nB s

n

2c

通常取 22c s

1 ,A X

理论根据：格利文科定理： Fn(X) 以概率 1 收敛于 F(X) 。进而可以证明 , 只要总体的 k 阶矩存在 , 样本的 k 阶矩依概率 1 收敛于总体的 k 阶矩。

一、矩估计法矩估计法：用样本矩估计相应的总体矩，用样本矩函数估计总体矩的同一函数。


例 1 设总体 X 的均值和方差都存在， (x1 ， x2 ，…， x

6) 是来自 X 的样本，试求 X 的均值和方差的矩估计量，并依据样本观察值 1.20 0.82 0.12 0.45 -0.85 -0.30

计算 X 的均值和方差的矩估计值．解由于

1

2 2 2 22

( )

( ) ( ) [ ( )]

m E X

m E X D X E X

令

11

2 2 22

1

1

1

n

ii

n

ii

A X Xn

A Xn


从中解出和 2 作为其估计量，得到

ˆ X

2 2 2 22

1 1

1 1ˆ ( )

n n

i ii i

X X X X Bn n

即样本均值是总体均值的矩估计，样本的二阶中心矩是总体方差 2 的矩估计．但更多的是以 S2 估计 2 ，其原因将在估计量的评选标准中解释．

代入样本值（ -1.20, 0.82, 0.12, 0.45, -0.85, -0.30 ），得到其矩估计值

ˆ 0.16 2ˆ 0.50

(7.2)

(7.3)


例 2 设总体 X 服从 [1, 2] 上的均匀分布，密度函数为

1 21 2 2 1

1 2

1, [ , ]

( ; , ) -0, [ , ]

xf x

x

其中 2> 1 ，试求 1 , 2 的矩估计量．解由第四章 4.2.3 节的讨论，知

21 2 2 1

1 1( ) ( ), ( ) ( - )

2 12E X D X

由 (7.2) 、 (7.3) 式，令

1 2

22 1 2

1( ) ( )

21

( ) ( )12

E X X

D X B


解之即得 1, 2 的矩估计量为：

21 2 2ˆ ˆ3 , 3X B X B

例 3 设总体 X 服从泊松分布，即1

( ; ) { } e ,!

xf x P X xx

0 , 0,1,2,x

试求的矩估计量．

解由于 D(X)= ，得的矩估计量 ; 又由于 E(X)= ，故得的另一个矩估量．由此可见一个参数的矩估计量是不唯一的．

ˆ X 2

ˆ B


极大似然估计法是求估计值的另一种方法，最早由高斯 (R. A. Gauss) 提出，后来为费史 (Fisher) 在 1912 年重新提出，并证明该方法的一些性质．它是建立在极大似然原理基础上的一个统计方法．

引例甲、乙两个箱子外形完全相同，甲箱有 99 个白球 1 个黑球，乙箱有 1 个白球 99 个黑球，随机取出一箱，再从取出的一箱中抽取一球，结果取得白球，问这球是从哪个箱子中取出的？解甲箱中抽得白球的概率 P( 白 | 甲 ) ＝ 99/100 乙箱中抽得白球的概率 P( 白 | 乙 )=1/100

白球从甲箱中抽出的概率比从乙箱中抽出的概率大得多，根据极大似然原理，既然在一次抽样中抽得白球，当然可以认为是从抽取概率大的箱子中抽出的，所以，可作出统计推断：白球是从甲箱中抽出的 .

二、极大似然估计法二、极大似然估计法

极大似然原理：一个随机试验有若干种可能的结果 A, B, C, … 若在一次试验中，结果 A 出现，则一般认为试验条件对 A 出现有利，也即 A 出现的概率很大．


设总体 X 的概率密度函数为 f(x; ) ， ( 若 X 是离散型 , f(x; ) 是分布律），则样本（ x1, … ， xn ）的联合密度函数为：

1 21

( ; ) ( , , , ; ) ( ; )n

n ii

L x L x x x f x

2. 求极大似然估计步骤

这是参数的函数，称为样本的似然函数，记为 L() 。使似然函数取得最大值的称为的极大似然估计量。这种方法称为极大似然估计法。

(1) 写出似然函数 1 21

( ; ) ( , , , ; ) ( ; ) ;n

n ii

L x L x x x f x

特别地，若的取值范围为开集时，可转化为求 L(x, ) 的驻点 . 取对数 lnL ，求 lnL 关于未知参数的导数。由导数等于零解得的估计值ˆ .

(2) 求出使 L(x; ) 达到最大值的 ),,,(ˆ 21 nxxx

1. 极大似然估计法二、极大似然估计法二、极大似然估计法


例 4 设连续型随机变量 , 即 X 的密度函数为1~X E

1e , 0

( ; )

0, 0

x

xf x

x

其中 >0 为参数． (x1, x2, …, xn) 为的一组样本观察值，求的极大似然估计．

解由上述得似然函数为

1

1

11

1 1( , , ; ) e e

ni i

i

xn x

n ni

L x x

所以

n

iixnL

1

1lnln

21

d ln 1

d

n

ii

L nx


令 01

12

n

iix

n

解得 1

1ˆn

ii

x xn

即为的极大似然估计．例 5 某电子管的使用寿命 X （单位： h ）服从指数分布，概率密度见例 4 ，今抽取一组样本，其具体数据如下：

1067 919 1196 785 1126 936 918 1156 920 948试估计估计其平均寿命．解根据例 4 的结果，平均寿命即参数用样本均值来估计，于是

1.9971ˆ

1

n

iixn

为平均寿命的极大似然估计值．


^

lim {| | } 1nP

1 . 一致性

2 . 无偏性

，则称为的一致估计量。

定义 2 设为未知参数的估计量，若 E( ) = ，则称为的无偏估计量。

若依概率收敛于 θ ，即对于任意 ε>0, 有

一般情况，但希望 n→∞ 时。这就是说当样本容量 n无限增大时，估计值非常接近真值的概率趋近于 1.

P

一致估计是对极限性质而言的，只在样本容量较大时才起作用。

一个好的估计量的数值应该在参数的真值周围摆动，也就是估计的期望值与未知参数的真值相等。

定义 1 设

1 2( , )nX X X

三、评价估计量的优劣标准三、评价估计量的优劣标准

为未知参数的估计量，


即样本的二阶中心距，不是总体方差的无偏估计．

n

i

i

n

ii n

nXE

nX

nEXE

11

1)(

1)

1()(

故为 μ 的无偏估计量。X2 2

1

1( )

1

n

ii

S X Xn

又

22

1

1{ }

1

n

ii

X nXn

)}()({1

1)(

1

222

n

ii XnEXE

nSE

nn

nXD

nX

nDXD i

n

i

n

i

i

2

2

2

12

1

)(1

)1

()(

222222 )(1

1)(

nnnn

SE

2 2 2

1

1 1 1[ ( ) ] ( )

n

i

n nE Xi X E Sn n n

:注意

证明

而

故，即 S2 为 2 的无偏估计量。

2 2

1

1{ [ ( ) ( ( )) ] [ ( ) ( ( )) ]}

1

n

i ii

D X E X n D X E Xn

例 6 试证样本均值及样本方差 S2 分别是总体均值 μ及总体方差 σ2 的无偏估计。

X


则称较有效。1 2ˆ ˆ( ) ( )D D

设，是的两个无偏估计量，若1 2

若在的一切无偏估计中，的方差最小，则称为的最小方差无偏估计量。

3. 有效估计对总体的某一参数的无偏估计量往往不止一个，而且无偏仅仅表明所有可能取的值按概率平均等于，有可能它取的值大部分与相差很大。为保证的取值能集中于附近，自然要求的方差越小越好。

定义3

1

2


例 7 比较总体期望的两个无偏估计的有效性 ( 方差为 ) ．(1) ; (2)

2

1

1 n

ii

X Xn

1 1

/n n

i i ii i

X k X k

1

0n

ii

k

,E X E X

21,D X

n

2

212

1

n

ii

n

ii

kD X

k

n

ii

n

ii knk

1

22

1

2

2 21

2

1

1

n

iin

ii

kD X D X

nn k

解：

利用初等不等式得

故比有效．X X


解设 x1,…,xn 为样本的一组观测值，于是似然函数为：

ex

ex

xxLLn

xx

n

n

!!);,,()(

11

1

n

n

x

exx

n

ii

!!1

1

两边取对数得

n

i

n

iii xxnL

1 1

)!ln(lnln

对求导数，并使其等于 0 得

n

iixn

d

Ld

1

01ln

解这一方程得的极大似然估计为：1

1ˆn

ii

x xn

例如，样本观测值为： 10 ， 13 ， 65 ， 18 ， 79 ， 42 ， 65 ，77 ， 88 ， 123 ， n=10 。则

58ˆ x

例 1 X~P() ，求极大似然估计。选讲内容


,),( 1

11

n

ii

ii

xn

n

i

xnn

i

x eeexL

,lnln1

n

iixnL

Xx

n

d

Ldn

ii

1ˆ,0ln

1

解得由

例 2 X 服从参数为的指数分布，求的极大似然估计。解似然函数为

,ln

1

n

iix

n

d

Ld


例 3 设 X~N(μ,σ2 ） , 求 μ,σ2 的极大似然估计。

n

i

iix

n

n

i

x

ee 12

2

2

2

2

)(2

1

22

)(

)2(2

1

n

i

ixnL

12

22

2

)()2ln(

2ln

n

i

i

n

i

i

xnL

xL

1

2422

12

0)(2

11

2

ln

0)(1ln

2 22

1

1ˆ ˆ, ( )

n

ii

X x X Bn

得 μ,σ2 的极大似然估计为：

则

由

解似然函数 L （ x1,… ， xn;μ,σ2)


例 4 设总体Ｘ具有 [0,θ] 均匀分布，密度函数为：1

, 0( ; )

0,

xf x

其它

求未知参数的极大似然估计。

解设 x1,…, xn 是取自这一总体的一个样本，似然函数为：nixxxL inn ,,1,0,

1),,;( 1

显然 L 是的一个单值递减函数。要使

达到极大，就要使达到极小，但不能小于每一个 xi ( i=1, 2, 3

…, n), 所以的极大似然估计量为：1 2 ( )

ˆ max{ , , , }n nx x x x 对同一个参数用不同的方法得到的估计量可能不相同。

nixxxL inn ,,1,0,1

),,;( 1

参数的点估计： 用样本统计量的值估计未知参数的值。

Documents

参数的点估计：用样本统计量的值估计未知参数的值。