제8장 추정

제 8 장

추 정

제8장 추정

배경

bull 통계적 추론(statistical inference) 표본에 들어 있는 정보에 의거 모집

단에 해 미루어 짐작(infer) 하는 것

bull 추론의 접근 방식

1 모수적(parametric) 방법 모집단의 분포(함수)의 함수형태는 알고

있으나 이 함수에 포함된 모수(들)을 모르는 경우

rArr 추론은 주로 이를 미지의 모수에 관한 것

2 비모수적(nonparametic) 방법 모집단의 분포(함수)의 함수형태조차

모르거나 함수형태를 안다고 할 수 있을 정도의 충분한 정보

를 가지고 있지 않는 경우

rArr 추론은 주로 모집단의 분포함수에 관한 것 (제14장)

( )2 2 예 정규분포 에서 와 에관한추론N μ σ μ σ

제8장 추정

bull 올바른 추론 과정

1 문제의핵심을 파악하고분석의 목적을명확히한다

2 표본추출과자료의 측정 방법을적절히설계한다

3 수집된자료의 전반적특성이잘 나타나도록 정리sdot요약한다

4 올바른추론방법을선택하고 전제되는 가정의충족여부를확인한다

5 추론을실시하고그유효성(validity)을 확인한다

6 추론결과를바탕으로의사결정을한다

정규분포일때의 응용(10장)

bull 추론의두 유형

1 모수의추정 점추정 (sect81 ~sect83)

구간추정 (sect84)

2 가설의검정 (9장)

제8장 추정- 1 -

sect81 점추정

bull 점추정(point estimation) 미지의 모수를 하나의 수치로 지정하는 것

구간추정(interval estimation) 모수를 포함하고 있으리라 여겨지는(모수

가 포함될 가능성이 높은) 구간을 지정하는 것

을 이용하여 추정한다

( )

( )

1

1

n

n

X X

x x

확률표본

확률표본의값

예 제품의 불량률 추정

점추정 불량률은 1 이다

구간추정 불량률은 (1 05) 이다

bull 추정은 표본 자료를 이용하여 실시한다

rArr

plusmn

과

제8장 추정- 2 -

bull 추정량과 추정값

추정량 실험표본 추정값

lt정의 81gt 미지의 모수 를 추정할 때

추정량(estimator) 를 어떻게 추정할 것인지 그 계산방법을

알려주는 통계량

추정값(estimate) 실제로 표본을 뽑았을 때 추정량이 갖는 값

θ

θ

( )1 2 3 X X X μ예 확률표본 의결과로모평균 추정

1 2 3

3X X XX

μ+ +

=

모평균 는

로

추정하자

1

2

3

324129

xxx

===

1 2 3

343

x x xx

μ+ +

= =

모평균 의값은

이다

제8장 추정- 3 -

rArr 추정량은 추정값을 계산하는 rule 또는 공식

lt예제 81gt 건전지의 평균 수명 를 n=10 개의 자료로 추정

추정량 추정값

lt예제 82gt 생산공정의 불량률 p 의 추정

n 검사제품 수

X n 개중 불량품 수

rArr

μ

( )

( )

10 10

1 1

(5) (6) (5) (6)

1 1 263 292 10 28510 10

280 284 2 2822 2

i ii i

X X x x

X X x xX x

= =

= rArr = = + + =

+ += rArr = = + =

sum sum

100 3

3100 003

p X n

n x

p x n

=

= =

= = =

추정량

표본자료

추정값

제8장 추정

bull 하나의 모수를 추정하는 데도 여러가지 다른 추정량이 있을 수 있다

예 건설 공사비 자동차 수리비

rArr 견적내는 사람이 다르면 견적 값이 다르게 나온다

rArr 추정량이 다르면 다른 추정값이 나온다

bull 추정량들 중 어떤 것이 좋은 것인지를 판별할 필요가 있다

또한 좋은 추정량들을 구하는 체계적 방법이 필요하다

- 4 -

rArr 추정에 해 배울 것

① 좋은 추정량을 구하는 방법

- 적률추정법 최우추정법(sect81) 최소분산 불편추정법(sect83)베이즈 추정법(sect85)

② 좋은 추정량을 판별하는 기준

- 불편성 효율성 최소분산성(sect82) 일치성 충분성(sect83)

제8장 추정

sect811 적률추정법

- 5 -

lt정의 82gt

bull 적률추정법(method of moment estimation) 표본적률과 응되는

모집단의 적률을일치시켜 추정량을구하는 방법

( )1 nX X X확률변수 에 한확률 표본

1

1 ( th sample moment) 12n

kk i

i

k k m X kn =

primerArr = =sum hellip차 표본적률

( ) ( )

1 11

22 2 22 2 1

1

1

1 11 1

n

ii

n

i ii

m X X mn

nm X S X nX m mn n n

=

=

prime prime= rArr =

prime prime prime= rArr = minus = minusminus minus

sum

sum sum

rArr 좋은 추정량을 구하는 가장 간단한 방법

제8장 추정- 6 -

표본적률 모집단적률

( )

( )

( )

1 1

2 22 2

1

1

i

k kk i k

m X E X

m X E Xn

m X E Xn

μ

μ

μ

prime prime= =

prime prime= =

prime prime= =

sum

sum

( ) ( )

( )

( )

( ) ( )( )

1 1

1 1

1

2

21 1

22

1

n r

r r

k k r

X X

h k r

E X h

E X

θ θ

μ μ θ θ

μ θ θ

μ σ

μ μ μ σ

μ

prime primerArr

prime = =

prime = = =

prime =

i 모수 을갖는분포로부터의확률표본

모집단의적률 들은모수 의함수

예 평균 분산 를모수로갖는모집단

( )2 2 22 hσ μ μ σ= + =

제8장 추정- 7 -

lt정의 83gt r 개의 방정식

lt예제 83gt

( )1

1

1

(moment

estimator)

k k r

r

m h k rθ θ

θ θ

prime = =

을연립으로풀어서얻는추정량 을적률추정량

이라한다

lt예제 84gt ( )

( )1

1

1

~ 0

2

nX X iid U

E X

m X

θ

μ θprime = =

prime =2XθrArr =

lt예제 85gt 21 ~ ( )nX X iid N μ σ

XθrArr =

( )

( )1

1

1

~ nX X iid Exp

E X

m X

θ

μ θprime = =

prime =

제8장 추정- 8 -

다른 방법으로 추정량을 구하기 어려운 경우에도 쉽게 적률추정량을

구할수 있는 경우가 많다

lt예제 86gt 1 ~ ( )nX X iid G α β

( )

( )

( ) ( )

1 1

2 2 2 22 2

2 222 2 2 2 2

1

1 1 1 1

i

i i i

E X m X

E X m Xn

X

nX X X X X Sn n n n

μ μ

μ σ μ

μ

σ μ σ

prime prime= = =

prime prime= = + =

rArr =

minus+ = rArr = minus = minus =

sum

sum sum sum

sdot

( )

1 1

22 22 2

1i

m X

m Xn

μ αβ

μ αβ αβ

prime prime= =

prime prime= + = sum

제8장 추정- 9 -

를 연립으로 풀면

sect812 최우추정

( ) ( ) 22 21i

X

X X Xn

αβ

αβ β αβ β

rArr =

+ = + = sum2 2

2 2

2 2

( ) 1

( ) 1

i

i

X X n SnX n X

X nX n XX X n S

β

αβ

minus minus ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎛ ⎞⎛ ⎞= = = ⎜ ⎟⎜ ⎟minus minus⎝ ⎠⎝ ⎠

sum

sum

lt예제gt ( ) ( ) 4

3 3

3 1 4

W B

W

W B W

sdot

sdot

rArr

바둑통속에 흰돌 과 검은돌 합해서 개

개꺼냈더니

통속에 일까 또는 일까

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정

배경

bull 통계적 추론(statistical inference) 표본에 들어 있는 정보에 의거 모집

단에 해 미루어 짐작(infer) 하는 것

bull 추론의 접근 방식

1 모수적(parametric) 방법 모집단의 분포(함수)의 함수형태는 알고

있으나 이 함수에 포함된 모수(들)을 모르는 경우

rArr 추론은 주로 이를 미지의 모수에 관한 것

2 비모수적(nonparametic) 방법 모집단의 분포(함수)의 함수형태조차

모르거나 함수형태를 안다고 할 수 있을 정도의 충분한 정보

를 가지고 있지 않는 경우

rArr 추론은 주로 모집단의 분포함수에 관한 것 (제14장)

( )2 2 예 정규분포 에서 와 에관한추론N μ σ μ σ

제8장 추정

bull 올바른 추론 과정

1 문제의핵심을 파악하고분석의 목적을명확히한다

2 표본추출과자료의 측정 방법을적절히설계한다

3 수집된자료의 전반적특성이잘 나타나도록 정리sdot요약한다

4 올바른추론방법을선택하고 전제되는 가정의충족여부를확인한다

5 추론을실시하고그유효성(validity)을 확인한다

6 추론결과를바탕으로의사결정을한다

정규분포일때의 응용(10장)

bull 추론의두 유형

1 모수의추정 점추정 (sect81 ~sect83)

구간추정 (sect84)

2 가설의검정 (9장)

제8장 추정- 1 -

sect81 점추정

bull 점추정(point estimation) 미지의 모수를 하나의 수치로 지정하는 것

구간추정(interval estimation) 모수를 포함하고 있으리라 여겨지는(모수

가 포함될 가능성이 높은) 구간을 지정하는 것

을 이용하여 추정한다

( )

( )

1

1

n

n

X X

x x

확률표본

확률표본의값

예 제품의 불량률 추정

점추정 불량률은 1 이다

구간추정 불량률은 (1 05) 이다

bull 추정은 표본 자료를 이용하여 실시한다

rArr

plusmn

과

제8장 추정- 2 -

bull 추정량과 추정값

추정량 실험표본 추정값

lt정의 81gt 미지의 모수 를 추정할 때

추정량(estimator) 를 어떻게 추정할 것인지 그 계산방법을

알려주는 통계량

추정값(estimate) 실제로 표본을 뽑았을 때 추정량이 갖는 값

θ

θ

( )1 2 3 X X X μ예 확률표본 의결과로모평균 추정

1 2 3

3X X XX

μ+ +

=

모평균 는

로

추정하자

1

2

3

324129

xxx

===

1 2 3

343

x x xx

μ+ +

= =

모평균 의값은

이다

제8장 추정- 3 -

rArr 추정량은 추정값을 계산하는 rule 또는 공식

lt예제 81gt 건전지의 평균 수명 를 n=10 개의 자료로 추정

추정량 추정값

lt예제 82gt 생산공정의 불량률 p 의 추정

n 검사제품 수

X n 개중 불량품 수

rArr

μ

( )

( )

10 10

1 1

(5) (6) (5) (6)

1 1 263 292 10 28510 10

280 284 2 2822 2

i ii i

X X x x

X X x xX x

= =

= rArr = = + + =

+ += rArr = = + =

sum sum

100 3

3100 003

p X n

n x

p x n

=

= =

= = =

추정량

표본자료

추정값

제8장 추정

bull 하나의 모수를 추정하는 데도 여러가지 다른 추정량이 있을 수 있다

예 건설 공사비 자동차 수리비

rArr 견적내는 사람이 다르면 견적 값이 다르게 나온다

rArr 추정량이 다르면 다른 추정값이 나온다

bull 추정량들 중 어떤 것이 좋은 것인지를 판별할 필요가 있다

또한 좋은 추정량들을 구하는 체계적 방법이 필요하다

- 4 -

rArr 추정에 해 배울 것

① 좋은 추정량을 구하는 방법

- 적률추정법 최우추정법(sect81) 최소분산 불편추정법(sect83)베이즈 추정법(sect85)

② 좋은 추정량을 판별하는 기준

- 불편성 효율성 최소분산성(sect82) 일치성 충분성(sect83)

제8장 추정

sect811 적률추정법

- 5 -

lt정의 82gt

bull 적률추정법(method of moment estimation) 표본적률과 응되는

모집단의 적률을일치시켜 추정량을구하는 방법

( )1 nX X X확률변수 에 한확률 표본

1

1 ( th sample moment) 12n

kk i

i

k k m X kn =

primerArr = =sum hellip차 표본적률

( ) ( )

1 11

22 2 22 2 1

1

1

1 11 1

n

ii

n

i ii

m X X mn

nm X S X nX m mn n n

=

=

prime prime= rArr =

prime prime prime= rArr = minus = minusminus minus

sum

sum sum

rArr 좋은 추정량을 구하는 가장 간단한 방법

제8장 추정- 6 -

표본적률 모집단적률

( )

( )

( )

1 1

2 22 2

1

1

i

k kk i k

m X E X

m X E Xn

m X E Xn

μ

μ

μ

prime prime= =

prime prime= =

prime prime= =

sum

sum

( ) ( )

( )

( )

( ) ( )( )

1 1

1 1

1

2

21 1

22

1

n r

r r

k k r

X X

h k r

E X h

E X

θ θ

μ μ θ θ

μ θ θ

μ σ

μ μ μ σ

μ

prime primerArr

prime = =

prime = = =

prime =

i 모수 을갖는분포로부터의확률표본

모집단의적률 들은모수 의함수

예 평균 분산 를모수로갖는모집단

( )2 2 22 hσ μ μ σ= + =

제8장 추정- 7 -

lt정의 83gt r 개의 방정식

lt예제 83gt

( )1

1

1

(moment

estimator)

k k r

r

m h k rθ θ

θ θ

prime = =

을연립으로풀어서얻는추정량 을적률추정량

이라한다

lt예제 84gt ( )

( )1

1

1

~ 0

2

nX X iid U

E X

m X

θ

μ θprime = =

prime =2XθrArr =

lt예제 85gt 21 ~ ( )nX X iid N μ σ

XθrArr =

( )

( )1

1

1

~ nX X iid Exp

E X

m X

θ

μ θprime = =

prime =

제8장 추정- 8 -

다른 방법으로 추정량을 구하기 어려운 경우에도 쉽게 적률추정량을

구할수 있는 경우가 많다

lt예제 86gt 1 ~ ( )nX X iid G α β

( )

( )

( ) ( )

1 1

2 2 2 22 2

2 222 2 2 2 2

1

1 1 1 1

i

i i i

E X m X

E X m Xn

X

nX X X X X Sn n n n

μ μ

μ σ μ

μ

σ μ σ

prime prime= = =

prime prime= = + =

rArr =

minus+ = rArr = minus = minus =

sum

sum sum sum

sdot

( )

1 1

22 22 2

1i

m X

m Xn

μ αβ

μ αβ αβ

prime prime= =

prime prime= + = sum

제8장 추정- 9 -

를 연립으로 풀면

sect812 최우추정

( ) ( ) 22 21i

X

X X Xn

αβ

αβ β αβ β

rArr =

+ = + = sum2 2

2 2

2 2

( ) 1

( ) 1

i

i

X X n SnX n X

X nX n XX X n S

β

αβ

minus minus ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎛ ⎞⎛ ⎞= = = ⎜ ⎟⎜ ⎟minus minus⎝ ⎠⎝ ⎠

sum

sum

lt예제gt ( ) ( ) 4

3 3

3 1 4

W B

W

W B W

sdot

sdot

rArr

바둑통속에 흰돌 과 검은돌 합해서 개

개꺼냈더니

통속에 일까 또는 일까

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정

bull 올바른 추론 과정

1 문제의핵심을 파악하고분석의 목적을명확히한다

2 표본추출과자료의 측정 방법을적절히설계한다

3 수집된자료의 전반적특성이잘 나타나도록 정리sdot요약한다

4 올바른추론방법을선택하고 전제되는 가정의충족여부를확인한다

5 추론을실시하고그유효성(validity)을 확인한다

6 추론결과를바탕으로의사결정을한다

정규분포일때의 응용(10장)

bull 추론의두 유형

1 모수의추정 점추정 (sect81 ~sect83)

구간추정 (sect84)

2 가설의검정 (9장)

제8장 추정- 1 -

sect81 점추정

bull 점추정(point estimation) 미지의 모수를 하나의 수치로 지정하는 것

구간추정(interval estimation) 모수를 포함하고 있으리라 여겨지는(모수

가 포함될 가능성이 높은) 구간을 지정하는 것

을 이용하여 추정한다

( )

( )

1

1

n

n

X X

x x

확률표본

확률표본의값

예 제품의 불량률 추정

점추정 불량률은 1 이다

구간추정 불량률은 (1 05) 이다

bull 추정은 표본 자료를 이용하여 실시한다

rArr

plusmn

과

제8장 추정- 2 -

bull 추정량과 추정값

추정량 실험표본 추정값

lt정의 81gt 미지의 모수 를 추정할 때

추정량(estimator) 를 어떻게 추정할 것인지 그 계산방법을

알려주는 통계량

추정값(estimate) 실제로 표본을 뽑았을 때 추정량이 갖는 값

θ

θ

( )1 2 3 X X X μ예 확률표본 의결과로모평균 추정

1 2 3

3X X XX

μ+ +

=

모평균 는

로

추정하자

1

2

3

324129

xxx

===

1 2 3

343

x x xx

μ+ +

= =

모평균 의값은

이다

제8장 추정- 3 -

rArr 추정량은 추정값을 계산하는 rule 또는 공식

lt예제 81gt 건전지의 평균 수명 를 n=10 개의 자료로 추정

추정량 추정값

lt예제 82gt 생산공정의 불량률 p 의 추정

n 검사제품 수

X n 개중 불량품 수

rArr

μ

( )

( )

10 10

1 1

(5) (6) (5) (6)

1 1 263 292 10 28510 10

280 284 2 2822 2

i ii i

X X x x

X X x xX x

= =

= rArr = = + + =

+ += rArr = = + =

sum sum

100 3

3100 003

p X n

n x

p x n

=

= =

= = =

추정량

표본자료

추정값

제8장 추정

bull 하나의 모수를 추정하는 데도 여러가지 다른 추정량이 있을 수 있다

예 건설 공사비 자동차 수리비

rArr 견적내는 사람이 다르면 견적 값이 다르게 나온다

rArr 추정량이 다르면 다른 추정값이 나온다

bull 추정량들 중 어떤 것이 좋은 것인지를 판별할 필요가 있다

또한 좋은 추정량들을 구하는 체계적 방법이 필요하다

- 4 -

rArr 추정에 해 배울 것

① 좋은 추정량을 구하는 방법

- 적률추정법 최우추정법(sect81) 최소분산 불편추정법(sect83)베이즈 추정법(sect85)

② 좋은 추정량을 판별하는 기준

- 불편성 효율성 최소분산성(sect82) 일치성 충분성(sect83)

제8장 추정

sect811 적률추정법

- 5 -

lt정의 82gt

bull 적률추정법(method of moment estimation) 표본적률과 응되는

모집단의 적률을일치시켜 추정량을구하는 방법

( )1 nX X X확률변수 에 한확률 표본

1

1 ( th sample moment) 12n

kk i

i

k k m X kn =

primerArr = =sum hellip차 표본적률

( ) ( )

1 11

22 2 22 2 1

1

1

1 11 1

n

ii

n

i ii

m X X mn

nm X S X nX m mn n n

=

=

prime prime= rArr =

prime prime prime= rArr = minus = minusminus minus

sum

sum sum

rArr 좋은 추정량을 구하는 가장 간단한 방법

제8장 추정- 6 -

표본적률 모집단적률

( )

( )

( )

1 1

2 22 2

1

1

i

k kk i k

m X E X

m X E Xn

m X E Xn

μ

μ

μ

prime prime= =

prime prime= =

prime prime= =

sum

sum

( ) ( )

( )

( )

( ) ( )( )

1 1

1 1

1

2

21 1

22

1

n r

r r

k k r

X X

h k r

E X h

E X

θ θ

μ μ θ θ

μ θ θ

μ σ

μ μ μ σ

μ

prime primerArr

prime = =

prime = = =

prime =

i 모수 을갖는분포로부터의확률표본

모집단의적률 들은모수 의함수

예 평균 분산 를모수로갖는모집단

( )2 2 22 hσ μ μ σ= + =

제8장 추정- 7 -

lt정의 83gt r 개의 방정식

lt예제 83gt

( )1

1

1

(moment

estimator)

k k r

r

m h k rθ θ

θ θ

prime = =

을연립으로풀어서얻는추정량 을적률추정량

이라한다

lt예제 84gt ( )

( )1

1

1

~ 0

2

nX X iid U

E X

m X

θ

μ θprime = =

prime =2XθrArr =

lt예제 85gt 21 ~ ( )nX X iid N μ σ

XθrArr =

( )

( )1

1

1

~ nX X iid Exp

E X

m X

θ

μ θprime = =

prime =

제8장 추정- 8 -

다른 방법으로 추정량을 구하기 어려운 경우에도 쉽게 적률추정량을

구할수 있는 경우가 많다

lt예제 86gt 1 ~ ( )nX X iid G α β

( )

( )

( ) ( )

1 1

2 2 2 22 2

2 222 2 2 2 2

1

1 1 1 1

i

i i i

E X m X

E X m Xn

X

nX X X X X Sn n n n

μ μ

μ σ μ

μ

σ μ σ

prime prime= = =

prime prime= = + =

rArr =

minus+ = rArr = minus = minus =

sum

sum sum sum

sdot

( )

1 1

22 22 2

1i

m X

m Xn

μ αβ

μ αβ αβ

prime prime= =

prime prime= + = sum

제8장 추정- 9 -

를 연립으로 풀면

sect812 최우추정

( ) ( ) 22 21i

X

X X Xn

αβ

αβ β αβ β

rArr =

+ = + = sum2 2

2 2

2 2

( ) 1

( ) 1

i

i

X X n SnX n X

X nX n XX X n S

β

αβ

minus minus ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎛ ⎞⎛ ⎞= = = ⎜ ⎟⎜ ⎟minus minus⎝ ⎠⎝ ⎠

sum

sum

lt예제gt ( ) ( ) 4

3 3

3 1 4

W B

W

W B W

sdot

sdot

rArr

바둑통속에 흰돌 과 검은돌 합해서 개

개꺼냈더니

통속에 일까 또는 일까

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 1 -

sect81 점추정

bull 점추정(point estimation) 미지의 모수를 하나의 수치로 지정하는 것

구간추정(interval estimation) 모수를 포함하고 있으리라 여겨지는(모수

가 포함될 가능성이 높은) 구간을 지정하는 것

을 이용하여 추정한다

( )

( )

1

1

n

n

X X

x x

확률표본

확률표본의값

예 제품의 불량률 추정

점추정 불량률은 1 이다

구간추정 불량률은 (1 05) 이다

bull 추정은 표본 자료를 이용하여 실시한다

rArr

plusmn

과

제8장 추정- 2 -

bull 추정량과 추정값

추정량 실험표본 추정값

lt정의 81gt 미지의 모수 를 추정할 때

추정량(estimator) 를 어떻게 추정할 것인지 그 계산방법을

알려주는 통계량

추정값(estimate) 실제로 표본을 뽑았을 때 추정량이 갖는 값

θ

θ

( )1 2 3 X X X μ예 확률표본 의결과로모평균 추정

1 2 3

3X X XX

μ+ +

=

모평균 는

로

추정하자

1

2

3

324129

xxx

===

1 2 3

343

x x xx

μ+ +

= =

모평균 의값은

이다

제8장 추정- 3 -

rArr 추정량은 추정값을 계산하는 rule 또는 공식

lt예제 81gt 건전지의 평균 수명 를 n=10 개의 자료로 추정

추정량 추정값

lt예제 82gt 생산공정의 불량률 p 의 추정

n 검사제품 수

X n 개중 불량품 수

rArr

μ

( )

( )

10 10

1 1

(5) (6) (5) (6)

1 1 263 292 10 28510 10

280 284 2 2822 2

i ii i

X X x x

X X x xX x

= =

= rArr = = + + =

+ += rArr = = + =

sum sum

100 3

3100 003

p X n

n x

p x n

=

= =

= = =

추정량

표본자료

추정값

제8장 추정

bull 하나의 모수를 추정하는 데도 여러가지 다른 추정량이 있을 수 있다

예 건설 공사비 자동차 수리비

rArr 견적내는 사람이 다르면 견적 값이 다르게 나온다

rArr 추정량이 다르면 다른 추정값이 나온다

bull 추정량들 중 어떤 것이 좋은 것인지를 판별할 필요가 있다

또한 좋은 추정량들을 구하는 체계적 방법이 필요하다

- 4 -

rArr 추정에 해 배울 것

① 좋은 추정량을 구하는 방법

- 적률추정법 최우추정법(sect81) 최소분산 불편추정법(sect83)베이즈 추정법(sect85)

② 좋은 추정량을 판별하는 기준

- 불편성 효율성 최소분산성(sect82) 일치성 충분성(sect83)

제8장 추정

sect811 적률추정법

- 5 -

lt정의 82gt

bull 적률추정법(method of moment estimation) 표본적률과 응되는

모집단의 적률을일치시켜 추정량을구하는 방법

( )1 nX X X확률변수 에 한확률 표본

1

1 ( th sample moment) 12n

kk i

i

k k m X kn =

primerArr = =sum hellip차 표본적률

( ) ( )

1 11

22 2 22 2 1

1

1

1 11 1

n

ii

n

i ii

m X X mn

nm X S X nX m mn n n

=

=

prime prime= rArr =

prime prime prime= rArr = minus = minusminus minus

sum

sum sum

rArr 좋은 추정량을 구하는 가장 간단한 방법

제8장 추정- 6 -

표본적률 모집단적률

( )

( )

( )

1 1

2 22 2

1

1

i

k kk i k

m X E X

m X E Xn

m X E Xn

μ

μ

μ

prime prime= =

prime prime= =

prime prime= =

sum

sum

( ) ( )

( )

( )

( ) ( )( )

1 1

1 1

1

2

21 1

22

1

n r

r r

k k r

X X

h k r

E X h

E X

θ θ

μ μ θ θ

μ θ θ

μ σ

μ μ μ σ

μ

prime primerArr

prime = =

prime = = =

prime =

i 모수 을갖는분포로부터의확률표본

모집단의적률 들은모수 의함수

예 평균 분산 를모수로갖는모집단

( )2 2 22 hσ μ μ σ= + =

제8장 추정- 7 -

lt정의 83gt r 개의 방정식

lt예제 83gt

( )1

1

1

(moment

estimator)

k k r

r

m h k rθ θ

θ θ

prime = =

을연립으로풀어서얻는추정량 을적률추정량

이라한다

lt예제 84gt ( )

( )1

1

1

~ 0

2

nX X iid U

E X

m X

θ

μ θprime = =

prime =2XθrArr =

lt예제 85gt 21 ~ ( )nX X iid N μ σ

XθrArr =

( )

( )1

1

1

~ nX X iid Exp

E X

m X

θ

μ θprime = =

prime =

제8장 추정- 8 -

다른 방법으로 추정량을 구하기 어려운 경우에도 쉽게 적률추정량을

구할수 있는 경우가 많다

lt예제 86gt 1 ~ ( )nX X iid G α β

( )

( )

( ) ( )

1 1

2 2 2 22 2

2 222 2 2 2 2

1

1 1 1 1

i

i i i

E X m X

E X m Xn

X

nX X X X X Sn n n n

μ μ

μ σ μ

μ

σ μ σ

prime prime= = =

prime prime= = + =

rArr =

minus+ = rArr = minus = minus =

sum

sum sum sum

sdot

( )

1 1

22 22 2

1i

m X

m Xn

μ αβ

μ αβ αβ

prime prime= =

prime prime= + = sum

제8장 추정- 9 -

를 연립으로 풀면

sect812 최우추정

( ) ( ) 22 21i

X

X X Xn

αβ

αβ β αβ β

rArr =

+ = + = sum2 2

2 2

2 2

( ) 1

( ) 1

i

i

X X n SnX n X

X nX n XX X n S

β

αβ

minus minus ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎛ ⎞⎛ ⎞= = = ⎜ ⎟⎜ ⎟minus minus⎝ ⎠⎝ ⎠

sum

sum

lt예제gt ( ) ( ) 4

3 3

3 1 4

W B

W

W B W

sdot

sdot

rArr

바둑통속에 흰돌 과 검은돌 합해서 개

개꺼냈더니

통속에 일까 또는 일까

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 2 -

bull 추정량과 추정값

추정량 실험표본 추정값

lt정의 81gt 미지의 모수 를 추정할 때

추정량(estimator) 를 어떻게 추정할 것인지 그 계산방법을

알려주는 통계량

추정값(estimate) 실제로 표본을 뽑았을 때 추정량이 갖는 값

θ

θ

( )1 2 3 X X X μ예 확률표본 의결과로모평균 추정

1 2 3

3X X XX

μ+ +

=

모평균 는

로

추정하자

1

2

3

324129

xxx

===

1 2 3

343

x x xx

μ+ +

= =

모평균 의값은

이다

제8장 추정- 3 -

rArr 추정량은 추정값을 계산하는 rule 또는 공식

lt예제 81gt 건전지의 평균 수명 를 n=10 개의 자료로 추정

추정량 추정값

lt예제 82gt 생산공정의 불량률 p 의 추정

n 검사제품 수

X n 개중 불량품 수

rArr

μ

( )

( )

10 10

1 1

(5) (6) (5) (6)

1 1 263 292 10 28510 10

280 284 2 2822 2

i ii i

X X x x

X X x xX x

= =

= rArr = = + + =

+ += rArr = = + =

sum sum

100 3

3100 003

p X n

n x

p x n

=

= =

= = =

추정량

표본자료

추정값

제8장 추정

bull 하나의 모수를 추정하는 데도 여러가지 다른 추정량이 있을 수 있다

예 건설 공사비 자동차 수리비

rArr 견적내는 사람이 다르면 견적 값이 다르게 나온다

rArr 추정량이 다르면 다른 추정값이 나온다

bull 추정량들 중 어떤 것이 좋은 것인지를 판별할 필요가 있다

또한 좋은 추정량들을 구하는 체계적 방법이 필요하다

- 4 -

rArr 추정에 해 배울 것

① 좋은 추정량을 구하는 방법

- 적률추정법 최우추정법(sect81) 최소분산 불편추정법(sect83)베이즈 추정법(sect85)

② 좋은 추정량을 판별하는 기준

- 불편성 효율성 최소분산성(sect82) 일치성 충분성(sect83)

제8장 추정

sect811 적률추정법

- 5 -

lt정의 82gt

bull 적률추정법(method of moment estimation) 표본적률과 응되는

모집단의 적률을일치시켜 추정량을구하는 방법

( )1 nX X X확률변수 에 한확률 표본

1

1 ( th sample moment) 12n

kk i

i

k k m X kn =

primerArr = =sum hellip차 표본적률

( ) ( )

1 11

22 2 22 2 1

1

1

1 11 1

n

ii

n

i ii

m X X mn

nm X S X nX m mn n n

=

=

prime prime= rArr =

prime prime prime= rArr = minus = minusminus minus

sum

sum sum

rArr 좋은 추정량을 구하는 가장 간단한 방법

제8장 추정- 6 -

표본적률 모집단적률

( )

( )

( )

1 1

2 22 2

1

1

i

k kk i k

m X E X

m X E Xn

m X E Xn

μ

μ

μ

prime prime= =

prime prime= =

prime prime= =

sum

sum

( ) ( )

( )

( )

( ) ( )( )

1 1

1 1

1

2

21 1

22

1

n r

r r

k k r

X X

h k r

E X h

E X

θ θ

μ μ θ θ

μ θ θ

μ σ

μ μ μ σ

μ

prime primerArr

prime = =

prime = = =

prime =

i 모수 을갖는분포로부터의확률표본

모집단의적률 들은모수 의함수

예 평균 분산 를모수로갖는모집단

( )2 2 22 hσ μ μ σ= + =

제8장 추정- 7 -

lt정의 83gt r 개의 방정식

lt예제 83gt

( )1

1

1

(moment

estimator)

k k r

r

m h k rθ θ

θ θ

prime = =

을연립으로풀어서얻는추정량 을적률추정량

이라한다

lt예제 84gt ( )

( )1

1

1

~ 0

2

nX X iid U

E X

m X

θ

μ θprime = =

prime =2XθrArr =

lt예제 85gt 21 ~ ( )nX X iid N μ σ

XθrArr =

( )

( )1

1

1

~ nX X iid Exp

E X

m X

θ

μ θprime = =

prime =

제8장 추정- 8 -

다른 방법으로 추정량을 구하기 어려운 경우에도 쉽게 적률추정량을

구할수 있는 경우가 많다

lt예제 86gt 1 ~ ( )nX X iid G α β

( )

( )

( ) ( )

1 1

2 2 2 22 2

2 222 2 2 2 2

1

1 1 1 1

i

i i i

E X m X

E X m Xn

X

nX X X X X Sn n n n

μ μ

μ σ μ

μ

σ μ σ

prime prime= = =

prime prime= = + =

rArr =

minus+ = rArr = minus = minus =

sum

sum sum sum

sdot

( )

1 1

22 22 2

1i

m X

m Xn

μ αβ

μ αβ αβ

prime prime= =

prime prime= + = sum

제8장 추정- 9 -

를 연립으로 풀면

sect812 최우추정

( ) ( ) 22 21i

X

X X Xn

αβ

αβ β αβ β

rArr =

+ = + = sum2 2

2 2

2 2

( ) 1

( ) 1

i

i

X X n SnX n X

X nX n XX X n S

β

αβ

minus minus ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎛ ⎞⎛ ⎞= = = ⎜ ⎟⎜ ⎟minus minus⎝ ⎠⎝ ⎠

sum

sum

lt예제gt ( ) ( ) 4

3 3

3 1 4

W B

W

W B W

sdot

sdot

rArr

바둑통속에 흰돌 과 검은돌 합해서 개

개꺼냈더니

통속에 일까 또는 일까

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 3 -

rArr 추정량은 추정값을 계산하는 rule 또는 공식

lt예제 81gt 건전지의 평균 수명 를 n=10 개의 자료로 추정

추정량 추정값

lt예제 82gt 생산공정의 불량률 p 의 추정

n 검사제품 수

X n 개중 불량품 수

rArr

μ

( )

( )

10 10

1 1

(5) (6) (5) (6)

1 1 263 292 10 28510 10

280 284 2 2822 2

i ii i

X X x x

X X x xX x

= =

= rArr = = + + =

+ += rArr = = + =

sum sum

100 3

3100 003

p X n

n x

p x n

=

= =

= = =

추정량

표본자료

추정값

제8장 추정

bull 하나의 모수를 추정하는 데도 여러가지 다른 추정량이 있을 수 있다

예 건설 공사비 자동차 수리비

rArr 견적내는 사람이 다르면 견적 값이 다르게 나온다

rArr 추정량이 다르면 다른 추정값이 나온다

bull 추정량들 중 어떤 것이 좋은 것인지를 판별할 필요가 있다

또한 좋은 추정량들을 구하는 체계적 방법이 필요하다

- 4 -

rArr 추정에 해 배울 것

① 좋은 추정량을 구하는 방법

- 적률추정법 최우추정법(sect81) 최소분산 불편추정법(sect83)베이즈 추정법(sect85)

② 좋은 추정량을 판별하는 기준

- 불편성 효율성 최소분산성(sect82) 일치성 충분성(sect83)

제8장 추정

sect811 적률추정법

- 5 -

lt정의 82gt

bull 적률추정법(method of moment estimation) 표본적률과 응되는

모집단의 적률을일치시켜 추정량을구하는 방법

( )1 nX X X확률변수 에 한확률 표본

1

1 ( th sample moment) 12n

kk i

i

k k m X kn =

primerArr = =sum hellip차 표본적률

( ) ( )

1 11

22 2 22 2 1

1

1

1 11 1

n

ii

n

i ii

m X X mn

nm X S X nX m mn n n

=

=

prime prime= rArr =

prime prime prime= rArr = minus = minusminus minus

sum

sum sum

rArr 좋은 추정량을 구하는 가장 간단한 방법

제8장 추정- 6 -

표본적률 모집단적률

( )

( )

( )

1 1

2 22 2

1

1

i

k kk i k

m X E X

m X E Xn

m X E Xn

μ

μ

μ

prime prime= =

prime prime= =

prime prime= =

sum

sum

( ) ( )

( )

( )

( ) ( )( )

1 1

1 1

1

2

21 1

22

1

n r

r r

k k r

X X

h k r

E X h

E X

θ θ

μ μ θ θ

μ θ θ

μ σ

μ μ μ σ

μ

prime primerArr

prime = =

prime = = =

prime =

i 모수 을갖는분포로부터의확률표본

모집단의적률 들은모수 의함수

예 평균 분산 를모수로갖는모집단

( )2 2 22 hσ μ μ σ= + =

제8장 추정- 7 -

lt정의 83gt r 개의 방정식

lt예제 83gt

( )1

1

1

(moment

estimator)

k k r

r

m h k rθ θ

θ θ

prime = =

을연립으로풀어서얻는추정량 을적률추정량

이라한다

lt예제 84gt ( )

( )1

1

1

~ 0

2

nX X iid U

E X

m X

θ

μ θprime = =

prime =2XθrArr =

lt예제 85gt 21 ~ ( )nX X iid N μ σ

XθrArr =

( )

( )1

1

1

~ nX X iid Exp

E X

m X

θ

μ θprime = =

prime =

제8장 추정- 8 -

다른 방법으로 추정량을 구하기 어려운 경우에도 쉽게 적률추정량을

구할수 있는 경우가 많다

lt예제 86gt 1 ~ ( )nX X iid G α β

( )

( )

( ) ( )

1 1

2 2 2 22 2

2 222 2 2 2 2

1

1 1 1 1

i

i i i

E X m X

E X m Xn

X

nX X X X X Sn n n n

μ μ

μ σ μ

μ

σ μ σ

prime prime= = =

prime prime= = + =

rArr =

minus+ = rArr = minus = minus =

sum

sum sum sum

sdot

( )

1 1

22 22 2

1i

m X

m Xn

μ αβ

μ αβ αβ

prime prime= =

prime prime= + = sum

제8장 추정- 9 -

를 연립으로 풀면

sect812 최우추정

( ) ( ) 22 21i

X

X X Xn

αβ

αβ β αβ β

rArr =

+ = + = sum2 2

2 2

2 2

( ) 1

( ) 1

i

i

X X n SnX n X

X nX n XX X n S

β

αβ

minus minus ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎛ ⎞⎛ ⎞= = = ⎜ ⎟⎜ ⎟minus minus⎝ ⎠⎝ ⎠

sum

sum

lt예제gt ( ) ( ) 4

3 3

3 1 4

W B

W

W B W

sdot

sdot

rArr

바둑통속에 흰돌 과 검은돌 합해서 개

개꺼냈더니

통속에 일까 또는 일까

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정

bull 하나의 모수를 추정하는 데도 여러가지 다른 추정량이 있을 수 있다

예 건설 공사비 자동차 수리비

rArr 견적내는 사람이 다르면 견적 값이 다르게 나온다

rArr 추정량이 다르면 다른 추정값이 나온다

bull 추정량들 중 어떤 것이 좋은 것인지를 판별할 필요가 있다

또한 좋은 추정량들을 구하는 체계적 방법이 필요하다

- 4 -

rArr 추정에 해 배울 것

① 좋은 추정량을 구하는 방법

- 적률추정법 최우추정법(sect81) 최소분산 불편추정법(sect83)베이즈 추정법(sect85)

② 좋은 추정량을 판별하는 기준

- 불편성 효율성 최소분산성(sect82) 일치성 충분성(sect83)

제8장 추정

sect811 적률추정법

- 5 -

lt정의 82gt

bull 적률추정법(method of moment estimation) 표본적률과 응되는

모집단의 적률을일치시켜 추정량을구하는 방법

( )1 nX X X확률변수 에 한확률 표본

1

1 ( th sample moment) 12n

kk i

i

k k m X kn =

primerArr = =sum hellip차 표본적률

( ) ( )

1 11

22 2 22 2 1

1

1

1 11 1

n

ii

n

i ii

m X X mn

nm X S X nX m mn n n

=

=

prime prime= rArr =

prime prime prime= rArr = minus = minusminus minus

sum

sum sum

rArr 좋은 추정량을 구하는 가장 간단한 방법

제8장 추정- 6 -

표본적률 모집단적률

( )

( )

( )

1 1

2 22 2

1

1

i

k kk i k

m X E X

m X E Xn

m X E Xn

μ

μ

μ

prime prime= =

prime prime= =

prime prime= =

sum

sum

( ) ( )

( )

( )

( ) ( )( )

1 1

1 1

1

2

21 1

22

1

n r

r r

k k r

X X

h k r

E X h

E X

θ θ

μ μ θ θ

μ θ θ

μ σ

μ μ μ σ

μ

prime primerArr

prime = =

prime = = =

prime =

i 모수 을갖는분포로부터의확률표본

모집단의적률 들은모수 의함수

예 평균 분산 를모수로갖는모집단

( )2 2 22 hσ μ μ σ= + =

제8장 추정- 7 -

lt정의 83gt r 개의 방정식

lt예제 83gt

( )1

1

1

(moment

estimator)

k k r

r

m h k rθ θ

θ θ

prime = =

을연립으로풀어서얻는추정량 을적률추정량

이라한다

lt예제 84gt ( )

( )1

1

1

~ 0

2

nX X iid U

E X

m X

θ

μ θprime = =

prime =2XθrArr =

lt예제 85gt 21 ~ ( )nX X iid N μ σ

XθrArr =

( )

( )1

1

1

~ nX X iid Exp

E X

m X

θ

μ θprime = =

prime =

제8장 추정- 8 -

다른 방법으로 추정량을 구하기 어려운 경우에도 쉽게 적률추정량을

구할수 있는 경우가 많다

lt예제 86gt 1 ~ ( )nX X iid G α β

( )

( )

( ) ( )

1 1

2 2 2 22 2

2 222 2 2 2 2

1

1 1 1 1

i

i i i

E X m X

E X m Xn

X

nX X X X X Sn n n n

μ μ

μ σ μ

μ

σ μ σ

prime prime= = =

prime prime= = + =

rArr =

minus+ = rArr = minus = minus =

sum

sum sum sum

sdot

( )

1 1

22 22 2

1i

m X

m Xn

μ αβ

μ αβ αβ

prime prime= =

prime prime= + = sum

제8장 추정- 9 -

를 연립으로 풀면

sect812 최우추정

( ) ( ) 22 21i

X

X X Xn

αβ

αβ β αβ β

rArr =

+ = + = sum2 2

2 2

2 2

( ) 1

( ) 1

i

i

X X n SnX n X

X nX n XX X n S

β

αβ

minus minus ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎛ ⎞⎛ ⎞= = = ⎜ ⎟⎜ ⎟minus minus⎝ ⎠⎝ ⎠

sum

sum

lt예제gt ( ) ( ) 4

3 3

3 1 4

W B

W

W B W

sdot

sdot

rArr

바둑통속에 흰돌 과 검은돌 합해서 개

개꺼냈더니

통속에 일까 또는 일까

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정

sect811 적률추정법

- 5 -

lt정의 82gt

bull 적률추정법(method of moment estimation) 표본적률과 응되는

모집단의 적률을일치시켜 추정량을구하는 방법

( )1 nX X X확률변수 에 한확률 표본

1

1 ( th sample moment) 12n

kk i

i

k k m X kn =

primerArr = =sum hellip차 표본적률

( ) ( )

1 11

22 2 22 2 1

1

1

1 11 1

n

ii

n

i ii

m X X mn

nm X S X nX m mn n n

=

=

prime prime= rArr =

prime prime prime= rArr = minus = minusminus minus

sum

sum sum

rArr 좋은 추정량을 구하는 가장 간단한 방법

제8장 추정- 6 -

표본적률 모집단적률

( )

( )

( )

1 1

2 22 2

1

1

i

k kk i k

m X E X

m X E Xn

m X E Xn

μ

μ

μ

prime prime= =

prime prime= =

prime prime= =

sum

sum

( ) ( )

( )

( )

( ) ( )( )

1 1

1 1

1

2

21 1

22

1

n r

r r

k k r

X X

h k r

E X h

E X

θ θ

μ μ θ θ

μ θ θ

μ σ

μ μ μ σ

μ

prime primerArr

prime = =

prime = = =

prime =

i 모수 을갖는분포로부터의확률표본

모집단의적률 들은모수 의함수

예 평균 분산 를모수로갖는모집단

( )2 2 22 hσ μ μ σ= + =

제8장 추정- 7 -

lt정의 83gt r 개의 방정식

lt예제 83gt

( )1

1

1

(moment

estimator)

k k r

r

m h k rθ θ

θ θ

prime = =

을연립으로풀어서얻는추정량 을적률추정량

이라한다

lt예제 84gt ( )

( )1

1

1

~ 0

2

nX X iid U

E X

m X

θ

μ θprime = =

prime =2XθrArr =

lt예제 85gt 21 ~ ( )nX X iid N μ σ

XθrArr =

( )

( )1

1

1

~ nX X iid Exp

E X

m X

θ

μ θprime = =

prime =

제8장 추정- 8 -

다른 방법으로 추정량을 구하기 어려운 경우에도 쉽게 적률추정량을

구할수 있는 경우가 많다

lt예제 86gt 1 ~ ( )nX X iid G α β

( )

( )

( ) ( )

1 1

2 2 2 22 2

2 222 2 2 2 2

1

1 1 1 1

i

i i i

E X m X

E X m Xn

X

nX X X X X Sn n n n

μ μ

μ σ μ

μ

σ μ σ

prime prime= = =

prime prime= = + =

rArr =

minus+ = rArr = minus = minus =

sum

sum sum sum

sdot

( )

1 1

22 22 2

1i

m X

m Xn

μ αβ

μ αβ αβ

prime prime= =

prime prime= + = sum

제8장 추정- 9 -

를 연립으로 풀면

sect812 최우추정

( ) ( ) 22 21i

X

X X Xn

αβ

αβ β αβ β

rArr =

+ = + = sum2 2

2 2

2 2

( ) 1

( ) 1

i

i

X X n SnX n X

X nX n XX X n S

β

αβ

minus minus ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎛ ⎞⎛ ⎞= = = ⎜ ⎟⎜ ⎟minus minus⎝ ⎠⎝ ⎠

sum

sum

lt예제gt ( ) ( ) 4

3 3

3 1 4

W B

W

W B W

sdot

sdot

rArr

바둑통속에 흰돌 과 검은돌 합해서 개

개꺼냈더니

통속에 일까 또는 일까

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 6 -

표본적률 모집단적률

( )

( )

( )

1 1

2 22 2

1

1

i

k kk i k

m X E X

m X E Xn

m X E Xn

μ

μ

μ

prime prime= =

prime prime= =

prime prime= =

sum

sum

( ) ( )

( )

( )

( ) ( )( )

1 1

1 1

1

2

21 1

22

1

n r

r r

k k r

X X

h k r

E X h

E X

θ θ

μ μ θ θ

μ θ θ

μ σ

μ μ μ σ

μ

prime primerArr

prime = =

prime = = =

prime =

i 모수 을갖는분포로부터의확률표본

모집단의적률 들은모수 의함수

예 평균 분산 를모수로갖는모집단

( )2 2 22 hσ μ μ σ= + =

제8장 추정- 7 -

lt정의 83gt r 개의 방정식

lt예제 83gt

( )1

1

1

(moment

estimator)

k k r

r

m h k rθ θ

θ θ

prime = =

을연립으로풀어서얻는추정량 을적률추정량

이라한다

lt예제 84gt ( )

( )1

1

1

~ 0

2

nX X iid U

E X

m X

θ

μ θprime = =

prime =2XθrArr =

lt예제 85gt 21 ~ ( )nX X iid N μ σ

XθrArr =

( )

( )1

1

1

~ nX X iid Exp

E X

m X

θ

μ θprime = =

prime =

제8장 추정- 8 -

다른 방법으로 추정량을 구하기 어려운 경우에도 쉽게 적률추정량을

구할수 있는 경우가 많다

lt예제 86gt 1 ~ ( )nX X iid G α β

( )

( )

( ) ( )

1 1

2 2 2 22 2

2 222 2 2 2 2

1

1 1 1 1

i

i i i

E X m X

E X m Xn

X

nX X X X X Sn n n n

μ μ

μ σ μ

μ

σ μ σ

prime prime= = =

prime prime= = + =

rArr =

minus+ = rArr = minus = minus =

sum

sum sum sum

sdot

( )

1 1

22 22 2

1i

m X

m Xn

μ αβ

μ αβ αβ

prime prime= =

prime prime= + = sum

제8장 추정- 9 -

를 연립으로 풀면

sect812 최우추정

( ) ( ) 22 21i

X

X X Xn

αβ

αβ β αβ β

rArr =

+ = + = sum2 2

2 2

2 2

( ) 1

( ) 1

i

i

X X n SnX n X

X nX n XX X n S

β

αβ

minus minus ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎛ ⎞⎛ ⎞= = = ⎜ ⎟⎜ ⎟minus minus⎝ ⎠⎝ ⎠

sum

sum

lt예제gt ( ) ( ) 4

3 3

3 1 4

W B

W

W B W

sdot

sdot

rArr

바둑통속에 흰돌 과 검은돌 합해서 개

개꺼냈더니

통속에 일까 또는 일까

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 7 -

lt정의 83gt r 개의 방정식

lt예제 83gt

( )1

1

1

(moment

estimator)

k k r

r

m h k rθ θ

θ θ

prime = =

을연립으로풀어서얻는추정량 을적률추정량

이라한다

lt예제 84gt ( )

( )1

1

1

~ 0

2

nX X iid U

E X

m X

θ

μ θprime = =

prime =2XθrArr =

lt예제 85gt 21 ~ ( )nX X iid N μ σ

XθrArr =

( )

( )1

1

1

~ nX X iid Exp

E X

m X

θ

μ θprime = =

prime =

제8장 추정- 8 -

다른 방법으로 추정량을 구하기 어려운 경우에도 쉽게 적률추정량을

구할수 있는 경우가 많다

lt예제 86gt 1 ~ ( )nX X iid G α β

( )

( )

( ) ( )

1 1

2 2 2 22 2

2 222 2 2 2 2

1

1 1 1 1

i

i i i

E X m X

E X m Xn

X

nX X X X X Sn n n n

μ μ

μ σ μ

μ

σ μ σ

prime prime= = =

prime prime= = + =

rArr =

minus+ = rArr = minus = minus =

sum

sum sum sum

sdot

( )

1 1

22 22 2

1i

m X

m Xn

μ αβ

μ αβ αβ

prime prime= =

prime prime= + = sum

제8장 추정- 9 -

를 연립으로 풀면

sect812 최우추정

( ) ( ) 22 21i

X

X X Xn

αβ

αβ β αβ β

rArr =

+ = + = sum2 2

2 2

2 2

( ) 1

( ) 1

i

i

X X n SnX n X

X nX n XX X n S

β

αβ

minus minus ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎛ ⎞⎛ ⎞= = = ⎜ ⎟⎜ ⎟minus minus⎝ ⎠⎝ ⎠

sum

sum

lt예제gt ( ) ( ) 4

3 3

3 1 4

W B

W

W B W

sdot

sdot

rArr

바둑통속에 흰돌 과 검은돌 합해서 개

개꺼냈더니

통속에 일까 또는 일까

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 8 -

다른 방법으로 추정량을 구하기 어려운 경우에도 쉽게 적률추정량을

구할수 있는 경우가 많다

lt예제 86gt 1 ~ ( )nX X iid G α β

( )

( )

( ) ( )

1 1

2 2 2 22 2

2 222 2 2 2 2

1

1 1 1 1

i

i i i

E X m X

E X m Xn

X

nX X X X X Sn n n n

μ μ

μ σ μ

μ

σ μ σ

prime prime= = =

prime prime= = + =

rArr =

minus+ = rArr = minus = minus =

sum

sum sum sum

sdot

( )

1 1

22 22 2

1i

m X

m Xn

μ αβ

μ αβ αβ

prime prime= =

prime prime= + = sum

제8장 추정- 9 -

를 연립으로 풀면

sect812 최우추정

( ) ( ) 22 21i

X

X X Xn

αβ

αβ β αβ β

rArr =

+ = + = sum2 2

2 2

2 2

( ) 1

( ) 1

i

i

X X n SnX n X

X nX n XX X n S

β

αβ

minus minus ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎛ ⎞⎛ ⎞= = = ⎜ ⎟⎜ ⎟minus minus⎝ ⎠⎝ ⎠

sum

sum

lt예제gt ( ) ( ) 4

3 3

3 1 4

W B

W

W B W

sdot

sdot

rArr

바둑통속에 흰돌 과 검은돌 합해서 개

개꺼냈더니

통속에 일까 또는 일까

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 9 -

를 연립으로 풀면

sect812 최우추정

( ) ( ) 22 21i

X

X X Xn

αβ

αβ β αβ β

rArr =

+ = + = sum2 2

2 2

2 2

( ) 1

( ) 1

i

i

X X n SnX n X

X nX n XX X n S

β

αβ

minus minus ⎛ ⎞⎛ ⎞= = ⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠⎛ ⎞⎛ ⎞= = = ⎜ ⎟⎜ ⎟minus minus⎝ ⎠⎝ ⎠

sum

sum

lt예제gt ( ) ( ) 4

3 3

3 1 4

W B

W

W B W

sdot

sdot

rArr

바둑통속에 흰돌 과 검은돌 합해서 개

개꺼냈더니

통속에 일까 또는 일까

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 10 -

최우추정법(method of maximum likelihood) 표본의 결과를 보고 모집단의

상태 즉 모수가 어떤 값을 가질 때 이러한 표본 결과가 나올 가능성이

가장 높은가를 따져 보아 이 값을 모수의 추정값으로 하는 것

( )( ) ( )( )( ) ( )

3

13 1 43 1 3 0 3 44 0 44 1 3 0 3

W

W B

W

실제 가나올확률

=

=

rArr 4W의 경우가 3W1B 의 경우보다 3W의 확률이 훨씬 크다

rArr 3W 1B 인 경우 보다 4W인 경우에 표본에 3W가 나올 가능성이 크다

rArr 4W로 판단

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 11 -

lt예제gt Capture-recapture method (연습문제5)

예 n1 = n2 = 3 t = 1 이라면 N ge 5

p(5) = 310 = 03 p(8) = 3056 = 0537

p(6) = 920 = 045 p(9) = 4584 = 0537

p(7) = 1835 = 0514 p(10) = 63120 = 0525

n1 = 첫 번째 잡은 동물의수(tag 붙인것)

n2 = 두 번째 잡은 동물의수

t = 두 번째 잡은 동물 중 tag 붙은 것

rArr N = 동물의 총수

rArr N ge n1 + n2 ndash t

문제 N 이 얼마일때 n2 마리중 tag 붙은것이 t 마리가 될확률이가장

높은가

( ) 11

2 2

N n Nnp N

n t ntminus⎛ ⎞ ⎛ ⎞⎛ ⎞

= ⎜ ⎟ ⎜ ⎟⎜ ⎟ minus⎝ ⎠⎝ ⎠ ⎝ ⎠

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 12 -

rArr N= 8 또는 9 일 때 p(N) 값 최

rArr 8 9N = 또는

일반화하면

( ) ( ) ( )1 1 p N p N p N Nminus le ge + 이되는 을찾는다②①

1 부등식 ① ( ) ( ) ( ) ( ) 11 1

2 22 2 2 1 2

1 2

1 1 N N nN n N nN Nn nn t n t N n N n n t

N n n t

minusminus minus minusminusrArr le rArr leminus minus minus minus minus +

rArr le

1 2 1N n n t비슷하게정리하면rArr ge minus2 부등식 ②

1 2 1 2

1 2

1n n t N n n t

n nNt

rArr minus le le

⎡ ⎤rArr = ⎢ ⎥⎣ ⎦

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 13 -

1 2N n n trArr asymp

직관적으로 ( ) ( ) tag tag 전체중 붙은것의비율 표본중 붙은것의비율1

2

n tN n

asymp

( ) ( )

( )1 1

1

( )

n n

r

f x x X Xθ

θ θ θ=

i 의 결합확률 도 함수

분포의모수

lt정의 84gt

를 우도(尤度 likelihood) 함수라 한다

( ) ( ) ( )

1 1 1

1 1

( )

n n n

n n

X x X x f x x

L L x x f x x

θ θ

θ θ θ

= =

equiv =

이 주어졌을때 를 의함수로

나타낸

( ) ( )

( ) ( )

1

1

n

n

ii

X X iid f x

L f x

i 이 이고 각각확률 도 함수 를가지면

θ

θ θ=

= prod

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 14 -

lt정의 85gt ( ) (maximum likelihood estimator MLE)

L θ θ우도함수 를최 로하는통계량 를최우추정량

이라한다

rArr MLE 라 표기( )( )

1

1

ML estimator

ML estimaten

n

X X

x x

최우추정량

최우추정값

θ θ

θ θ

=

=

bull 수함수는 단조증가

그런데

수우도 (loglikelihood) 함수

( )( )

max

max ln

L

Lθ

θ

θ

θ = 는같은값 에서θ θ

( ) ( )

( ) ( )

1

1

ln ln

n

ii

n

ii

L f x

L f x

함수들의곱

함수들의합

θ θ

θ θ

=

=

=

=

prod

sum

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 15 -

( ) ( )

( ) ( )

ln

loglikelihood equation ln 0

L L

d Ld

를최 로하는 를구하는것보다 를최 로하는 를

구하는것이쉬울때가많다

수우도방정식

의해를구하는문제가된다

θ θ θ θ

θθ

rArr

rArr =

엄 히는

①

②

②의 절차는 보통 생략

( )

( )2

2

ln 0

ln 0

d Ldd L

d

이되는 를구하고

이됨을보여야 하나θ θ

θ θ θθ

θθ =

= =

lt

lt예제 87gt ( )

( ) ( )1

1

~ 1

1 01

n

xx

X X iid b p

f x p p p xminus= minus =

( ) ( ) ( ) ( )1

1 1

= 1 1 iii ix

n nx nx x

ii i

L p f x p p p p p summinus minussum

= =

= minus = minusprod prod

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 16 -

( ) ( ) ( )

( )

ln ln ln 1

ln1 1

ii

i i i i

L x p n x p

x n x x n xd L pdp p p p p

= + minus minus

minus minus= minus rArr =

minus minus

sum sum

sum sum sum sum

MLE

i

i

p x nXp p

n

rArr =

rArr =

sumsum에 한 표본성공률

lt예제 88gt ( )21 ~ nX X iid N μ σ

( )( )

( ) ( )( )

( ) ( ) ( ) ( )

2

2 2

2222 22 2

1

2

2 22

1 22

ln ln 2 ln2 2 2

i ix xnnn

i

i

L e e

xn nL

μ μ

σ σμ σ π σπσ

μμ σ π σ

σ

minus minussumminus minusminusminus

=

⎧ ⎫⎪ ⎪= =⎨ ⎬⎪ ⎪⎩ ⎭

minus= minus minus minus

prod

sum

( )2

ln ixL μμ σ

minuspart=

partsum

①

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 17 -

②

①

②

( )2

2 2 4

ln 2 2

ixL n μσ σ σ

minuspart= minus +

partsum

( )22

1 i

x

x x xn

에서

에 를 입

μ

μ σ

=

= rArr = minussum( )22 2

1

1 1MLE

n

ii

nX X X Sn n

μ σ=

minusrArr = = minus =

rArr

sum들

적률추정법으로얻은결과와 같다

( ) ( )

( )

( ) ( )

ln MLE

1 capture-recapture method

2 89

3 ln

4

L L

L

L L

i 나 를 미분해서 를 구할수없는경우

모수공간이이산형일때

가 단조함수일때 예제

나 의최 값이 모수공간의 경계점에서 얻어질때

기타

θ θ

θ

θ θ

lt gt

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 18 -

lt예제 89gt ( )1 ~ 0nX X iid U θ

( ) ( )

( )

( )

1

1 0 1

ln ln

ln

nn

i ii

L f x x i n

L nd L n

d

θ θ θθ

θ θ

θ θθ

=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠

= minus

= = minus

prod

( )

( )

( )

1 1

( )

( )

( )

0

MLE

n n

n

n

n

L

L

x x x x

x

L x

X

는 의감소함수

가작을수록 가커진다

관측값 이주어진상황에서는

가 보다작을수는없다

는 일때최 값을갖는다

θ θ

θ θ

θ

θ

θ θ

θ

rArr

rArr

lt lt

rArr

rArr =

rArr =

1nθ

θ( )nx

( )L θ

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 19 -

lt예제gt ( )~ 1 1 4 3 4X b p ple le

( ) ( )

( ) ( ) ( )

( )

11 01

ln ln 1 ln 1

ln 1 011

0 1 [1 43 4]

MLE

xxL p p p x

L p x p x p

d L p x x p x xdp p p

p

minus= minus =

rArr = + minus minus

minus= minus rArr = =

minus

rArr =

rArr

또는 인데 이들값은구간 에 들지않는다

미분해서는 가얻어지지않는다

( ) ( )1 11

1 0xx p x

L p p pp x

minus =⎧= minus = ⎨ minus =⎩

( )

( ) [ ]

0 1 4 1 3 4

1 43 4

L p x p x p

L p

는 일때는 일때는 일때최 즉

의최 값이모수공간 의경계값에서얻어진다

rArr = = = =

Θ =

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 20 -

1 4 0

3 4 1x

px

=⎧rArr = ⎨ =⎩

2 1MLE 4

Xp +rArr =

( ) ( )1 2 1 2

1 2 2

MLE

MLE

θ θ θ θ

θ θ θ

i 가 모수 의 들일때

만일 을알고있으면 가 의 가아닐수도있다

( ) ( )

2

2 22

lt 88gt MLE

1 1 i iX X Xn n

예 예제 에서 만일 를알고있으면 의 는

가 아니고 가된다

μ σ

σ μ= minus minussum sum

bull 최우추정법의 원리 (principle of maximum likelihood)

모집단이 어떤 상황에 있을 때(즉 모수가 어떤 값을 가질때)

우리가 얻은 표본 결과가 가장 잘 나옴직 한가

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 21 -

최우추정법의 장점

1 직관적으로 생각할 수 있는 추정량과 일치하는 경우가 많다

2 불변성이 있다

3 유연(versatile)하다

bull 최우추정량의 불변성 (invariance property)

( )

( ) ( ) ( )( )

MLE

MLE g

MLE MLE

( )

g

g g

g

g

θ θ

θ θ

θ θ θ

θ θ θ

θ θ θ

rArr =

rArr

=

의

의함수

의

의 를직접구하는 신 의 를구해서함수

에 를 입하면된다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 22 -

lt예제 810gt ( )

( )1 ~

1 MLE

nX X iid Exp

P X

θ

le 의 는

( ) ( )

( ) ( )

( )

( ) ( )

1 1

0

1

2

1

11 1

1 1

ln ln

ln

1

ii

x

nx x

ni

i

i

X

P X e dx e g

L e e

L n x

xd L n Xd

g g e

θ θ

θ θ

θθ

θθ θ

θ θ θ

θθ

θ θ θ

θ θ

minus minus

minus minussum

=

minus

le = = minus =

= =

= minus minus

= minus + rArr =

rArr = = minus

int

prod

sumsum

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 23 -

lt예gt periodic inspection 기계가 고장난 정확한 시간이 아니라 어느

구간에서 고장났다는 사실만 안다

lt예gt censoring 제품이나 기계의 수명을 관측할 때 관측기간

(0T ] 안에 고장나지않는것이있을수 있다

( ) ( )1 1 exact

nnX X x xi 확률표본 의 관측값 들 중 일부가 하게

얻어지지 않을경우가있다

hellip hellip

5 ( ) x a b예를들어 라는 사실만알경우isin

( ) ( ) ( )5 5 51

( )

likelihood

n

ii

L f x f x P a X b xθ θ θ=

= lt ltprod 에서 신 가 가

에기여하는부분

( ) ( ) ( )515

L = n

iii

f x P a X bθ θ=ne

⎛ ⎞⎜ ⎟rArr sdot lt lt⎜ ⎟⎝ ⎠prod

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 24 -

( )

( ) ( )3

3 3

3

1 likelihood

f x

P X T F T x

θ

gt = minus

예를들어 기계 이 고장나지 않았다면 신

가 에 이기여하는부분

( ) ( ) ( )( )

( )

13

1

n

iii

L f x F T

L 를올바르게구하는것이중요하다

θ θ

θ

=ne

⎛ ⎞⎜ ⎟rArr = sdot minus⎜ ⎟⎝ ⎠

rArr

sum

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 25 -

sect82 점추정량의성질 불편성과효율성

bull lt예제gt

어느 것을 택할 것인가

1 추정량이 갖추어야 할 바람직한 성질을 정하고 이 기준에 맞는

것들로 범위를 한정

2 이들을 어떤 비교기준에 따라 비교하여 가장 좋은 것을 정한다

bull 점추정 표적을 향해 활을 쏘는 것과 비슷

추정량 활 쏘는 사람

추정값 화살이 표적판에 닿는 점

( )21 ~ nX X iid N 일때μ σ

1 2 1 21

2 2 3

X X X XX X Xμ + +의추정량 등무수히많다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 26 -

rArr 추정량이 좋은 성질을 갖는 것(명사수) 인지의 여부는

ㆍ 한두번 쏘아본 결과(추정값)로 판단할 것이 아니라

ㆍ 여러번 쏘아 그 결과로 얻은 수치들(추정값들)로 도수분포를

그려보아 목표(모수) 주변에 얼마나 많이 모여있나를 본다

ㆍ 여기서 표적(모수)의 위치를 모를 수도 있다

추정값들의 도수분포 rArr 추정량의 샘플링 분포

rArr 추정량의 확률적 성질로 판단

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 27 -

sect821 불편성

( )1 nX Xθ θ θ=i 모수 의추정량

lt정의 86gt

편의(偏倚bias)

( )( )

( )

E

E

B E

θ θ θ θ

θ θ θ θ

θ θ θ

=

ne

= minus

이면 은 의

이면 은 의

이때 의

불편(不偏unbiased) 추정량

편의(biased) 추정량

( )(unbiasedness)

E불편성 은확률실험을무수히반복해서표본들로

부터얻어지는추정값들의평균이라는의미

θ

rArr 불편성은추정값들의평균이모수와 일치됨으로서체계적인

추정오차 즉편의를없도록한다는것

추정량이갖추어야 할바람직한성질중하나rArr

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 28 -

lt예제 811gt ( )1 ~

nX X iid Exp

X

θ

θ θθ

= 의적률추정량

의최우추정량

( ) ( ) ( ) ( )1

1 1

n

ii

E E X E X nn n

X표본평균 는 의불편추정량

적률추정량이나최우추정량이항상불편추정량이되는것은아니다

θ θ θ

θ

=

rArr = = = =

rArr

sum

lt예gt ( )21 ~ nX X iid N 일때μ σ

( )22 2 2

1

2

1 1

n

ii

nX X Sn n

σ σ

σ=

minus= minus =sum 의적률추정량

의최우추정량

( )2 2

2

E S σ

σ

=

rArr

그런데

은 불편추정량이 아니다

(예제 85)

(예제 88)(예제 76)

(예제 83)(예제 810)

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 29 -

lt예제 813gt ( )1 ~ 0nX X iid U θ

( ) MLE nX의 는θ

( ) pdfnX 의

( ) ( )[ ] ( )1

1 00

n nn

n

ny yg y n F y f y

θ θminusminus lt lt⎧

= = ⎨⎩ 기타

( )89예제

( )713예제

( ) nX 은 불편추정량인가rArr

( )

( )

( )

( )

1

0 1

1MLE

1

n

n n

n

n

n

ny nE X y dyn

X

nE Xn

n Xn

은 의 편의추정량

를 약간 수정하면

은 의불편추정량

θθ

θ

θ

θ

θ

minus ⎛ ⎞= sdot = ⎜ ⎟+⎝ ⎠

rArr

+⎧ ⎫⎛ ⎞ =⎨ ⎬⎜ ⎟⎝ ⎠⎩ ⎭

+⎛ ⎞rArr ⎜ ⎟⎝ ⎠

int

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 30 -

lt정리 81gt 21

2 2

nX X

X

S

평균 분산 인임의의분포로부터의확률표본

는 의불편추정량

은 의불편추정량

μ σ

μ

σ

rArr

( ) ( ) ( )1

1 1n

ii

E X E X nn n

μ μ=

= = =sum( ) 증

( ) ( ) ( ) ( )[ ] ( ) ( )

( ) ( )

22 2 2 2

1 1 1

22

1

22 2 2 2

1

1

n n n

i i ii i i

n

i ii

n

i

E X X E X nX E X nE X

Var X E X n Var X E X

n nn

σσ μ μ σ

= = =

=

=

minus = minus = minus

⎡ ⎤= + minus + ⎣ ⎦

⎛ ⎞= + minus + = minus⎜ ⎟⎝ ⎠

sum sum sum

sum

sum

( ) ( )

2 2

1

2 2

11

n

ii

E X Xn

E S

이결과들은분포에무관하게성립하는것

σ

σ

=

rArr minus =minus

rArr =

sum

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 31 -

lt정의 87gt

①

②

( )

( ) ( )2

mean square error

MSE E

θ

θ θ θ= minus

추정량 의평균제곱오차

( )

MSE의미 가작다는것 추정량과 모수의거리가평균적으로작다는것

추정량이가져야 할바람직한성질

θ

rArr

( )( ) ( ) ( )( ) ( )22

E

MSE E E E Var

만일 이 의 불편추정량이면θ θ θ θ

θ θ θ θ θ θ

=

rArr = minus = minus =

추정오차의제곱의

기 값

( ) ( )( ) ( )

( )( )

2

2 2

2

0

MSE E

E E E

Var B

Var B 인경우

θ θ θ

θ θ θ θ

θ

θ

= minus

⎡ ⎤ ⎡ ⎤= minus + minus⎣ ⎦ ⎣ ⎦

= +

= =

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 32 -

③ 불편추정량 간의 비교기준 분산

불편추정량과 편의추정량 간의 비교기준

편의추정량 간의 비교기준 MSE

( )

( )

1

1

1 2

~ 1

~

1 2

n

n

ii

X X iid b p

Y X b n p

Yp Y n p MSEn

=

=

+= = +

sum 과 의

lt예제 814gt

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )1 1

1 1 2 2

a

1 11

E Y npE p p pn n

np p p pMSE p Var p Var Y

n n n

은 불편추정량= = = rArr

minus minus= = = =

( ) ( ) ( )2 2

1 1b 2 2

E Y npE p pn n

+ += = rArr

+ +는 편의추정량

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 33 -

( )( ) ( )

( )( )

( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

2

2 2 22

22

2 22 2

1 1 22 2

11 112 2 2

1 4 1 11 222 2

np pB E p p pn n

np pVar p Var Y Var Y

n n n

np p n p ppMSE p Var p Bnn n

+ minus= minus = minus =

+ +minus

= + = =+ + +

minus minus minus +minus⎛ ⎞= + = + =⎜ ⎟++ +⎝ ⎠

sect822 효율성

1 2

i 미지의모수 에 한많은불편추정량들중어떤것이바람직한가

불편추정량 과 의비교

θ

θ θ

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 34 -

( )1f θ ( )2f θ

2θ1θ( )1E θ θ= ( )2E θ θ=

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 35 -

lt정의 88gt

1

둘중분산이보다작은것을택한다

바람직한정도 분산

rArr

prop

( ) ( ) ( ) ( )1 2

1 2

1 2

1 1

Var VarVar Var

이 보다좋다

θ θθ θ

θ θ

lt hArr gt

hArr

( ) ( )( )

( ) ( )( )

( )( )

1 2

1 2

21

1 2

12

relative efficiency

1

1

E E

VarVareff

VarVar

일때

의 에 한상 효율

θ θ θ

θ θ

θθθ θ

θθ

= =

= =

( ) ( ) ( )1 2 1 2 1 eff Var Vari θ θ θ θ= hArr =gtgtltlt

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 36 -

lt예제 815gt

lt예제 816gt

21 nX X 평균 분산 인 임의의분포로부터의확률표본μ σ

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( )

1 2 1

2 21 2 1 2 1

22

1 2 2

1

1

X X

E E Var Var X n Var Var X

Vareff n

nVar

n X

μ μ

μ μ μ μ σ μ σ

θ σθ θσθ

μ

= =

= = = = = =

rArr = = =

rArr =

와 의비교

이커짐에따라 의상 효율이점점더커진다

( )

( ) ( ) ( )

1 2 3

1 21 2 1 3

1 2 3

~ 2

3

X X X iid ExpX XX X

E E E

θ

θ θ θ

θ θ θ θ

+= = =

= = =

( )( ) ( ) ( )

1 2

2 2 21 3 1 2

3

13 2 5 99

eff

Var n Var Var X X

θ θ

θ σ θ θ θ

sdot =

sdot = = = + =

예제 에서lt 815 gt

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 37 -

lt예제 817gt

( ) ( )( )

23

1 3 2

1

1

5 9 5 33

Vareff

Var

이제일좋다

θ θθ θθθ

θ

= = =

rArr

( )

( )

1

1

2

~ 01

2

n

n

X X iid Un X

nX

θ

θ

θ

+=

=

불편추정량

( ) ( )

( ) ( )

( )( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )

1

2 2

22 2

2

2 22 2

21

pdf 0 1

1 2

2 1 1 2

1 1 121 2

n nnn

n n

n

n

X g y ny y

n nE X E Xn n

n n nVar Xn n n n

n n nVar Var Xn n n nn n

θ

θ θ

θ θ θ

θ θ θ

minussdot = lt lt

⎛ ⎞ ⎛ ⎞⎡ ⎤ ⎡ ⎤rArr = =⎜ ⎟ ⎜ ⎟⎣ ⎦ ⎣ ⎦+ +⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞rArr = minus =⎜ ⎟ ⎜ ⎟+ + + +⎝ ⎠ ⎝ ⎠

+ +⎛ ⎞ ⎛ ⎞rArr = = =⎜ ⎟ ⎜ ⎟ ++ +⎝ ⎠ ⎝ ⎠

의

( )813예제

( )84예제

( )813예제

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 38 -

bull 불편추정량들 중 분산이 상 적으로 작은 것이 더 좋은 추정량

rArr 분산은 어느 정도까지 줄일 수 있는 것인가

만일 분산의 하한(lower bound)이 존재하고 특정 추정량의

분산이 그 하한과 일치한다면 이 추정량은 분산이 가장 작은

불편추정량이 된다

rArr 불편추정량의 분산의 하한은 어떻게 구하는가

( ) ( )

( ) ( )( ) ( )

2 2 2

2

2 22

1 2

1

1 2

4 4 412 3

2 1 23 2 3

Var Var Xn n n

Var neff nn n nVar

일때

이 보다더좋다

σ θ θθ

θ θ θθ θθ

θ θ

⎛ ⎞⎛ ⎞sdot = = = =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⎛ ⎞ +⎛ ⎞= = = gt ge⎜ ⎟⎜ ⎟ +⎝ ⎠ ⎝ ⎠

rArr

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 39 -

lt정리 82gt 크래머-라오(CR)의 부등식

( ) ( )

1

n

f x X

X X X

i 확률변수 의확률 도 함수

에 한확률표본

의불편추정량

θ

θ θ

( )

( )

( ) ( ) 2

1 0

2

1 ln CR

x f x

f x

Var n E f X

θ θ

θθ

θ θθ

gt

partpart

partrArr gepart

집합 이 와 무관하고

가 존재하면

우변 의분산하한

( )14연습문제

( ) ( )

( ) ( )

1 1~ 0 0

0 0

X U f x x

x f x

θ θ θθ

θ θ

= lt lt

rArr gt =

i조건 이 성립하지않는경우의예

①

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 40 -

② pdf X의

( ) 0

xe xf x

기타

θ θminus + gt⎧= ⎨

⎩

( ) ( ) 0 x f x θ θrArr gt = infin

( )

( )

( )

11 0 0

ln 0

ln 0

f f x

f dx f dx f f dxf

f f dx

E f X

θ

θ θ θ θθ

θ θ

θ

θ θ

θ

θθ

=

⎛ ⎞part part= rArr = rArr sdot sdot =⎜ ⎟part part⎝ ⎠

part⎛ ⎞rArr = lowast⎜ ⎟part⎝ ⎠part

rArr =part

int int int

int

i 라표기하면

( )

( ) ( )2 2

ln ln E f X E f X

θ

θ θθ θ

lowast

part part⎧ ⎫= minus ⎨ ⎬part part⎩ ⎭

i 식 의양변을 로 한번더 미분해정리하면

( )( )14 a연습문제

( ) 15연습문제

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 41 -

rArr CR의 분산하한을 구할 때 이 등식의 좌변이나 우변 중 구하기

편리한 것을 쓴다

lt예제 818gt ( )

( ) ( )

1 ~ 1

MLE

1

n

i

X X iid b p

p p X n

Var p p p n

=

= minus

sum의

( ) ( )

( ) ( ) ( )

( )

( )( ) ( )

( ) ( )

1

2

22 2

2

22 2

1 01

ln ln 1 ln 1

ln 1 1 ln1 1

1 1ln 11

CR 1

xxf x p p p x

f x p x p x p

f x x x xfp p p p p p

p pE f X pp p p pp

p p n Var p

minus= minus =

= + minus minus

part minus part minus= minus rArr = minus minus

part minus part minus

part minus⎧ ⎫rArr minus = + =⎨ ⎬part minusminus⎩ ⎭

rArr minus =

그런데

의분산하한

( )87예제

( )814예제

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 42 -

p 최소분산을갖는불편추정량rArr

lt예제 819gt ( )

( )

( )

( )

( ) ( )

1

22

2

2

2 2

~ 01 ln ln

1ln 1

CR 1

CR 2

n

n

X X iid U

f x f

E f X E

nn X

n

Varn n n

θ

θ θθ

θ θθ θ

θ

θ

θ θθ

= rArr = minus

part= minus =

partrArr

+⎛ ⎞= ⎜ ⎟⎝ ⎠

= lt =+

rArr

의 분산하한

관련 은불편추정량이고

의 분산하한

모순된결과

lt예제 820gt ( )

( ) ( ) ( ) ( )

21

2

2 22

~

1 1ln ln 2 ln2 2 2

nX X iid N

xf x

μ σ

μμ σ π σ

σminus

= minus minus minus

( )817예제

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 43 -

( )2

2 2 2

1a ln ln xf fμμ σ μ σpart minus part

= rArr = minuspart part

( )

( )

22 2 2

2

2

ln 1 CR

CR

E f X n

Var X n

X

μ σ σ σθ

σ

part⎧ ⎫rArr minus = rArr⎨ ⎬part⎩ ⎭

= =

rArr

의 분산하한

그런데 의 분산하한

는분산이최소인불편추정량

( ) ( ) ( ) ( )

( )( )

( )( )

2 2 2( 1)2 2

4 42

2

1 1b ~ 2 1

2 2 111

n

n nS Var S n

Var S nnn

χσ σ

σ σ

minus

minus minus⎛ ⎞rArr = minus⎜ ⎟

⎝ ⎠

rArr = sdot minus =minusminus

( ) ( )

2

2 22

2 2 2 3

1 1ln ln2 2 2

x xf f

라표기θ σ

μ μθ θ θ θ θ θ

=

minus minuspart part= minus + rArr = minus

part part

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 44 -

( )

( )

( )

2

2 2 3 2 4

4 42

2 2

1 1 1ln 2 2 2

2 2CR 1

E f X

Var Sn n

S

θθθ θ θ θ σ

σ σ

σ

part⎧ ⎫minus = minus + = =⎨ ⎬part⎩ ⎭

rArr lt =minus

의 분산하한

실제로 보다분산이더작은 의불편추정량은없다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 45 -

sect83 점추정량의 성질 일치성과 충분성

sect831 일치성

일치성(consistency) 표본크기가 커짐에 따른 추정량의 점근적(asymptotic)

성질

lt예제gt ( )

( )

( )

1

1

~ 1

~

0

0

n

n

ii

n n

n

n

n n

n

X X iid b p

Y X b n p

p Y n E p p

n p p

n p p

p p p

p p

=

rArr =

sdot = =

rArr rarr

minus rarr

sdot rArr minus

rArr minus

sum성공횟수

표본성공률

직관적으로 이커지면 일것으로판단된다

즉 이커짐에따라추정오차의절 값

그런데 은확률변수 도확률변수

가규칙적으로 으로줄어든다고는말할수없고

다만 확률적으로그렇게말 할수있을뿐

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 46 -

lt정의 89gt

표현상의차이일 뿐

0

n na P p p

i 임의의 에 해ε

ε

lt

= minus gt

1 2

0 1

0

n n

nn n

n

a a

a a a a

p p

라 하면 은 인실수

은 실수수열이고

이때 은확률적으로 에수렴한다고한다

rarrinfin

le le

rArr = ⎯⎯⎯rarr

( )

12 0

0 1

consistent estimator

n

n nn n

n

n

P P

θ θ

ε

θ θ ε θ θ ε

θ θ

rarrinfin rarrinfin

sdot =

gt

minus gt ⎯⎯⎯rarr minus le ⎯⎯⎯rarr

의추정량들

임의의 에 해

또는

이면 은 에 한일치추정량

lt 77gt lt 89gt

pn n

n

정의 과 정의 는같은것

확률적표현 이 에확률적으로수렴 즉

통계적표현 이 에 한일치추정량

θ θ θ

θ θ

lowast

θ⎯⎯rarr

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 47 -

lt정리83gt

lt예제 821gt

( ) ( ) 12

0

n

n nn n

n

n

E Var

의 추정량들

이면 은 에 한일치추정량

θ θ

θ θ θ

θ θ

rarrinfin rarrinfin

sdot =

⎯⎯⎯rarr ⎯⎯⎯rarr

( )

( )

( ) ( ) ( )

2

2

22

320 2

0

0

n

n

n

nn n n

nn

X r

EP

E Var E

P

마코브부등식 에서 θ θ

θ θθ θ ε

ε

θ θ θ θ θ

θ θ ε

rarrinfin

rarrinfin

= minus =

minusminus gt le

⎡ ⎤minus = + minus ⎯⎯⎯rarr⎣ ⎦

rArr minus gt ⎯⎯⎯rarr

( ) 증

( ) ( )

21

1

2

1

0

lt 8 3gt

n

n

n ii

nn n

pn

X X

X Xn

E X Var X n

X

μ σ

μ

μ σ

μ

=

rarrinfin

=

= = ⎯⎯⎯rarr

⎯⎯rarr

sum

평균 분산 인임의의분포로부터의확률표본

는 에 한일치추정량

정리 에의해

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 48 -

lt예제 822gt

lt정리 84gt

( )

( )( ) ( )( )

( )( ) ( ) ( ) ( )( )

( )

22

MLE

817gt

1

01 2

lt 83gt

n

nn n

nn n

pn

X

nE X E Xn

nVar X Var Xn n

X

은 에 한일치추정량

lt예제 에서

정리 에의해

θ

θ θ

θ

θ

rarrinfin

rarrinfin

= rArr ⎯⎯⎯rarr+

= rArr ⎯⎯⎯rarr+ +

rArr ⎯⎯rarr

( )1 ~ 0nX X iid U θ

p pn nθ θ λ λsdot ⎯⎯rarr ⎯⎯rarr

( ) ( )ii)

pn

g

g g

함수 가연속이면

θ θ⎯⎯rarr

i)

( 0)

pn n

pn n

pn n

θ λ θ λ

θ λ θλ

θ λ θ λ λ

plusmn ⎯⎯rarr plusmn

sdot ⎯⎯rarr

⎯⎯rarr ne

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 49 -

lt예제823gt 21

2 2

nX X

S

lt예제gt

μ σ

σ

평균이 이고분산이 인임의의분포로부터의확률표본

는 에 한일치추정량

( )

( )

1

2 2

1

2 2

22 2 2 2

1

1

1

lt 84gt (ii) 1lt 84gt (i)

np

ii

np

ii

p

np

ii

X Xn

X E Xn

X

X X E Xn

수의법칙

수의법칙

정리

정리

μ

μ

μ σ

=

=

=

= ⎯⎯rarr

⎯⎯rarr

⎯⎯rarr

minus ⎯⎯rarr minus =

sum

sum

sum

( )2 22 2

1

1 11 1

n

i ii

S X X X nXn n=

⎡ ⎤rArr = minus = minus⎣ ⎦minus minussum sum22 2

1

11

np

ii

n X Xn n

σ=

⎛ ⎞ ⎡ ⎤= minus ⎯⎯rarr⎜ ⎟ ⎢ ⎥minus⎝ ⎠ ⎣ ⎦sum

( )1 ~ nX X iid G α β

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 50 -

2 2

p

p

X

S

α β α β

μ

σ

⎯⎯rarr

⎯⎯rarr

와 의적률추정량들은각각 와 의 일치추정량들인가

일반적으로

lt예제 86gt 으로 부터 적률추정량

ㆍ 이 예에서 뿐만 아니라 일반적으로 적률추정량은 모두 일치추정량

이 된다

ㆍ 다음 정리는 추정량의 극한분포를 구하는데 유용하다

( )2 22

2 2 2

2 2 2

11

p

p

n Xn Sn S

n X

αβμα α ασ αβ

σ αββ β βμ αβ

⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟minus⎝ ⎠minus⎛ ⎞= rArr ⎯⎯rarr = =⎜ ⎟

⎝ ⎠

lt정리 85gt ( )

( )

01

1

01

n

pn

n n n

U N

n V

W U V N

의극한분포

에따라

의극한분포는

rarr infin ⎯⎯rarr

rArr =

( )821예제

( )823예제

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 51 -

lt예제 824gt 21

n

n

X XXWS n

평균 분산 인임의의분포로부터의확률표본

의극한분포는

μ σ

μminus=

( )CLT 01n

XU Nn

에 의해 의극한분포는μ

σminus

=

2 2 2 2

lt 823gt

1 p pS Sσ σ⎯⎯rarr rArr ⎯⎯rarr

예제 에의해

( )

( )

1 ~

01

i n

XX tS n

Xn NS n

들이정규분포를따를 때

정규분포여부와 관계없이 이크면

μ

μ

minus

minuslowast

minusasymp

( )

lt 85gt

01nn

n

U XX SW NV n S n

정리 에의해

의극한분포는μμ

σσminusminus= = =

2 2 1pnV S Sσ σrArr = = ⎯⎯rarr

( )84정리

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 52 -

sect832 충분성

( ) ( )1sufficiency

nX Xi 충분성 통계량이 표본 이갖고있는정보를모두

그 로간직하고있는지를나타내는성질

uarrsdot

⎯⎯⎯⎯⎯⎯rarr자료의정리요약

표본에서얻은 원시자료 통계량의값

( ) ( ) ( )2

1 1 2lt gt n nx x x x x x s예 등rArr lt lt lt rArr rArr

( )1 nx x

( )

( )

1

21

2

(raw data)

n

n

x x

x x x

s

μ σ

rArr sdot이러한자료의정리 요약 과정에서 원시자료 가

가지고 있는모수에관한정보 중일부를잃어버리는것은아닌가

예를들어 가가지고있는 와 에관한정보가모두 와

에함축되어있는가

( ) ( )2

1 nx s x x x 신 을쓰면어떤가minus

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 53 -

lt예제gt 제품 4개를 독립적으로 뽑아 공정불량률 p 를 추정

( )1(sufficient statistic)

1

2

nX Xi 충분통계량 표본 이가지고있는모수에

한정보를손실없이모두간직하는통계량

자료를원시상태로보관할필요가없다

추론에충분통계량 이외의다른통계량을쓸필요가없다

rArr

1 =1234

0 i

iX i

i번째가불량품

번째가양품

⎧= ⎨

⎩

( )( )

1100 2 4 05

1010 2 4 05

p

p

rArr = =

rArr = =

관측결과

( )

( )

1 2 3 4

4

1

~ 1

~ 4ii

X X X X iid b p

Y X iid b p=

rArr

= sum 4p p y의추정값rArr =

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 54 -

( )0011 2 4 05prArr = =4

1

2

ii

i

p y x

x

를추정하는데총불량품수 라는사실만알면되지

불량품이 나온순서 즉 개개의 들을알필요가없다

=

rArr = =sum

( ) ( )( )

( ) ( ) ( ) ( )( )

( ) ( )

( ) ( ) ( )

1 2 3 41 2 3 4

1 2 3 4

22

1 0 21 1 0 0 2

21 1 0 0 1 1 1 1

4 42 612 2

P X X X X YP X X X X Y

P YP X P X P X P X p p p p

P Y p p

p이확률은 와 무관

= = = = == = = = = =

=

= = = = sdot sdot minus sdot minus= = = =

= minus

rArr

rArr Y 의 관측값이 주어지면 Y 이외의 어떤 통계량도 p 에 관한

정보를 추가적으로 갖고 있지 않다

rArr Y 가 p 에 관한 정보를 모두 가지고 있다

( )1 nY y X X p=즉 가주어졌을 때 의 조건부분포는 와 무관

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 55 -

lt정의 810gt

lt예제 825gt

( )1

1

n

n

X XT T X X

θsdot

sdot =

미지의모수 를갖는분포로부터의확률표본

통계량

( )1

nT t X X

T

θ

θ

=만일 가주어졌을때 의조건부분포가 에

무관하면 는 에 한충분통계량

( )

( )

( ) ( )

1

1

1 1

1

~ 1

~

1

n

n

ii

n n

n

ii

X X iid b p

Y X b n p

P X x X x Y y ny

Y X p

위의예제와 비슷하게풀면

는 에 한충분통계량

=

=

=

= = = =

rArr =

sum

sum

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 56 -

lt예제gt

( )

( )( ) ( ) ( )

1 2

1 1 2 2 1 2

1 2 1 2

b 2

2 2

2 2 20 01

X X

P X x X x X X t t

x x x x

+

= = + = =

+ = =

도충분통계량인가

를 인경우에구해보자

가되려면

( ) ( )

( ) ( )( )

( )( )

( )( ) ( )

1 1

1 2

1 1 2 2 1 21 1 2 2 1 2

1 2

1 1 2 1 1 12

11 2

a ~

1 1 ~ 2 22

x t x

t

t

X X iid Poi

P X x X x X X tP X x X x X X t

P X X t

e eP X x X t x x t x t b txP X X t e t

λ λ

λ

λ

λ λ

λ

minusminus minus

minus

= = + == = + = =

+ =

sdot= = minus minus ⎛ ⎞ ⎛ ⎞= = = ⎜ ⎟ ⎜ ⎟+ = ⎝ ⎠ ⎝ ⎠

1 2

T X X

와 무관

는 에 한충분통계량

λ

λ

rArr

rArr = +

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 57 -

( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

( )( )( )( ) ( )( )

1 2 1 21 2 1 2

1 2

1 2

1 2 1 2

2

2

2 0 2 22 0 2 2

2 2

2 0

2 0 0 1

2

2 2

P X X X XP X X X X

P X X

P X P XP X P X P X P X

e ee e e e

λ λ

λ λ λ λ

λ λλ λ λ

minus minus

minus minus minus minus

= = + == = + = =

+ =

= ==

= = + = =

= =+ +

1 2

2 X X

어느경우던조건부확률은 의함수

는충분통계량이아니다

λrArr

rArr +

( ) ( )1 2

2 01 2

x x 인경우는 λ

=+

( ) ( )1 2 20 x x = 인경우

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 58 -

lt정리 86gt 인수분해 정리(factorization theorem)

bull lt정의 810gt은 주어진 통계량 T 가 충분통계량인지 아닌지를 판별하는

기준이 되지만 실제로 충분통계량을 제공하지는 않는다

그러면 충분통계량은 어떻게 찾는가

( )1

1

n

n

X X

T T X X

모수 를갖는분포로부터의확률표본

통계량

θsdot

sdot =

( ) ( ) ( )1

( )

n

T L

L g t h x x

θ θ

θ θ= sdot

가 에 한충분통계량이될조건은우도함수 가다음과 같이

두부분의곱으로표현되는것

( )

( )1

0

0 n

g t t

h x x

θ θ

θ

ge

ge

단 은 와 만의함수

은 와 무관

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 59 -

lt예제 826gt

lt예제 827gt

( )

( ) ( )

1

1 1

~

i

n

xn n

ii i i

X X iid Poi

eL f xx

λ

λ

λλ λminus

= =

⎛ ⎞= = ⎜ ⎟

⎝ ⎠prod prod

( )

( ) ( )1

1

1

n y ni

ii

n

e y xx

g y h x x

λλ

λ

minus

=

⎛ ⎞⎜ ⎟= sdot =⎜ ⎟⎝ ⎠

= sdot hellip

sumprod

1

n

ii

Y X 는 에 한충분통계량λ=

rArr = sum

( )

( ) ( )

1

1

~ 0

1 0 1

n

nn

i ii

X X iid U

L f x x i n

θ

θ θ θθ=

⎛ ⎞= = lt lt =⎜ ⎟⎝ ⎠prod

( ) ( ) ( ) ( )( )

( )( ) ( )

0 01

1

1 1 (1)

n

i nni

nn

I x I x

g x h x x

θ θθ θ

θ=

⎛ ⎞= = sdot⎜ ⎟⎝ ⎠

= sdot

prod

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 60 -

지시함수(indicator function)( ) 1 0A

x AI xx A

단isin⎧= ⎨ notin⎩

( ) nX 은 에 한충분통계량θrArr

i 인수분해정리는모수가여럿일때도성립

lt예제 828gt ( )21 ~ nX X iid N μ σ

( )

( )2 2

1 1

(joint sufficient

statistic)

n n

i ii i

X X 은 에 한결합충분통계량μ σ= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum sum

( )

( ) ( )

222

2 2

2 2 2

2 2 2 2

2 21

1 exp2 2

1 exp 12 2 2

ni

ni i

i i n

xL

x x n

g x x h x x

μμ σ

πσ σ

μ μπσ σ σ σ

μ σ

⎛ ⎞minus⎛ ⎞= minus⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎧ ⎫⎛ ⎞= minus + minus times⎨ ⎬⎜ ⎟

⎝ ⎠ ⎩ ⎭= times

sum

sum sum

sum sum

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 61 -

lt gt충분통계량의성질

( ) ( )1 11 T T U k T가충분통계량이면 의 함수 도충분통계량이다=

1

lt gt lt 826gt

1

n

ii

i

X

X Xn

λ

λ

=

rArr =

sum

sum

예 예제 에서 에 한충분통계량

에 한충분통계량

( ) ( )

( )( ) ( )

( ) ( )

1

11

1

( )

n

n

n

L g t h x x

g k u h x x

g u h x x

θ θ

θ

θ

minus

= sdot

= sdot

= sdot

( ) U k T 도충분통계량rArr =

( ) ( )

( ) ( )

2 2

2 2

lt gt lt 828gt

i iX X

X S

μ σ

μ σrArr

sum sum예 예제 에서 에 한결합충분통계량

에 한결합충분통계량

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 62 -

lt정리 87gt 최우추정량은 충분통계량의 함수

( )2 T 가 에 한충분통계량이면θ

( ) ( ) ( )

( ) ( )1

nL g t h x x

L g t

θ θ

θ θ θ θ

= sdot

rArr hArr를최 로하는 를최 로하는

그렇다고 적률추정량도 반드시 충분통계량의 함수가 되는것은 아니다

lt예제gt

( ) ( )( )

1

1 1

1 i

n nx

i ii i

L f x e βααα β α β χ

α βminusminus

= =

⎛ ⎞= = ⎜ ⎟Γ⎝ ⎠prod prod

( )1 ~ nX X iid G α β

( )( )

( ) ( )

1

1

1

1 1

i

nx

n ini

i i n

x e

g x x h x x

αβ

αα β

α β

minusminussum

=

⎧ ⎫⎪ ⎪⎛ ⎞= times⎨ ⎬⎜ ⎟Γ ⎝ ⎠⎪ ⎪⎩ ⎭

= times

prod

sum prod

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 63 -

( )1 1

nn

i ii i

X X 의충분통계량α β= =

⎛ ⎞rArr ⎜ ⎟⎝ ⎠sum prod

2 2

2

1 1

n X n Sn S n X

적률추정량 는

충분통계량의함수가아니다

α β minus⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟minus⎝ ⎠ ⎝ ⎠

(3) 불편추정량들 가운데 분산이 보다 작은 것을 찾는 방법은

rArr 충분통계량의 함수인 불편추정량을 찾으면 된다

( )

( )

1

1

|

(minimum variance unbiased estimator MVUE)

n

n

X X

T T X X

E T

의불편추정량

충분통계량

일때 를구하면이것이최소분산불편추정량

이된다

θ θ θ

θ θ

=

=

=

rArr 이론적 배경

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 64 -

lt정리 88gt 라오 블랙웰(Rao-Blackwell) 정리

( )

( ) ( )

|

(i)

(ii)

E T

Var Var

라하면

는불편추정량

θ θ

θ

θ θ

=

le

( )

( )

( )( )

( ) ( )( )

1

1

(i)

|

|

(527)

|

|

n

n

T t X X

X X

E T

E T

E E T E

E T

θ

θ

θ θ

θ

θ θ θ

θ θ

=

rArr

rArr

= =

rArr

로주어지면 의조건부분포는 와 무관

추정량 은표본 의함수

는 와 무관

는 충분통계량의함수인통계량

식 을이용하면

는 의불편추정량

( ) 증

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 65 -

(ii) (528) 식 을이용하면

( ) ( ) ( )( )

( )

| |

|

Var Var E T E Var T

Var E T

Var

θ θ θ

θ

θ

⎡ ⎤ ⎡ ⎤= +⎣ ⎦ ⎣ ⎦⎡ ⎤ge ⎣ ⎦

=

( )1

|

T

E T

불편추정량 이있을때 충분통계량 로조건부 기 값

를 구하면이것이

충분통계량의함수인불편추정량이되고

분산이줄어든다

θ

θ

sdotsdot

( )2 |

(MVUE)

E T그런데어떤불편추정량 로시작하던지 는 에

관계없이똑같은것이된다

이것이최소분산불편추정량

θ θ θ

rArr

의미

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 66 -

3 MVUE를 구하는 방법

① 충분통계량의 함수인 불편추정량을 찾는다

rArr lt정리 87gt에 의해 MLE는 충분통계량의 함수

rArr a) MLE를 구하고

b) 선형 변환등을 통해 불편추정량을 만들면 이것이 MVUE

② ①이 잘 안되면 번거롭더라도

( ) 16 17연습문제

( )| E T 를구한다θ

lt예제 829gt

( )

( )

1

n

n

X

n Xn+⎛ ⎞

⎜ ⎟⎝ ⎠

최우추정량

충분통계량

불편추정량

( )1 ~ 0nX X iid U θ

(예제 829 830)

( )89예제

( )829예제

( )813예제

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 67 -

lt예제 830gt

( )1

MVUE

n

n Xn

은충분통계량의함수인불편추정량+⎛ ⎞rArr ⎜ ⎟

⎝ ⎠rArr

( )

( )

( ) ( )

2 2

42

2 2

2 1

i i

E S

Var Sn

X X X S

σ

σ

=

=minus

sum sum충분통계량 또는

( )21 ~ nX X iid N μ σ

2 MVUES 는충분통계량의함수인불편추정량rArr

rArr

( )4 4

2 2 2 CR 1

Var Sn n

그런데 의분산하한σ σ

= gt =minus

lt예제gt ( )1 ~ nX X iid Poi λ

( )81정리

( )820예제

( )828예제

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 68 -

①

② ( ) ( )1 1

1

X E E X

X

λ λ λ

λ λ

= = =

rArr =

이라하면

은 의불편추정량

( ) 11

MVUE

iX T X

E X

XX

의 함수 충분통계량

는충분통계량의함수인불편추정량

는

λ

= rArr

=

rArr

rArr

sum

( )1

~ n

ii

T X Poi nλ=

= sum 충분통계량

( )( )( )

2

1

~ 1

~n

n

X X Poi n

X X Poi n

λ

λ

+ + minus

+ +

( ) ( )[ ] ( )

( )

1 1 ( )

1 11

t ana

tn

a t a

e a e n t a

e n t

ta n n

λλ

λ

λ λ

λ

minusminus minusminus

minus

minus

minus minus=

⎛ ⎞ ⎛ ⎞= minus⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( ) ( )( )

( ) ( )( )

1 1 1 21

n nP X a X X t P X a P X X t aP X a T t

P T t P T t= + + = = + + = minus

= = = == =

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 69 -

( ) ( )

( )

1

1

1

1| ~

1|

|

MVUEi

X T t b tn

E X T t tn

E X T T n X n X

X 는

⎛ ⎞rArr = ⎜ ⎟⎝ ⎠

⎛ ⎞rArr = = ⎜ ⎟⎝ ⎠

rArr = = =

rArrsum

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 70 -

sect84 구간추정

bull 추정점추정

구간추정

bull 구간을 실제로 어떻게 구하는가

θsdot

sdot

미지의모수 가들어있을것으로추측되는구간을

구하는것

구간의양 끝점을수치로준다

1 12

n n

u

X x X xT T

= =확률표본을뽑아관측값 을얻어

과 의관측값

( )( )

1

1

1

1

n

n

u u n

X XT g X XT g X X

θ=

=

모수 를갖는분포로부터의확률표본일때

통계량

이되도록정한다

( ) ( ) 1 0 1uP T T을 θ α αle le = minus le le

[ ] 1 uT T 는 가포함될확률이 인확률구간θ αrArr minus

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정

lt정의 811gt

( )

( )

[ ]

1

1

100(1 )

n

u u u n

u

T t g x x

T t g x x

t t 가 신뢰수준이 인 에 한신뢰구간이되고 미지의

모수 가이구간에들어있을가능성이큰것으로믿고사용

α θ

θ

rArr =

rArr =

rArr minus

[ ] ut t을계산하여 실수구간 를얻는다

( ) [ ] [ ]1

100(1 ) u u uP T T T T t t인확률구간 의관측값 가 에 한

신뢰수준 인신뢰구간

θ α θ

α

rArr le le = minus

minus

( ) ( )( ) ( )[ ] [ ]

1 1

1 1

(lower confidence limitLCL)

(upper confidence limitUCL)

(confidence interval)

1 1 (conf

n n

u u n u u n

u u

T g X X t g x x

T g X X t g x x

T T t t

통계량 수치 신뢰하한

통계량 수치 신뢰상한

확률구간 수치구간 신뢰구간

확률 신뢰계수α α

= rarr =

= rarr =

rarr

minus rarr minus idence coefficient) (confidence level)신뢰수준

관측전 관측후

- 71 -

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 72 -

bull 왜 확률(probability)이란 말 신 신뢰(confidence)란 말을 쓰는가

( )

( )

3 1

100 1

uP T Tθ α

θ α

le le = minus

minus

이므로이러한확률표본을반복하여뽑으면얻어진

구간들중에 를포함하고있는것들이 략 가될것이다

[ ] [ ][ ] [ ] 1

1

u u

u u n

T T t t

t t t t x xθ θisin notin

확률표본을뽑아확률구간 의관측값인 를얻었을때실제로

인지 인지는관측값 을얻는순간이미정해진

것으로둘중어느것이맞는지모를뿐확률적인요소가있는것은아니다

[ ]2

ut tprime prime확률표본을다시한번뽑으면첫번때와는다른구간 가얻어질것

이다

1 095 100

100 95

예를들어 인경우 확률표본을 번반복하여뽑아실수구간

개를얻으면 체로 개정도는미지의모수 를포함하게될것이다

α

θ

rArr minus =

확률표본을새로뽑아관측값을얻을때마다다른구간이얻어질것이다rArr

[ ] ut t가구간 에포함될 확률 을얘기할수는없다θrArr

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 73 -

bull 양측 신뢰구간 단측 신뢰구간

단측(one-sided)신뢰구간

[ ]4

(confidence)

ut t

따라서실제로는확률표본을한번만뽑아그관측값으로실수구간

을 구하면이구간이모수 를포함하는지는알수없으나

위와 같은이유로이 구간이 를포함하고있을가능성이높다고

신뢰감 을갖게되어 이구간을믿고쓴다

θ

θ

확률 이란용어 신 신뢰 란용어를쓴다rArr

( ) [ ]( ) )[( ) ](

1 (two-sided)

1

1

u u

u u

P T T t t

P T t

P T t

양측 신뢰구간θ α

θ α

θ α

le le = minus rArr

le = minus rArr infin

le = minus rArr minusinfin

보통 양측신뢰구간을 쓰나 단측신뢰구간이 더 의미가 있는 경우도 있다

예 불량률 고장률 등 신뢰상한이 관심의 상

수명 신뢰하한이 관심의 상

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 74 -

bull 피봇방법(pivotal method) 피봇량(pivotal quantity)을이용하여신뢰구간을

구하는방법

lt정의 812gt

( ) ( )1

1 1

n

n n

X X

Q h X X X X

Q Q

θ

θ θ

θ

sdot

sdot =

rArr

모수 를갖는분포로부터의확률표본

과 미지의모수 의함수

의분포가 에의존하지않으면 를피봇량이라부른다

lt예제 831gt

( )

( ) ( ) ( )

( )

1

22

~ 9

~ 01 3

~ 19

X N n

n X XQ N

n

Q X N n

μ

μ μ

σ

μ μ

minus minus= = rArr

= rArr

피봇량이다

피봇량이 아니다

( )1 ~ 9nX X iid N μ

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 75 -

bull 피봇방법

( )2

1

uP T T

θ

θ αle le = minus

위식을부등호중앙에 가오도록

의형태가되도록정리한다

( )1

1

Q Q

P a Q b

a b

Q a b

α

θ θ

le le = minus

rArr

피봇량 의분포를알수있으면 에관한확률식

을세우고 와 를구한다

의분포가 에의존하지않으므로 와 는 에무관

3

u u

T t

T t

의관측값 신뢰하한

의관측값 신뢰상한[ ] ( ) 100 1 ut t 양측신뢰구간αrArr minus

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 76 -

lt예제 832gt

( )

( )

90

1 0 0

~ 1

xe xf x

Q X Exp

Q X Q

Q

θ

θ

θ θ

θ

θ θ

minus⎧ gt⎪= ⎨⎪⎩

rArr =

rArr

rArr

에 한신뢰수준 인양측신뢰구간은

기타

는 와 의함수이고 의분포는 와 무관

는피봇량

( ) 1 X Exp nθ =지수분포 로부터의크기가 인표본

( )( )

( )

090

090

P a Q b a bX a b a b

XP a Q b P a b

X XPb a

θ θ

θ

θ

rArr lt lt =

le le lt lt

⎛ ⎞sdot = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

가되는 와 를구한다

가연속형확률변수여서 어느것을써도무방

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 77 -

( ) ( )

( )

( )

0

005

005 1

005

0051 2996

a u a

u b

b

a b

P Q a P Q b

P Q a e du e

P Q b e du e

a b

minus minus

infinminus minus

sdot

lt = gt =

rArr = lt = = minus

= gt = =

rArr = =

int

int

와 를구하는한가지방법은

가되도록한다

x xb a

신뢰구간⎛ ⎞rArr ⎜ ⎟⎝ ⎠

a b

005

005

( )2996 0051 90 x x 이신뢰수준 인양측신뢰구간rArr

lt예제 833gt ( )

( ) ( )

1

1

~ 90

~ ~

n

n

i ii

X X iid Exp

X Exp W X G n

θθ

θ θ=

rArr = sum

에 한신뢰수준 인양측신뢰구간은

( )64 정리 재생성

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 78 -

( ) ( )

( ) ( )

( )

2

21

2~ ~ 2

2

1

n

WW G n Q n

Q X X Q nQ

P a Q b

θ χθ

θ χ θ

α

rArr =

rArr

rArr

lt lt = minus

hellip sim는 과 의함수이고 으로서 와 무관

는피봇량

( ) 21

2 2

WP a Q b P a b

W WPb a

αθ

θ

⎛ ⎞rArr minus = lt lt = lt lt⎜ ⎟⎝ ⎠

⎛ ⎞= lt lt⎜ ⎟⎝ ⎠

( )

( ) ( )( ) ( )( ) ( )( ) ( )

1 1

2

2 2095

2 2005

2 2

2 005

005 2 2

005 2 2

n n

i ii i

x x

b an a b

P Q a P n a a n

P Q b P n b b n

χ

χ χ

χ χ

= =

⎛ ⎞⎜ ⎟rArr⎜ ⎟⎝ ⎠

= lt = lt rArr =

= gt = gt rArr =

sum sum신뢰구간

여기서 분포의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )723연습문제

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 79 -

lt예제 834gt

( )

( )

( )

1

1

95

lt 831gt ~ 013

095

01 0025

XQ Nn

P a Q b

N a b

μ

μminus=

rArr lt lt =

에 한신뢰수준 인양측신뢰구간은

예제 의

여기서 의양쪽꼬리확률이각각 가되도록 와 를

정하면

( )1 ~ 9nX X iid N μ

095 196 1963

3 3 196 196

XPn

P X Xn n

μ

μ

⎛ ⎞minus= minus lt lt⎜ ⎟

⎝ ⎠⎛ ⎞= minus times lt lt + times⎜ ⎟⎝ ⎠

3 3196 196 95 x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

이신뢰수준 인양측신뢰구간

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 80 -

a와 b를 정할 때 N(01)의 양쪽 꼬리부분의 확률이 동일하도록

하지 않을 수도 있다

예 P(altZ) = 00125P(bgtZ) = 00375

로 나누면 a = -224 b = 178

3 3178 224x xn n

⎛ ⎞rArr minus times + times⎜ ⎟⎝ ⎠

위의두신뢰구간중어느것을택해야 할까rArr

bull 바람직한 신뢰구간은 어떤 것인가

rArr 신뢰수준이 같다면 신뢰구간의 폭이 좁은 것이 모수에 한 좀 더

정확한 정보를 제공

rArr 신뢰구간의 폭이 좁은 것 즉 길이가 짧은 것이 좋다

lt예제 835gt lt예제 834gt 에서

3 3196 196 1176x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 81 -

lt예제 836gt lt예제 832gt에서 신뢰수준 90인 양측 신뢰구간들 중 가장

좋은 것은

3 3178 224 1206x x nn n

⎛ ⎞minus times + times rArr =⎜ ⎟⎝ ⎠

길이

( )090

X X XP a Q b P a b Pb a

Q

θθ

θ

⎛ ⎞ ⎛ ⎞= lt lt = lt lt = lt lt⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

에 한구간의길이가가장짧도록하려면 에 한구간의길이가

( ) ( )

( )

( )

( )

0

010 0

010 1 ln 09 01054

0

0 01054 90

a u a

u b

b

P Q a P Q b

P Q a e du e a

P Q b e du e b

x

가장길도록

가신뢰수준 인신뢰구간중길이가가장짧은것

minus minus

infinminus minus

rArr lt = gt =

rArr = lt = = minus rArr = minus =

= gt = = rArr = infin

rArr

int

int

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 82 -

sect84 신뢰구간을구하는일반적 방법

sect10 정규분포 또는 CLT에 의해 정규분포의 가정이타당한경우

을 구하는데 sect84의

방법을 응용

2

2 21 2 1 2

1 2

p

p p

μ σ

μ μ σ σminus

minus

단일모집단 에 한신뢰구간

두모집단 에 한신뢰구간

에 한신뢰구간

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 83 -

sect85 베이즈추정

lt예gt 협력업체에서 납품받는 기계부품의 성능을 나타내는 미지의 모수

를 추정

ㆍ sect81~sect84의 방법 부품 n 개를 무작위로 뽑아 얻은 표본정보로

추정

ㆍ 현실에서는 ㆍ 과거 납품시의 성능검사기록

등으로 이 부품의 성능 에 해 어느 정도의 사전정보를 갖고

있는 경우가 많다 이러한 사전정보는 에 한 분포형태로 표현

rArr 표본정보만으로 를 추정하는 것보다

표본정보와 사전정보를 함께 쓰는 것이 더 바람직

θ

θ

θ

θ

θ

ㆍ 비슷한 부품의 성능자료

ㆍ 이 부품의 물리적 특성에 관한 지식

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 84 -

lt정의 813gt

(Bayes estimation)

θ

θ θ

i 베이즈추정 추정하려는모수 를확률변수로취급하여

에 한사전정보를분포형태로표현하고 이를 의추정에이용하는

추정방법

Xθ 가확률변수 의분포가갖는미지의모수일 때

( )

( )

( ) ( )

( )

prior distribution

θ π θ

θ

θ

의확률 도 함수 를

의사전분포

엄 히는 의사전분포의확률 도 함수 또는사전확률 도 함수

라부른다

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

|

1

1 1

| |

|

X

n

n n

f x X f x f x

X X X X

f x x f x x

θ

θ

θ θ θ

θ θ

Θ=

sdot Θ

sdot rArr

sdot

rArr

확률변수 의실현값

의확률 도 함수 간단히 로표기

가 에 한확률표본일때 들의결합확률 도 함수

기호

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 85 -

lt정의 814gt

( ) ( )( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

1

1 1

1

1 1

1 1

11

|

|

|

n

n n

n

n n

n n

n

X X

f x x f x x

X X

f x x f x x d

X X x x

f x xh x x

θ

θ π θ θ

π θ θ θ

θ

π θθ

= sdot

= sdot

sdot=

int

i 과 의결합확률 도 함수

의주변확률 도 함수

의관측값 이주어졌을때 의조건부확률 도 함수

( )( )1

|

n

nf x xθ

( )1 nX X 모수 를갖는분포로부터의확률표본θ

( ) ( )( ) ( )

1 posterior distribution

nh x xθ θrArr 의사후분포

엄 히는사후분포의 확률 도 함수 또는사후 확률 도 함수

( )

사전분포 실험 확률표본추출 전에가지고있던 에 한정보

사후분포 사전정보와 표본정보를종합한것으로 실험후에가지게되는

에 한정보

θ

θ

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 86 -

lt예제 837gt 공정불량률 p에 한 사전분포 Be(ab)

rArr p의 사전 확률 도함수

ㆍ 제품 n개를 뽑아 검사했을 때의 p 에 한 사후분포는

1 i번째 제품 불량품

0 i번째 제품 양품

( ) ( )( ) ( )

( ) 11 1 0 1baa bp p p p

a bπ minusminusΓ +

= minus lt ltΓ Γ

iX =

( )

( ) ( ) ( )

1

1

11 1

~ 1

| | 1 (1 )ii i i

n

n nxx x n x

n ii i

X X iid b p

f x x p f x p p p p pminus minussum sum

= =

rArr

rArr = = minus = minusprod prod

( ) ( )1 nX X psdot 과 의결합 확률 도 함수

( ) ( ) ( )( )

( ) ( )

1 1

1 1

|

(1 ) 0 1i i

n n

a x n b x

f x x p p f x x pa b

P p pa b

π

+ minus + minus minussum sum

=

Γ += minus lt lt

Γ Γ

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 87 -

( ) ( )( )

( )( ) ( )

1 111

1

| (1 )

a x n b xn i in

n i i

pf x x p n a b

h p x x p pf x x a x n b x

+ minus + minus minussum sum

sdot

Γ + += = minus

Γ + Γ + minussum sum

의사후 확률 도함수

( ) 0 1

i i

p

p Be a x n b x

lt lt

rArr + + minussum sum의사후분포는

( )

( ) ( ) ( )( ) ( )

( )

( )( ) ( )

( ) ( )( )

1

111 1

1

n

n b xa x iin n

i i

X Xa b

f x x f x x p dp p p dpa b

a x n b xa ba b n a b

+ minus minussum+ minussum

sdot

Γ += = minus

Γ Γ

Γ + Γ + minusΓ +=

Γ Γ Γ + +

int int

sum sum

의주변 확률함수

lt정의 815gt ( )1 nX Xθ θ θsdot = 미지의모수 의추정량

( )1(loss function)

nx xθ손실함수 추정값 과 모수의차이로

인해발생하는손실을함수로표현한것

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 88 -

lt정의 816gt

( ) ( )

( ) ( )( )( )

( )

2

1

1

n

n

L

L L X X

X X

L

θ θ θ θ

θ θ

θ θ θ θ

θ θ

θ θ

sdot

minus = minus

= minus

sdot =

rArr =

자주쓰는손실함수

손실함수 확률변수

추정량 이좋은추정량인지를가리는수단으로

확률변수인손실함수 의기 값을쓴다

( )( ) ( ) ( ) ( )1 1

(risk function)

| n n

L

R E L L f x x dx dx

위험함수 손실함수 의기 값θ θ

θ θ θ θ θ θ θ= = int int

( )( )

R

R

θ θ θ θ

θ θ

i 위험함수 는 의함수이고 는확률변수로취급되므로

는 확률변수

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 89 -

lt정의 817gt

( ) ( ) ( ) ( ) ( )1 1 1 1 | |

n n n nf x x f x x f x x h x xi

이므로베이즈위험은

π θ θ θ θsdot = = sdot

( )

( )

R

π θ θ

θ θ θ

sdot

sdot

모수 의사전분포

추정량 의위험함수

( )

( ) ( ) ( )

( )

Bayes risk

Bayes estimator

r R dθ π θ θ π θ θ

θ

rArr

= sdotint

베이즈위험 위험함수의기 값

베이즈추정량 의추정량들중베이즈

위험을최소로하는것

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

1 1

1 1 1

|

|

n n

n n n

r R d

L f x x dx dx d

L h x x d f x x dx dx

θ π θ θ π θ θ

θ θ θ π θ θ

θ θ θ θ

= sdot

=

=

int

int int int

int int int

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 90 -

lt정리 89gt

( )

( ) ( )

1

1

|

n

n

x x

L h x x d

이적분을최소화 하는것은매 마다괄호 안의적분을

최소화하는것과 같다 즉

를최소화 하는것

θ θ θ θint

( )ii) L θ θ θ θ θ= minus 이면 의베이즈추정값은사후분포의

중앙값

( ) ( )

( ) ( )

2

1 1

i)

| | n n

L

E x x h x x d

θ θ θ θ θ

θ θ θ θ

= minus

= int

이면 의베이즈추정값은사후분포의

기 값

( ) ( ) ( ) ( )2

1 1i) | |

n nL h x x d h x x d

를최소화 하는 를구하기위해 로미분하면

θ θ θ θ θ θ θ θ

θ θ

hellip = minus hellipint int(증)

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 91 -

( ) ( )

( )

1

1

| 0

|

n

n

h x x d

h x x d

θ θ θ θ

θ θ θ θ

minus =

rArr = =

int

int 사후분포의기 값

( ) ( ) ( )1 1

ii) | |

lt 331 gt

n nL h x x d h x x d E

E

E X b

b

θ θ θ θ θ θ θ θ θ θ

θ θ θ θ

= minus = minus

hArr minus

minus⎡ ⎤⎢ ⎥

=⎢ ⎥⎣ ⎦

rArr

int int를최소화 하는 사후분포의기 값 를최소화 하는

그런데 보충문제 에서 를최소화하는

분포의 중앙값

베이즈추정값 사후분포의중앙값

lt예제 838gt ( ) ( )( )

2

lt 837gt

i i

i

L p p p p

Be a x n b x

a xp

n a b

예제 에서 이면 에 한베이즈

추정값은 사후분포 의기 값

θ = minus

+ + minus

+rArr =

+ +

sum sumsum

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 92 -

lt예제 839gt

( ) ( )( )

( )( )0

2

2

2

21

1

2

1 | |2

12

in xn

n ii

f x x f x e

e

μ

μ μ

α

μ μπ

π μπα

minussumminus

=

minusminus

⎛ ⎞sdot = = ⎜ ⎟⎝ ⎠

=

prod

( )( )

( ) ( )

1

2 20 0

2

~ 1

nX X iid N

N

L

의사전분포 는알고있다

손실함수

의베이즈추정값은

μ

μ μ α μ α

μ μ μ μ

μ

sdot

sdot

sdot minus = minus

rArr

( ) ( ) ( )( ) ( )

( )

2202

1 1

2 2

pdf

|

1 1 2 2

10

i

n n

n x

f x x f x x

e eμ μ μ

α

μ π μ μ

πα π

minus minussumminus minus

sdot

= sdot

⎛ ⎞= times⎜ ⎟⎝ ⎠

결합

정리하면 연습문제

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 93 -

① ②

( )1 pdf nX X 의주변sdot

( )

( )( )

( )( )( ) ( )

2

2

222 2 2002

2 2 2 2

2

1 exp2 2 122

pdf

BiA

n

nxxAenA

N B A x

μ μ αμ αα α αα ππ

μ

minusminus ⎧ ⎫⎡ ⎤⎧ ⎫ ++⎪ ⎪ ⎪ ⎪= times minus +⎢ ⎥⎨ ⎬ ⎨ ⎬+⎪ ⎪ ⎢ ⎥⎪ ⎪⎩ ⎭ ⎣ ⎦⎩ ⎭

= times

sum

의 와 무관한 들의함수

2 20

2 2 1 1

nxB An n

μ α αα α

+= =

+ +여기서

( ) ( )1 1 n nf x x f x x d d dμ μ μ μ= = times = =int int int① ① ②②②

( ) ( )( )

( )

11

1

2

pdf

|

nn

n

f x xh x x

f x x

N B A

μθ

μ

sdot

times= = =

사후

의 사후분포는

①①

②

②

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 94 -

의베이즈추정값은사후분포의평균μrArr2

02

2

02 2

0

1

11 1

nxBn

n xn n

x

μ αμα

αμα α

μ

+= =

+

⎛ ⎞ ⎛ ⎞= +⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

=사전분포의평균 와 표본평균의값 의가중평균

2

1 n사전분포의분산

가중치 표본평균의분산

α⎧⎨⎩

bull 베이즈 추정법에 한 비판

1 미지의 모수를 확률변수로 간주하는 것은 현실과 다르다

2 사전분포를 정확히 알기 어렵다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다

제8장 추정- 95 -

그러나

1 모수의 사전분포를 정확히 모르더라도 모수에 해

아무것도 모르는 경우는 드물고

2 베이즈 방법을 쓰면 체로 가정된 사전분포에 상당히 둔감하면서

3 우리의 직관에 부합하고 사용이 간편한 결과가 얻어지는 등

장점이 많아 널리 쓰이고 있다