maximum likelihood estimator ii - embedded and signal ... · 10 maximum likelihood estimator ii...

1010Maximum Likelihood EstimatorMaximum Likelihood Estimator

IIIIIIIIAsst. Prof. Dr. Peerapol Yuvapoositanon, PhD, DIC

Department of Electronic Engineering dand

Graduate School of Electrical Engineering Mahanakorn University of Technology

Advanced Digital Signal Processinghttp://embedsigproc.wordpress.com

Asst. Prof. Dr. P.Yuvapoositanon

1

Mahanakorn University of Technology

ตวประมาณคาควรจะเปนสงสดตวประมาณคาควรจะเปนสงสดในทางในทางปฎบตปฎบต

ป ป• จากตอนทแลว ตวประมาณคาควรจะเปนสงสดนน ถาหากพจารณาในกรณจานวนขอมลขนาดใหญแลว จะเปนตวประมาณคาแบบไรไบแอส

• และยงสามารถใหแปรปรวนตาสดไดถง CRLB และมการกระจายเปนเกาสดวย



2

สญลกษณสญลกษณสญลกษณสญลกษณ

การกระจายในเชง แบบเชงเสนกากบ

1ˆ ( )a

Iθ θ θ−N แบบเชงเสนกากบ

1, ( )MLE Iθ θ θN ∼

คาผกผนของคาฟชคาผกผนของคาฟชเชอรอนฟอรเมชน



3

วธมอนตวธมอนตคารโลคารโล((Monte Carlo MethodMonte Carlo Method))

ป ใ • เนองจากการหาคาควรจะเปนในทางทฤษฎนนไมไดงายดายนก ดงนนเราจงหนมาหา กระบวนการทางตวเลขทสามารถจะทาไดทเรยกวาเรยกวา

มอนตคารโล (Monte Carlo)



4

คาเฉลยกลางและความแปรปรวนคาเฉลยกลางและความแปรปรวนคาเฉลยกลางและความแปรปรวน คาเฉลยกลางและความแปรปรวน

M1ˆ{ }M

iE A AM

= ∑1

{ } iiM =∑

( )21ˆ ˆ ˆvar( ) { }M

i iA A E A= −∑( )1

var( ) { }i ii

A A E AM =

= ∑



5

M=M=50005000M=M=50005000 ใ • กาหนดใหคาจรง (True value) ของ A เทากบ 1

• จานวนของ N มคาแตกตางกนจานวนของ N มคาแตกตางกน



6

ฮสฮสโตแกรมโตแกรม (Histogram)(Histogram)ฮสฮสโตแกรม โตแกรม (Histogram) (Histogram)



7

คาประมาณจากวธมอนตคาประมาณจากวธมอนตคารโลคารโลคาประมาณจากวธมอนตคาประมาณจากวธมอนตคารโลคารโล1ˆ{ }M

E A A= ∑ ( )21ˆ ˆ ˆvar( ) { }M

A A E A= −∑1

{ } ii

E A AM =

= ∑ ( )1

var( ) { }i ii

A A E AM =

= −∑



8

การคานวณหาการคานวณหา MLE MLE โดยโดยกระบวนการเชงตวเลข กระบวนการเชงตวเลข

ป • เราสามารถคานวณหาคาตวประมาณคาแบบMLE นไดจากกรรมวธ กระบวนการเชงตวเลข (Numerical Methods)

• วธของนวตน (Newton)• วธของนวตน (Newton)

• กรรมวธของนวตน-ฟรเยร (Newton-Fourier Method)

• นวตน-ราฟสน (Newton-Raphson)• นวตน-ราฟสน (Newton-Raphson)



9

• ตวอยางท 6.3 หากมสญญาณขอมลจากการสงเกตการณเปน

( ) ( ) 0 1nx n r w n n N+( ) ( ), 0, , 1nx n r w n n N= + = −…

2( ) (0 )w n σN∼( ) (0, )ww n σN∼



10

โ ป ป • โดยคาพารามเตอร r นนเปนตวประกอบเลขชกาลงทตองการประมาณคาและคาทควรจะเปนสาหรบ r กคอ คาทมากกวา 0

• ตวประมาณคาควรจะเปนสงสด สาหรบ r น ก• ตวประมาณคาควรจะเปนสงสด สาหรบ r น กคอเปนการหาคาสงสด (Maximisation) ของฟ ปฟงกชนคาควรจะเปน (Likelihood function)



11

11 1 N−⎡ ⎤( )

12

2 20

1 1( ; ) exp ( )

(2 ) 2

Nn

w w n

p r x n rπσ σ =

⎡ ⎤⎢ ⎥= − −⎢ ⎥⎣ ⎦

∑x0( )w w n=⎣ ⎦



12

• สงเกตวาคาทนอยทสดของเทอม

( )1

21( )

N

x n r−

−∑ ( )20

( )2 w n

x n rσ =

∑

• ทาใหคาควรจะเปน มคามากสด



13

ไ • สมการแบบไมเชงเสน (Non-linear equation)

1 1N N

( ) ( )1 1( )

( ) ( )N N

n nJ rx n r x n r

r r

− −∂ ∂= − −

∂ ∂∑ ∑

( )

0 01

1( )

n nN

n n

r r= =−

∂ ∂

∑( ) 1

0

( ) n n

n

x n r nr −

=

= − −∑



14

ฟงกชนเปาหมายฟงกชนเปาหมายฟงกชนเปาหมายฟงกชนเปาหมาย

( )1

2( ) ( )

NnJ

−

( )2( ) ( ) nJ r x n r= −0n=



15

• ตองการ( )J r∂ ( )

0J rr

∂=

∂• จงเทยบเทา r∂

1N

( )1

1( ) 0N

n nx n r nr−

−− =∑0n=



16

ln ( ; )p θ∂ xln ( ; )0

pr

θ∂=

∂xr∂



17

การหาคาคาตอบแบบวนซา การหาคาคาตอบแบบวนซา (Iterative(Iterative Method)Method)

• กาหนด

ln ( ; )( )

pg

θθ

∂=

x( )g θ

θ=

∂



18

ฟงกชนเชงเสนฟงกชนเชงเสนฟงกชนเชงเสนฟงกชนเชงเสนป ป ฟ • การกระจายเปนแบบเกาส ความชนเปนฟงกชน

เชงเสน



19

ฟงกชนไมเปนเชงเสนฟงกชนไมเปนเชงเสนฟงกชนไมเปนเชงเสน ฟงกชนไมเปนเชงเสน • การกระจายแบบเรยลห (Rayleigh Distribution)

2

( ) expx x

p x b⎛ ⎞⎟⎜ ⎟= −⎜2 2( ) exp

2p x b

b b⎟= −⎜ ⎟⎜ ⎟⎜⎝ ⎠



20

0 5b = ไ ป ฟ

0.5b =• การกระจายแบบเรยล ความชนไมเปนฟงกชน

เชงเสน



21

การประมาณคาความชนการประมาณคาความชนการประมาณคาความชนการประมาณคาความชน • อนกรมเทยเลอร (Taylor series) อนดบทหนง

( )d θ0 0

( )( ) ( ) ( )

dgg g

dθ

θ θ θ θθ

≈ + −0

0 0( ) ( ) ( )d θ θθ =



22

( )( ) ( ) ( )

dg θθ θ θ θ

0

1 0 1 0( )

( ) ( ) ( )g

g gd θ θ

θ θ θ θθ =

≈ + −0θ θ



23

ทจดตาสดทจดตาสด ( ) 0g θ =ทจดตาสด ทจดตาสด 1( ) 0g θ =

( )0 ( ) ( )

dg θθ θ θ≈ +0 1 0

( )0 ( ) ( )

gg

d θ θθ θ θ

θ =≈ + −

0θ θ=



24

( )θ01 0

( )g θθ θ= −1 0 ( )dgθ θ

θd θ θθ

0d θ θθ =



25

วธของวธของนวนวตนตน ราฟราฟสนสนวธของวธของนวนวตนตน--ราฟราฟสนสน



26

ln ( ; )( )

pg

θθ

θ∂

=∂xθ∂12 ln ( ; ) ln ( ; )p pθ θ

−⎡ ⎤∂ ∂x x1 2

ln ( ; ) ln ( ; )

k

k kp p

θ θ

θ θθ θ

θθ+=

⎡ ⎤∂ ∂⎢ ⎥= − ⎢ ⎥ ∂∂⎣ ⎦

x x

k



27

อนพนธอนดบทหนงอนพนธอนดบทหนงอนพนธอนดบทหนงอนพนธอนดบทหนง

1N

( )1

12

( ; ) 1( )

Nn np r

x n r nr−

−∂= −

∂ ∑x ( )20w nr σ =∂ ∑



28

อนพนธอนดบทสองอนพนธอนดบทสองอนพนธอนดบทสองอนพนธอนดบทสอง

2 1 12 2 2( ; ) 1

( 1) ( ) (2 1)N N

n np rn n x n r n n r

− −− −

⎡ ⎤∂ ⎢ ⎥= − − −⎢ ⎥∑ ∑x2 2

0 0

12

( 1) ( ) (2 1)

1

w n n

Nn n

n n x n r n n rr σ = =

−

⎢ ⎥∂ ⎣ ⎦∑ ∑

∑ 22

0

1[( 1) ( ) (2 1) ]n n

w n

nr n x n n rσ

−

=

= − − −∑



29

rθ =k krθ =

( )1

1( )N

n nx n r nr−

−∑ ( )0

1 1

( ) k kn

k k N

x n r nr

r r =+ −

−= −

∑1

2

0

[( 1) ( ) (2 1) ]N

n nk k

n

nr n x n n r+

−

=

− − −∑0n=



30

การลเขาของคาการลเขาของคา rkrk ทคาเรมตนตางๆทคาเรมตนตางๆการลเขาของคา การลเขาของคา rkrk ทคาเรมตนตางๆทคาเรมตนตางๆ



31

การหาคาคาดหวงสงสดการหาคาคาดหวงสงสดExpectation Expectation MaximisationMaximisation

ป ป• เปนอกหนงกรรมวธการหาตวประมาณคาควรจะเปนสงสดแบบวนซา (Iterative) ( )

• EM นนเหมาะกบในบางสถานการณนนทตองการประมาณคาขอมลทขาดหายหรอไมตองการประมาณคาขอมลทขาดหายหรอไมสมบรณ (Incomplete data)



32

• x นนเรยกวา ขอมลทสมบรณ (Complete data)

• สวนขอมล y ทไดมาจากการสงเกตการณนนจะสวนขอมล y ทไดมาจากการสงเกตการณนนจะเรยกวา ขอมลทไมสมบรณ (Incomplete data)

( )T=y x( )Ty xAdvanced Digital Signal Processinghttp://embedsigproc.wordpress.com


33

• ตวอยางท 6.4 สมมตวาระบบรบสญญาณหนงมสายอากาศททาหนาทรบสญญาณอยหาตน ญญ

• ซงแตละตนมความสามารถของการรบสญญาณไมเทากน โดยจะสงเกตไดจากคา joint pdf ของไมเทากน โดยจะสงเกตไดจากคา joint pdf ของสญญาณทรบจากสายอากาศ

• โดยมคาคงท pi เปนตวแสดงความไมเทาเทยมกนของสายอากาศแตละตนกนของสายอากาศแตล ตน



34

สญญาณมครบสมบรณสญญาณมครบสมบรณสญญาณมครบสมบรณสญญาณมครบสมบรณ



35

ป • เราสามารถหาสมการคาควรจะเปนของการรบสญญาณรวมจากสายอากาศทงหาตนนไดจากญญการกระจายแบบมลตโนเมยล (Multinomial distribution) ซงอยในรปของ pdf แบบมdistribution) ซงอยในรปของ pdf แบบมเงอนไข (Conditional pdf)



36

0 0 2 3 40 1 2 3 4 1 1 1 1 1 1 1

( )x x x x xx x x x x

p π π π π π+ + + + ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞⎟ ⎟ ⎟ ⎟ ⎟⎜ ⎜ ⎜ ⎜ ⎜= − −⎟ ⎟ ⎟ ⎟ ⎟⎜ ⎜ ⎜ ⎜ ⎜⎜ ⎜ ⎜ ⎜ ⎜x

0 1 2 3 4

( )! ! ! ! ! 2 4 4 4 4 4 4

px x x x x

π π π π π= ⎟ ⎟ ⎟ ⎟ ⎟⎜ ⎜ ⎜ ⎜ ⎜⎟ ⎟ ⎟ ⎟ ⎟⎜ ⎜ ⎜ ⎜ ⎜⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠x



37

0 10 1 2 3 4( ) 1 1

! ! ! ! ! 2 4

x xp x x x x xx x x x x

ππ

π π π π∂ ∂ + + + + ∂ ⎛ ⎞ ∂ ⎛ ⎞⎟ ⎟⎜ ⎜= + +⎟ ⎟⎜ ⎜⎟ ⎟⎜ ⎜⎝ ⎠ ⎝ ⎠∂ ∂ ∂ ∂x

2 3 4

0 1 2 3 4! ! ! ! ! 2 4

1 1 1 1 14 4 4 4 4

x x x

x x x x xπ π π π

π π ππ π π

⎝ ⎠ ⎝ ⎠∂ ∂ ∂ ∂

∂ ⎛ ⎞ ∂ ⎛ ⎞ ∂ ⎛ ⎞⎟ ⎟ ⎟⎜ ⎜ ⎜+ − + − +⎟ ⎟ ⎟⎜ ⎜ ⎜⎟ ⎟ ⎟⎜ ⎜ ⎜⎝ ⎠ ⎝ ⎠ ⎝ ⎠∂ ∂ ∂

1 2 3 4

4 4 4 4 41 1 1 14 4 4 41 1 1 1 1 1

x x x x

π π π⎝ ⎠ ⎝ ⎠ ⎝ ⎠∂ ∂ ∂

= − − +

2

1 1 1 1 1 14 4 4 4 4 4

1 1 x

π π π π+

− −

⎛ ⎞⎟⎜ 3 1 1x ⎛ ⎞⎟⎜+21 4 4x π⎟⎜ − −⎟⎜ ⎟⎝ ⎠

=

344 4 4 4

1 14 4

xπ π π

π π

⎟⎜− + − ⎟⎜ ⎟⎝ ⎠⎛ ⎞⎟⎜ − ⎟⎜ ⎟⎝ ⎠



384 4 ⎟⎝ ⎠

( ) 1 1 1 1∂ ⎛ ⎞ ⎛ ⎞2 31 4

( ) 1 1 1 10

4 4 4 4 4 4p x x

x xπ

π π π ππ

∂ ⎛ ⎞ ⎛ ⎞⎟ ⎟⎜ ⎜= − − − + − =⎟ ⎟⎜ ⎜⎟ ⎟⎜ ⎜⎝ ⎠ ⎝ ⎠∂x

( ) ( )1 2 3 4 1 4 0x x x x x xπ+ + + − + =



39

1 4ˆ lx x

π+

=1 2 3 4

ml x x x xπ

+ + +

• จะพบวาหากขอมลมความสมบรณ ( หาคา x ได ) ทกตว) การคานวณหาคาของ pi นนกจะ

สามารถทาไดโดยงาย เชนดงขางตน Advanced Digital Signal Processinghttp://embedsigproc.wordpress.com


40

สญญาณไมครบสมบรณสญญาณไมครบสมบรณสญญาณไมครบสมบรณสญญาณไมครบสมบรณ



41

ไ • สญญาณทสงเกตการณไดสญญาณหนงเกดจากการรวมสญญาณจากสายอากาศมากกวาญญหนงตน นนกจะทาใหเราไมสามารถแยกออกไดวาสญญาณทรบมาจากแตละตนนนเปนอยางไรวาสญญาณทรบมาจากแตละตนนนเปนอยางไร



42

y x x= +1 0 1y x x

y x

= +=2 2y x

y x

==3 3y x

y x

=

4 4y x=



43

1 2 3 41 2 3 4 1 1 1 1 1 1 1

( )y y y yy y y y

p π π π π π+ + + ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞⎟ ⎟ ⎟ ⎟⎜ ⎜ ⎜ ⎜= + − −⎟ ⎟ ⎟ ⎟⎜ ⎜ ⎜ ⎜y1 2 3 4

( )! ! ! ! 2 4 4 4 4 4 4

py y y y

π π π π π= + ⎟ ⎟ ⎟ ⎟⎜ ⎜ ⎜ ⎜⎟ ⎟ ⎟ ⎟⎜ ⎜ ⎜ ⎜⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠y



44

( ) ( )2ˆ ˆ2 2 2 0y y y y y y y y yπ π+ + + − − − − − =( ) ( )1 2 3 4 1 2 3 4 42 2 2 0ml mly y y y y y y y yπ π+ + + − − − − − =

• แตสงเกตวานเปนสมการทแกไดยากกวา• จะใช Expectation Maximisation ในการ

แกปญหาแกปญหา Advanced Digital Signal Processinghttp://embedsigproc.wordpress.com


45

ทฤษฎของทฤษฎของเบยสเบยส((BayesBayes’ theorem)’ theorem)

ใ • เราเรมจากการใชทฤษฎของเบยส (Bayes’ theorem))

( ; ) ( ; ) ( ; )p p pθ θ θ=x x y y( ; ) ( ; ) ( ; )p p pθ θ θx x y y



46

Take LogTake LogTake LogTake Log

ln ( ; ) ln ( ; ) ln ( ; )p p pθ θ θ= −y x x yln ( ; ) ln ( ; ) ln ( ; )p p pθ θ θ= −y x x y



47

หาคาคาดหวงหาคาคาดหวงหาคาคาดหวงหาคาคาดหวง

{ } { } { }ˆ ˆ ˆln ( ; ) ; ln ( ; ) ; ln ( ; ) ;E p E p E pθ θ θ θ θ θ′ ′ ′= −y y x y x y y



48

( ) ( )ˆ ˆl ( ) U Vθ θ θ θ θ′ ′ ′( ) ( )ln ( ; ) , ,p U Vθ θ θ θ θ′ ′ ′= −y



49

ป ป ˆ• หากคาประมาณ ณ ขณะนนเปนคาจรง ( ) ดงนนคาลอกของฟงกชนคาควรจะเปน (log-

θ θ=

( glikelihood) ใดๆ จะมคาสงสดเมอ ดวยθ θ′ =

ˆ ˆ ˆ( ) ( )V Vθ θ θ θ′ ≤( , ) ( , )V Vθ θ θ θ′ ≤



50

ป ′• ซงจะแปลวา หากยงมคาของ จนกระทงθ ′

ˆ ˆ ˆ( ) ( )U Uθ θ θ θ′ >( , ) ( , )U Uθ θ θ θ>

• จะไดวาคาลอกของคาควรจะเปน (log- ไ likelihood) นนกยงสงกวาไดอก



51

ˆln ( ; ) ln ( ; )p pθ θ′ >y yln ( ; ) ln ( ; )p pθ θ>y y

• ซงนกคอสงทเปนพนฐานของอลกอรธม EM ซง ปเขยนเปน



52

EM AlgorithmEM AlgorithmEM AlgorithmEM Algorithm



53

ใ • ลองใชขอมลเฉพาะชดหนงตวเลขเพอแสดงการใชอลกอรธม EM ในการหาผลลพธ ตวประมาณคาควรจะเปนสงสด

{ } { }1 2 3 4, , , 175,23,38,29y y y y ={ } { }1 2 3 4



54

24 62056+24 62056ˆ 0.5153

530mlπ+

= =530



55

0 1 2 3 40

0 1 2 3 4

1ln ( ) ln ln

! ! ! ! ! 2x x x x x

p xx x x x x

π+ + + + ⎛ ⎞⎟⎜= + ⎟⎜ ⎟⎜⎝ ⎠

x0 1 2 3 4

1 2 3 4

! ! ! ! ! 2

1 1 1 1 1 1ln ln ln ln

4 4 4 4 4 4

x x x x x

x x x xπ π π π

⎝ ⎠

⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞⎟ ⎟ ⎟ ⎟⎜ ⎜ ⎜ ⎜+ + − + − +⎟ ⎟ ⎟ ⎟⎜ ⎜ ⎜ ⎜⎟ ⎟ ⎟ ⎟⎜ ⎜ ⎜ ⎜⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠4 4 4 4 4 4⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠



56

( )( ) ( ) ( )0 1

0 1

23 38 29ˆ ˆ ˆ, {ln ( ) ; } ln ;

! !23!38!29!i i ix x

U E p Ex x

π π π π π⎧ ⎫⎪ ⎪+ + + +⎪ ⎪′ ′= = ⎨ ⎬⎪ ⎪⎪ ⎪⎩ ⎭

x y y

( ) ( )0 1

1 1 1 1ˆ ˆ { ; } ln { ; }ln 23 ln

2 4 4 4i iE x E xπ π π π

⎩ ⎭⎛ ⎞ ⎛ ⎞ ⎛ ⎞⎟ ⎟ ⎟⎜ ⎜ ′ ⎜ ′+ + + −⎟ ⎟ ⎟⎜ ⎜ ⎜⎟ ⎟ ⎟⎜ ⎜ ⎜⎝ ⎠ ⎝ ⎠ ⎝ ⎠

y y

1 1 38 ln

4 4π′+ −

129 ln

4π

⎛ ⎞ ⎛ ⎞⎟ ⎟⎜ ⎜ ′+⎟ ⎟⎜ ⎜⎟ ⎟⎜ ⎜⎝ ⎠ ⎝ ⎠



57

( ) ( )00

( )

12ˆ{ ; } 175 1 1

i i

ix E x π =y

( )

( )

1 1ˆ

2 41

ˆ

i

i

π+

( )

( ) ( )11

( )

1ˆ

4ˆ{ ; } 175 1 1ˆ

i

i i

ix E x

ππ

π=

+y

( )

2 4π+



58

( )( 1) ( )ˆ ˆi iU+ ′( )( 1) ( )ˆ ˆargmax ,i iUπ

π π π+

′′=

π



59

( )i∂ ′ ( )ˆ, 0iU π π∂ ′ =′∂π′∂



60

( )( ) ( )0 1 23 38 29ˆ ˆ, ln ;

! !23!38!29!i ix x

U Ex x

π π ππ π

⎧ ⎫⎪ ⎪∂ ∂ + + + +⎪ ⎪′ = ⎨ ⎬⎪ ⎪′ ′∂ ∂y( )

0 1

( ) ( )0 1

! !23!38!29!

1 1 1 1 ln ln 23 ln

2 4 4 41 1 1

i i

x x

x x

π π

π ππ π π

⎪ ⎪∂ ∂ ⎪ ⎪⎩ ⎭∂ ⎛ ⎞ ∂ ⎛ ⎞ ∂ ⎛ ⎞⎟ ⎟ ⎟⎜ ⎜ ′ ⎜ ′+ + + −⎟ ⎟ ⎟⎜ ⎜ ⎜⎟ ⎟ ⎟⎜ ⎜ ⎜⎝ ⎠ ⎝ ⎠ ⎝ ⎠′ ′ ′∂ ∂ ∂∂ ⎛ ⎞ ∂ ⎛ ⎞1 1 1

38 ln 29 ln4 4 4

π ππ π∂ ⎛ ⎞ ∂ ⎛ ⎞⎟ ⎟⎜ ′ ⎜ ′+ − +⎟ ⎟⎜ ⎜⎟ ⎟⎜ ⎜⎝ ⎠ ⎝ ⎠′ ′∂ ∂

( ) ( )( )1

1 1 161 29

4 4 4ix −( ) ( )1

( )

4 4 41 1 1 14 4 4 4

1 1 1 1 161 29i

π π π= + +

′ ′ ′−

⎛ ⎞ ⎛ ⎞⎟ ⎟′ ′ ′⎜ ⎜( )1 61 29

4 4 4 4 41 14 4

ix π π π

π π

⎟ ⎟′ ′ ′⎜ ⎜− − + −⎟ ⎟⎜ ⎜⎟ ⎟⎝ ⎠ ⎝ ⎠=

⎛ ⎞⎟′ ′⎜ − ⎟⎜ ⎟⎝ ⎠



61

( )( )

( )( 1) 1ˆ

29i

ii U

xπ ππ π+ ′∂

+′ ( )( )( ) 1,( )01 90

Uix

π π

ππ π+ ∂

=′∂

= =+



62

คาประมาณของคาประมาณของ xx00 และและ xx11คาประมาณของ คาประมาณของ xx0 0 และ และ xx1 1

X0=139 1482X0=139.1482

x1=35 851736x1=35.851736



63

คาประมาณของคาประมาณของ πคาประมาณของคาประมาณของ π

p=0.515303



64

สรปสรปสรปสรป

ใ ใ• เราสามารถใชกระบวนการเชงตวเลขในการหาคาตอบ MLE เชน วธนวตน-ราฟสน ทใชกรณทฟงกชนเปาหมายมความไมเปนเชงเสนได

• EM ใชสาหรบการหาตวประมาณคาในกรณท• EM ใชสาหรบการหาตวประมาณคาในกรณทขอมลทตองการบางตวซอนอยในขอมลตวอนๆ

ไ หรอเรยกวาขอมลไมสมบรณ



65

maximum likelihood estimator ii - embedded and signal ... · 10 maximum likelihood estimator ii...

Documents