Bhattacharyya Bound

song

Outline

• Bhattacharyya Boundの定義

• Bhattacharyya距離の性質

• 三つの例題についてのBhattacharyya

BoundとBayes errorの結果

• 他のbound

Keywords

• Bhattacharyya Bound

• Bhattacharyya distance

• Bayes error

• Asymptotic nearest neighbor error

Bhattacharyya Boundの定義

• 定義式は

そしては Bhattacharyya距離と呼ばれる。二つの

分布はともに正規分布であるとき。この距離は以下の式のようになる：

)151.3(

)2/1(

212121u ePPdX)X(p)X(pPPµ−==ε ∫

)152.3(

21

21

12

1

21T

12

||||

|2

|In

2

1)MM(

2)MM(

8

1)2/1(

ΣΣ

Σ+Σ

+−

Σ+Σ

−=µ−

)2/1(µ

Bhattacharyya Boundの性質

• 正規分布Bhattacharyya距離について– 二つの正規分布の共分散行列は同じの時のChernoff距離(sの関数とするとき)の最大値である。

– 式3.151において、二つの部分に分けてみると、前の部分はM1=M2

のとき消える、そして後ろの部分は のとき無くなる。言い換えれば、前の部分は二つの正規分布のmeanの違いを表す、後ろ

の部分は共分散の違いを表している。

)152.3(

21

21

12

1

21T

12

||||

|2

|In

2

1)MM(

2)MM(

8

1)2/1(

ΣΣ

Σ+Σ

+−

Σ+Σ

−=µ−

21 Σ=Σ

三つの例題

• 例題12

– まずChernoff距離は

– DATA において、Chernoff距離の最大値を計算するとS0=0.58になる。（P1=P2=0.5）それに対応したChernoff

boundは0.046になる。この数値はBhattacharyya bound

の0.048に近い。一方Bayes errorは0.019になる。

[ ] )150.3(s1s

21

12

1

21

T

12

|2||1|

|)s1(s|In

2

1)MM()s1(s)MM(

2

)s1(s)s(

−

−

ΣΣΣ−+Σ

+−Σ−+Σ−−

=µ

Λ−I

三つの例題

• 例題13

– Nx(0,I),Nx(0, )についてBhattacharyya距離を計算する。

– そして以下になる

もしnは そして の時、距離は無限大のなって、boundは0に接近。当然Bayes errorも接近。

Λ

||||

|2

|In

2

1)2/1(

21

21

ΣΣ

Σ+Σ

=µ

i2

i1In

2

1)2/1(

n

1i λλ+

Σ=µ=

0i ≠λ∞+

三つの例題

• 例題14

– Xi(i=1…n)はIID。 クラスは[0.4,0.6]そして[0,1]区間上の

一様分布である。

– Boundはnにつれて小さくなる。たとえば、n=1,P1=P2=0.5の時0.224となる、一方Bayes errorは0.1である。

21,ωω

n

21

i

6.0

4.0

n

1i21

2121

2121u

477.0PP

dX5PP

dX)X(p)X(pPP

dX)X(p)X(pPP

=

Π=

=

=ε

∫

∫

∫

=

∞+

∞−

他のbound

• たとえばAsymptotic nearest neighbor error

• 定義式：

• Bayes errorとBhattacharyya boundの中間。

• Bayes errorを計算するとき,各クラスで積分して和をとる。一方Bhattacharyya boundそしてAsymptotic nearest neighbor

errorはP1p1(X)とP2p2(X)の積についての関数を積分している。Asymptotic nearest neighbor errorは7章にまた詳しく説明され

る。

)157.3(2211

2211

dX)X(pP)X(pPdX)X(p

)X(pP)X(pP2 ∫∫ <=<=ε