龍谷大学 先端理工学部 数理・情報科学課程 – applied...

25

Upload: others

Post on 06-Mar-2021

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2
Page 2: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2
Page 3: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2
Page 4: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2
Page 5: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2
Page 6: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2
Page 7: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2
Page 8: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2
Page 9: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2
Page 10: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2
Page 11: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2
Page 12: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2
Page 13: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.13

(参考) サンプル分散の式で 1/N − 1 をかける理由

サンプル分散 S2 の期待値を考えてみよう。

X1 − X̄N =(

1− 1N

)X1 − 1

N

N∑

k=2

Xk (13.1)

なので

(X1 − X̄N

)2 =(

1− 1N

)2

(X1)2−2(

1− 1N

)X1

1N

N∑

k=2

Xk +1

N2

N∑

k=2

(Xk)2 +1

N2

k,l,k 6=l

Xk Xl (13.2)

となる。この式の期待値 E((X1 − X̄N

)2)は {Xk, k = 1, · · · , N} がそれぞれ独立なので(

1− 1N

)2

E(X2)− 2(

1− 1N

)N − 1

NE(X)2 +

N − 1N2

E(X2) +(N − 1)(N − 2)

N2E(X)2

=N − 1

N

(E(X2)− E(X)2

)=

N − 1N

σ2 (13.3)

となる。S2 の期待値は上式のN

N − 1倍なのでサンプル分散の期待値が母分散に等しいことがわかる:

E(S2) = σ2 (13.4)

(例) ランダムウォークの母平均と母分散の時間発展

一般の時刻 t でのランダムウォークの母平均

µ(t) =∞∑

x=−∞xP (x, t) (13.5)

を計算してみよう。いきなり µ(t) を求めるのは難しそうなので,時間が 1ステップ増えるとµ(t) がどれだけ変化するかを考える。式 (8.1) より

µ(t + 1) =∞∑

x=−∞xP (x, t + 1) =

∞∑x=−∞

x(pP (x− 1, t) + qP (x + 1, t)) (13.6)

となる。上式右辺第 1項は

p

∞∑x=−∞

xP (x− 1, t) = p

∞∑y=−∞

(y + 1)P (y, t) = p

∞∑y=−∞

yP (y, t) + p

∞∑y=−∞

P (y, t)

= p µ(t) + p (13.7)

となる。y = x− 1 であり,∞∑

y=−∞P (y, t) = 1 を用いた。同様に

q

∞∑x=−∞

xP (x + 1, t) = q

∞∑

y′=−∞(y′ − 1)P (y′, t) = q

∞∑

y′=−∞y′P (y′, t)− q

∞∑

y′=−∞P (y′, t)

= q µ(t)− q (13.8)

Page 14: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.14

となるのでµ(t + 1) = µ(t) + p− q (13.9)

が得られる。µ(0) = 0 なのでµ(t) = (p− q) t (13.10)

となる。時間とともに p > q なら母平均は増加し,p < q なら減少する。

次に母分散を計算してみよう。まず,時刻 t + 1 でのランダムウォーカーの位置 X(t + 1) の 2

乗の期待値は

E(X(t + 1)2

)=

∞∑x=−∞

x2 P (x, t + 1) = p

∞∑x=−∞

x2 P (x− 1, t) + q

∞∑x=−∞

x2 P (x + 1, t)

= p

∞∑y=−∞

y2 P (y, t) + 2p∞∑

x=−∞y P (y, t) + p

∞∑x=−∞

P (y, t)

+ q

∞∑

y′=−∞y′2 P (y′, t)− 2q

∞∑

y′=−∞y′ P (y′, t) + q

∞∑

y′=−∞P (y′, t)

= (p + q)E(X(t)2) + 2(p− q)E(X(t)) + p + q

= E(X(t)2) + 2(p− q)µ(t) + 1 (14.11)

のように時刻 t の量と関係がつく。これより

σ2(t + 1) = E(X(t + 1)2

)− µ(t + 1)2

= E(X(t)2) + 2(p− q)µ(t) + 1−(µ(t) + p− q

)2

= σ2(t) + 4pq (14.12)

が得られ,母分散は t が 1 増えるごとに 4pq だけ増加することがわかる。。σ2(0) = 0 なので

σ2(t) = 4 p q t (14.13)

となる。

【問】ランダムウォーカーが確率 pR で 右へ,確率 pL で左へ,確率 pS でその位置にとどまる場合の時刻 t の母平均と母分散を求めなさい。

【答】上と同様に時刻 t + 1 と t の量の関係をつけると

µ(t + 1) = µ(t) + pR − pL , σ2(t + 1) = σ2(t) + 4pRpL (14.14)

が得られる。初期条件 µ(0) = 0 , σ2(0) = 0 より

µ(t) = (pR − pL) t , σ2(t) = 4pRpL t (14.15)

となる。

Page 15: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.15

・確率変数のとる値が連続 (実数)の場合

確率変数 X が離散的な値 {x1, x2, · · · } をとる場合は X = xi となる確率 P (xi) を考えたが,X のとる値が連続な場合は,X がある 1点の値をとる確率,例えば (X = 1.0となる確率) は0 となる。(点の長さは 0 であるため。)

X のとる値がある区間 [a , b] に入る確率,P (a ≤ X ≤ b)を考える必要がある。

P (a ≤ X ≤ b) =

∫ b

a

p(x) dx (15.1)

である場合 p(x) (≥ 0) は 確率密度関数 と呼ばれる。 ∫ ∞

−∞p(x) dx = 1 (15.2)

となっている。また,X のとる値が x 以下である確率 F (x) = P (−∞ < X ≤ x) を x の関数と考えて 累積分布関数 と呼ぶ。

F (x) =

∫ x

−∞p(x′) dx′ (15.3)

-2 -1 0.5 1 2

0.1

0.2

0.3

0.4

0.5

0.6

p(x) =1√π

e−x2

<注> dF (x)/dx = p(x) の関係がある。すなわち,F (x) は p(x) の原始関数の一つ。

・母平均 (離散的な場合の式 (10.1)に対応)

µ = E(X) =

∫ ∞

−∞x p(x) dx (15.4)

・関数 f(X) の期待値 (離散的な場合の式 (11.2)に対応)

E(f(X)) =

∫ ∞

−∞f(x) p(x) dx (15.5)

・母分散 (離散的な場合の式 (12.1)に対応)

σ2 = E((X − µ)2

)=

∫ ∞

−∞(x− µ)2 p(x) dx =

∫ ∞

−∞x2 p(x) dx− µ2 (15.6)

(例) 区間 [0 , 1) の一様乱数

p(x) =

{1 ; 0 ≤ x < 1

0 ; x < 0 || 1 ≤ x(15.7)

double uniform(void){

double r;

r = ((double) rand())/((double)RAND_MAX + 1.0);

return(r);

}

他の確率分布に従う確率変数は uniform() から作る。

Page 16: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.16

・累積分布関数

F (x) =

0 ; x < 0

x ; 0 ≤ x < 1

1 ; 1 ≤ x

(16.1)

・母平均

µ =

∫ 1

0

x dx =x2

2

∣∣∣∣x=1

x=0

=1

2(16.2)

・母分散

σ2 =

∫ 1

0

x2 dx− µ2 =x3

3

∣∣∣∣x=1

x=0

− 1

4=

1

12(16.3)

(例) 区間 [a , b) の一様乱数

p(x) =

{1/(b− a) ; a ≤ x < b

0 ; x < a || b ≤ x(16.4)

double get_myrandom(void){

double x;

double r;

r=uniform();

x= r*(b -a) + a ;

return x;

}

1 2 3 4

0.20.40.60.8

1F(x)

x

a = 1,b = 3 の場合

・累積分布関数

F (x) =

0 ; x < a

(x− a)/(b− a) ; a ≤ x < b

1 ; b ≤ x

(16.5)

・母平均

µ =

∫ b

a

x

b− adx =

x2

2(b− a)

∣∣∣∣x=b

x=a

=a + b

2(16.6)

・母分散

σ2 =

∫ b

a

x2

b− adx− µ2 =

x3

3(b− a)

∣∣∣∣x=b

x=a

− (a + b)2

4=

(b− a)2

12(16.7)

(例)

p(x) =

1/2 ; 1 ≤ x < 2

1/4 ; 2 ≤ x < 4

0 ; x < 1 || 4 ≤ x

(16.8)

Page 17: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.17

double get_myrandom(void){

double x;

double r;

r=uniform();

if( r < 0.5 ){

x= 2.0*r + 1.0;

}

else {

x= 4.0*r ;

}

return x;

}

1 2 3 4 5

0.2

0.4

0.6

0.8

1

1 2 3 4 5

0.1

0.2

0.3

0.4

0.5

F(x)

x

x

p(x)

・累積分布関数

F (x) =

0 ; x < 1

(x− 1)/2 ; 1 ≤ x < 2

(x− 2)/4 + 1/2 ; 2 ≤ x < 4

1 ; 4 ≤ x

(17.1)

・母平均

µ =

∫ 2

1

x

2dx +

∫ 4

2

x

4dx =

x2

4

∣∣∣∣x=2

x=1

+x2

8

∣∣∣∣x=4

x=2

=9

4(17.2)

・母分散

∫ ∞

−∞x2 p(x) dx =

∫ 2

1

x2

2dx +

∫ 4

2

x2

4dx =

x3

6

∣∣∣∣x=2

x=1

+x3

12

∣∣∣∣x=4

x=2

=35

6

σ2 =35

6−

(9

4

)2

=37

48(17.3)

・確率密度 p(x) に従う確率変数 X を区間 [0, 1) の一様乱数 r から作る方法,逆関数法

確率変数 X が区間 [0, 1) の一様乱数 r からX = f(r) と作れたとする。このとき

∫ b

a

p(x) dx = P (a ≤ X < b) = P (f−1(a) ≤ r < f−1(b)) = f−1(b)− f−1(a) (17.4)

という関係がある。ただし f−1 は f の逆関数を表す。式 (15.3)と比較すると,f−1 を X の累積分布関数 F (x) とすればよいことがわかる。従って

X = F−1(r) , F :累積分布関数 (17.5)

によって確率変数 X が区間 [0, 1) の一様乱数 r から作れる。

Page 18: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.18

(例) コーシー (Cauchy)分布

p(x) =a

π

1

a2 + x2(18.1)

F (x) =1

πarctan

(x

a

)+

1

2(18.2)

X = a tan((r − 1

2)π

)(18.3)

-4 -2 2 4

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

-4 -2 2 4

0.1

0.2

0.3

F(x)

p(x)

x

x

a = 1 の場合の図

(例) 指数分布;稀にしか起こらない現象が次に起きるまでの時間の分布

p(x) = a e−ax , x ≥ 0 (18.4)

F (x) = 1− e−ax (18.5)

X = −1

alog(1− r) (18.6)

1 2 3 4 5

0.10.20.30.40.50.60.70.80.9

1

1 2 3 4 5

0.2

0.4

0.6

0.8

1

x

x

p(x)

F(x)

a = 1 の場合の図

【問】確率密度 p(x)

p(x) =

{1− x/2 ; 0 ≤ x < 2

0 ; x < 0 || 2 ≤ x(18.7)

に従う確率変数 X を一様乱数 uniform() から生成する関数を表す C のプログラム (の一部)を書きなさい。

【答】累積分布関数は

F (x) = x− x2

4(18.8)

となる。一様乱数を r で表すと,X は r = X − X2

4を X について解いて

X = 2− 2√

1− r (18.9)

Page 19: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.19

と表される。以下は C で書かれたプログラムの例を示す;

double Finverse(double r){

double x;

x= 2.0 - 2.0 * sqrt( 1.0 - r);

return x;

}

double get_myrandom(void){

double x;

double r;

r=uniform();

x=Finverse(r); /* Finverse は累積分布関数の逆関数で, 上で定義される */

return x;

}

・ 2つの確率変数 X と Y の間に関数関係 Y = f(X) がある場合の確率密度の関係

A = f(a) , B = f(b)であるとき,

P (a ≤ X ≤ b) = P (A ≤ Y ≤ B) =

∫ B

A

pY (y) dy (19.1)

となる。ところが,関係 y = f(x) を用いて,積分変数を y から x に変えると

∫ B

A

pY (y) dy =

∫ b

a

pY (f(x))df(x)

dxdx (19.2)

となるので結局

P (a ≤ X ≤ b) =

∫ b

a

pY (f(x))df(x)

dxdx (19.3)

という等式が得られる。この式と (15.1)を比べるとX の確率密度 pX(x)と Y の確率密度 pY (y)

の間に次の関係があることがわかる;

pX(x) = pY (f(x))df(x)

dx(19.4)

【問】摩擦のない水平面 (x-y平面)上の点 (0 , −a) から物体をいろいろな向きに滑らせる。物体をどの向きにも一様にランダムに滑らすとする。物体が x 軸を横切るときの x 座標を確率変数 X

とする。X に対する確率密度 p(x) を求めなさい。

【答】物体を滑らす向きと y 軸との角度を θ とする。物体が x 軸を横切る場合のみ考えると, θ は−π/2 < θ < π/2 の範囲にあるので θ に対する確率密度 pθ(θ)は

pθ(θ) =1

π, −π

2< θ <

π

2(19.5)

Page 20: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.20

となる。X = a tan(θ) の関係があるので式 (19.4)より

p(x) =a

π

1

a2 + x2(20.1)

となる。式 (18.1)と比べるとX はコーシー分布に従うことがわかる。

・2つの確率変数に対する確率密度

2つの確率変数X と Y を考える。点 (X , Y )が x-y平面の領域Rに属する確率 P((X , Y ) ∈ R

)

は確率密度 p(x, y) を用いて

P((X , Y ) ∈ R

)=

∫ ∫

R

p(x, y) dxdy (20.2)

と表される。ここで,右辺は 2変数の関数 p(x, y) の領域 R での 2重積分を表す。

【問】1回にジャンプする変位 S = X(t + 1)−X(t) が連続な値をとるランダムウォークを考える。S

が確率密度 w(s) に従う場合を考える。時刻 t のウォーカーの位置 X(t) が a ≤ X(t) < b となる確率は確率密度 p(x, t) を用いて

P (a ≤ X(t) < b) =

∫ b

a

p(x, t) dx (20.3)

と表される。時刻 t + 1 のウォーカーの位置 X(t + 1) に対する確率密度 p(x, t + 1)と p(x, t) の間の関係を表す式を求めなさい。

【答】時刻 t + 1 のウォーカーの位置 X(t + 1) が a ≤ X(t + 1) < b となる確率 P (a ≤ X(t + 1) < b)

は a ≤ X(t) + S < bとなる確率に等しい。この確率は 2つの確率変数 S と X(t) に対する確率密度w(s) p(x, t) を領域 a ≤ X(t) + S < bで積分すれば得られる;

P (a ≤ X(t + 1) < b) =

∫ ∫

a≤x+s<b

w(s) p(x, t) dxds (20.4)

積分変数 x の代わりに y = x + s を用いると

P (a ≤ X(t + 1) < b) =

∫ b

a

dy

∫ ∞

−∞ds w(s) p(y − s, t) (20.5)

となる。一方,X(t + 1) に対する確率密度 p(x, t + 1) を用いると

P (a ≤ X(t + 1) < b) =

∫ b

a

p(x, t + 1) dx (20.6)

であるので,式 (20.5)と (20.6)を比べて次の関係式が得られる;

p(x , t + 1) =

∫ ∞

−∞w(s) p(x− s , t) ds (20.7)

Page 21: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.21

【問】1回にジャンプする変位 S = X(t + 1)−X(t) が確率密度 w(s) に従うランダムウォークを考える。時刻 t = 0でウォーカーが位置 X(0) = X0 から出発する場合の,任意の時刻 t = 0, 1, 2, · · ·での母平均と母分散を求めなさい。

【答】一般の時刻 t でのランダムウォークの母平均

µ(t) =

∫ ∞

−∞xp(x, t) dx (21.1)

をプリント.13 と同様に計算してみよう。まず時間が 1ステップ増えると µ(t) がどれだけ変化するかを考える。式 (20.7) より

µ(t + 1) =

∫ ∞

−∞xp(x, t + 1) dx =

∫ ∞

−∞dx x

∫ ∞

−∞ds w(s) p(x− s , t) ds (21.2)

となる。積分変数 x の代わりに y = x− s を用いると

µ(t + 1) =

∫ ∞

−∞dy

∫ ∞

−∞ds (y + s) w(s) p(y , t)

=

−∞dy y p(y , t)

∫ ∞

−∞ds w(s) +

−∞dy p(y , t)

∫ ∞

−∞ds s w(s)

= µ(t) + µS (21.3)

が得られる。ここで

µS = E(S) =

∫ ∞

−∞ds s w(s) (21.4)

は 1回にジャンプする変位 S の母平均を表す。µ(0) = X0 なので

µ(t) = µS t + X0 (21.5)

となる。

次に母分散を計算してみよう。時刻 t + 1 でのランダムウォーカーの位置 X(t + 1) の 2乗の期待値は

E(X(t + 1)2

)=

∫ ∞

−∞x2 p(x, t + 1) =

∫ ∞

−∞dx x2

∫ ∞

−∞ds w(s) p(x− s , t) ds (21.6)

となる。上と同様に積分変数 x の代わりに y = x− s を用いると次が得られる:

E(X(t + 1)2

)=

∫ ∞

−∞dy

∫ ∞

−∞ds (y + s)2 w(s) p(y , t)

=

∫ ∞

−∞dy y2 p(y , t)

∫ ∞

−∞ds w(s) + 2

∫ ∞

−∞dy y p(y , t)

∫ ∞

−∞ds s w(s)

+

∫ ∞

−∞dy p(y , t)

∫ ∞

−∞ds s2 w(s)

= E(X(t)2

)+ 2µ(t) µS + E

(S2

)(21.7)

Page 22: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.22

ここで

E(S2

)=

∫ ∞

−∞ds s2 w(s) (22.1)

である。式 (21.3)と式 (21.7)より

σ2(t + 1) = E(X(t + 1)2

)− µ(t + 1)2

= E(X(t)2) + 2µ(t) µS + E(S2

)−

(µ(t) + µS

)2

= E(X(t)2)− µ(t)2 + E(S2

)− µ2

S = σ2(t) + σ2S (22.2)

が得られる。σ2

S = E(S2

)− µ2

S (22.3)

は 1回にジャンプする変位 S の母分散を表す。ランダムウォーカーの母分散は t が 1 増えるごとに σ2

S だけ増加することがわかる。。σ2(0) = 0 なので

σ2(t) = σ2S t (22.4)

となる。

【問】一回にジャンプする変位 S(t) = X(t + 1)−X(t) が時刻 t によって異なる確率密度 w(s, t) に従うランダムウォークを考える。この場合には任意の時刻 t = 0, 1, 2, · · · での母平均と母分散はどんな式で表されるだろうか?

【答】上と同様に考えると

µ(t + 1) = µ(t) + µS(t) (22.5)

σ2(t + 1) = σ2(t) + σ2S(t) (22.6)

となる。ここで

µS(t) = E(S(t)

)=

∫ ∞

−∞s w(s, t) ds (22.7)

は S(t) の母平均,

σ2S(t) = E

((S(t)− µS(t))

2))

=

∫ ∞

−∞s2 w(s, t) ds− (µS(t))

2 (22.8)

は S(t) の母分散を表す。これより

µ(t) =t−1∑

k=0

µS(k) + µ(0) (22.9)

σ(t)2 =t−1∑

k=0

σ2S(k) + σ(0)2 (22.10)

と表せる。

Page 23: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.23

・サンプル平均の母平均と母分散

1回にジャンプする変位 S = X(t + 1)−X(t) が同じ確率密度 w(s) に従うランダムウォークを考える。

X(t + 1) = X(t) + S(t) (23.1)

なので,ウォーカーが X(0) = 0 から出発する場合を考えると

X(t) = S(0) + S(1) + · · ·+ S(t− 1) =t−1∑

k=0

S(k) (23.2)

となる。従って (21.5)と (22.4)より t個の独立な同じ確率密度に従う確率変数の和

S(0) + S(1) + · · ·+ S(t− 1) (23.3)

の母平均と母分散は,和の中のどれか 1個の確率変数 {S(k) , k = 0, · · · , t− 1} の母平均や母分散の t 倍になることがわかる。

今,母平均が µ1,母分散が σ21 である確率密度に従う確率変数を考える。この確率変数 N 個

から作られるサンプル平均

X̄N =1

N(X1 + X2 + · · ·+ XN) (23.4)

の母平均 µN と母分散 σ2N は

µN = µ1 , σ2N =

1

Nσ2

1 (23.5)

となる。分散の平方根は確率変数の分布のばらつきの大きさの程度を表す量なので,

N 回の試行から得られたサンプル平均のばらつきの大きさは1√Nに比例して減少し

ていく。

確率変数 X が何かの測定値である場合を考えよう。いろいろな測定誤差のために得られた測定値 X は真の値 µ1 からずれる。しかし,何回も測定を繰り返して平均値を求めることで真の値 µN = µ1 からのずれが小さくなる確率が高まる。また,サンプル分散から母分散を推定することにより得られたサンプル平均 X̄N に含まれる誤差の大きさを見積もることができる。

<注> 中心極限定理

サンプル平均 X̄N の従う確率密度は N →∞ で平均 µN,分散 σ2N の 正規分布

p(x) =1√

2π σN

exp

(−(x− µN)2

2σ2N

)(23.6)

に近づくことが知られている。

Page 24: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.24

・中心極限定理を利用して平均 0,分散 1 の正規分布を作る方法

r1, r2, · · · rN をそれぞれ区間 [0, 1) の一様乱数とする。,式 (16.2),(16.3)より rk の平均と分散は 1/2 と 1/12 なので

z =

(r1 + r2 + · · ·+ rN

N− 1

2

)/ √1

12N(24.1)

は平均 0,分散 1 の確率変数となる。中心極限定理よりN が大きくなると z の従う確率密度は平均 0,分散 1 の正規分布に近づく。実際上は N = 6 ぐらいで z は正規分布に近くなる。

<注> 2つの確率変数 X と Y が 独立 であるということ

2つの確率変数 X と Y が独立であるとは任意の関数 f(X) と g(Y ) に対して

E(f(X) g(Y )

)= E

(f(X)

)E

(g(Y )

)(24.2)

が成り立つことを意味する。X と Y が離散的な値をとる確率変数の場合,これは積事象の確率がそれぞれの事象の確率の積となること

P (X = x && Y = y) = PX(X = x) PY (Y = y) (24.3)

を意味する。また,X と Y が連続的な値をとる確率変数の場合,これは X,Y の確率密度が

p(x , y) = pX(x) pY (y) (24.4)

のように 2つの関数の積となることを意味する。

今まで,考えたきたランダムウォークはウォーカーのいる位置 X(t) と次にジャンプする変位S(t)が独立な確率変数の場合なので,式 (14.11)や式 (21.7)の結果は次のようにしても得られる;

E(X(t + 1)2

)= E

((X(t) + S(t))2

)= E

(X(t)2 + 2X(t) S(t) + S(t)2

)

= E(X(t)2

)+ E

(2X(t) S(t)

)+ E

(S(t)2

)

= E(X(t)2

)+ 2 E

(X(t)

)E

(S(t)

)+ E

(S(t)2

)

= E(X(t)2

)+ 2 µ(t) µS + E

(S(t)2

)(24.5)

Page 25: 龍谷大学 先端理工学部 数理・情報科学課程 – Applied ...iida/lecture/comp-sci2/...計科II.13 (参考) サンプル分散の式で1=N ¡1 をかける理由サンプル分散S2

計科 II.25

・独立でない確率変数の例

(例 1) つながった2つのコイン

2つのコインA,Bを投げAが表の場合 X = 1,裏の場合 X = −1 とする。またBが表の場合Y = 1,裏の場合 Y = −1 とする。2つのコインA,BをつなげてAが表の場合,必ずBが表になるようにする。この場合

PX(X = 1) = PX(X = −1) =1

2, PY (Y = 1) = PY (Y = −1) =

1

2(25.1)

であるが

P (X = 1 && Y = 1) =1

2, P (X = 0 && Y = 0) =

1

2P (X = 1 && Y = 0) = P (X = 0 && Y = 1) = 0 (25.2)

となり,X と Y は独立ではない。

(参考)

下の図はイジング (Ising)モデルと呼ばれる強磁性体 (磁石になる物質)の確率モデルの計算例を示す。(http://www.apph.tohoku.ac.jp/matsubara-lab/simIsing/Isng.html を参照)強磁性体は小さな分子磁石の集まりとみなせる。下の図では各セルの色で分子磁石が上を向いているか下を向いているかを表している。左側の図は温度が高い場合で各セルの色はほぼ独立な確率変数とみなせる。右側の図は温度が低い場合で同じ色のセルが集まる傾向があり,各セルの色は周りのセルの色と独立ではなくなる。同じ向きを向いた分子磁石が集まることによりこの物質は磁石になる。

温度が高い場合,各セルの色はほぼ独立な確率変数とみなせる。 温度が低い場合,同じ色のセルが集まる傾向があり,各セルの色は独立ではなくなる。

(例 2) 1回にジャンプする変位 S(t) = X(t + 1)−X(t) の従う確率密度が位置 X(t) によって異なるランダムウォーク

ウォーカーの位置が x であるとき S(t) の従う確率密度を w(s, x) とすると式 (20.7)は

p(x , t + 1) =

∫ ∞

−∞w(s, x− s) p(x− s , t) ds (25.3)

となる。