1

統計的検定

松石隆

2

目標

検定の概念をつかむ

検定が出来るようになる

正規分布に関する検定

２項分布に関する検定

適合度検定

ところで，偏差値

3

水産・海洋系大学偏差値ランキング

東京海洋大[海洋科/国] 58 北海道大学[水産/国] 57 福井県立大[海洋生資/公] 54 東海大学[海洋/私] 53 東京海洋大[海洋工/国] 52 鹿児島大学[水産/国] 52 長崎大学[水産/国] 52 北里大[海洋生命科/私] 51

4

偏差値(T-Score)

平均値を50，標準偏差を10に変換した時の値。

平均点40点，標準偏差20点の試験で60点だった人→偏差値60 (60-40)/20×10+50=60

平均点60点，標準偏差25点の試験で，35点だった人→偏差値40 (35-60)/25×10+50=40

5

偏差値とは

6

Z-Score

点数が，平均点から偏差値いくつ分離れているかを示す値

平均点40点，標準偏差20点の試験で60点だった人 Z=(60-40)/20=+1

平均点60点，標準偏差25点の試験で，35点だった人 Z=(35-60)/25=-1

7

8

k

α

μ

( )2,σµN

σ

σµ−= xz

µσα +×= zk

正規分布表

9

10

11

小型化?

ある漁港である魚種が小型化している様な気がする。

昨年の平均体長は20±2cm(S.D.)大きくなっていることは考えにくい

今年の標本を10個体取って測定した

その平均値の偏差値(S.E.)は2/√10

これを使って「小型化したかしていないか」を調べたい

12

仮説の検定

今年の平均体長をμとするとき

帰無仮説

対立仮説

のどちらが正しいか

どちらが正しいかを，観測値を使って調べる事を仮説の検定という

20=µ20<µ

13

母平均と観測値

母平均

帰無仮説

対立仮説

観測値

20=µ20<µ

20=x20<x

同じではない！

めの推定値でしかないたはµx

14

棄却域

μ推定の誤差の誤差も考慮してならば，帰無仮説を棄却する（対立

仮説を肯定する）kを見つければよい

を棄却域という。

では，どうやってkを決めるか

kx <

( ){ }kxxx n <;,...,1

15

過誤

kが20に近すぎると，本当はμ=20（帰無仮

説）なのに，たまたま観測値の平均値が低く出たために帰無仮説を棄却してしまう可能性がある。[第１種の過誤] kが20から遠すぎると，本当はμ<20（対立仮

説）なのに，帰無仮説を採択する可能性がある。 [第2種の過誤]

16

第１種の過誤，第２種の過誤

第１種の過誤：帰無仮説を誤って対立仮説としてしまう過誤「同じ物を，違うと言ってしまう誤り」

第２種の過誤：対立仮説を誤って帰無仮説としてしまう過誤「違う物を，同じと言ってしまう誤り」

17

どちらを取るか

真実が「同じ」なら「違う」と言ってしまう可能性（第１種の過誤）を最小にしたい

真実が「違う」なら「同じ」と言ってしまう可能性（第２種の過誤）を最小にしたい

真実は「同じ」か「違う」かのどちらか

しかし，どちらが真実かはわからない

18

１．もし「同じ」が正しい場合

22,20~n

NX

( )

−<−=<

nk

nXPkXP

/220

/220

( )1,0~/2

20 Nn

X −

n

NX 2,20~

19

もし，「同じ」とき， は，赤い面積の確率でkよりも小さくなる

第１種の過誤

( )1,0N

nk

/220−

X

20

もし，「同じ」とき， は，赤い面積の確率でkよりも小さくなる

kよりも小さい部分は棄却域

ならば「違う」を採択

すなわち，「同じ」を「違う」と言ってしまう

第１種の過誤

X

kX <

21

第１種の過誤の最小化

第１種の過誤を5％以下にしたい

表で z(0.05) を調べると1.64 ということは

22

96.1810264.120

10

264.120

/22064.1

20/2

2064.1

=×−=

=

×−=

−=

<

−=

k

nn

k

nk

kn

k

ならば

だから

23

もし，真実が「同じ」ならば，k=18.96 とすれ

ば第１種の過誤（「同じ」を「違う」と言ってしまう誤り）が起こる確率を5％以内にすることができる。

でも，真実は「同じ」か「違う」かは，わからない。

24

2.もし「違う」が正しい場合

平均値がいくつかはわからないが

(ここで，母集団の分散は年によって変わらないと仮定)

<22,~

20

nNX µ

µ

25

第２種の過誤が発生のとき「同じ」と言うkX ≥

( )

−≥

−=≥

nk

nXPkXP

/2/2µµ

( )1,0~/2

2,~

Nn

Xn

NX

µ

µ

−

26

もし，「違う」とき， は，赤い面積の確率でkよりも大きくなる

第2種の過誤

( )1,0N

nk

/2µ−

X

27

もし，「違う」とき， は，赤い面積の確率でkよりも大きくなる

kよりも大きい部分は採択域

ならば「同じ」を採択

すなわち，「違う」を「同じ」と言ってしまう

第２種の過誤

X

kX ≥

28

第２種の過誤の最小化

第2種の過誤を5％以下にしたい

表で z(0.05) を調べると1.64 ということは

29

403.110264.1

10

264.1

/264.1

/264.1

+=×+=

=

×+=

−=

>

−=

µµ

µ

µµ

µ

k

nn

k

nk

kn

k

ならば

だから

30

しかしμはわからない

従って，第２種の過誤が発生する確率を事前に計算することは出来ない

kを大きくすると「同じ」を「違う」と言ってしまう第１種の過誤が増える

kを小さくすると「違う」を「同じ」と言ってしまう第２種の過誤が増えてしまう

両方一度に小さくできない

31

第１種の過誤と第２種の過誤の関係

32

有意水準

第１種の過誤を小さい値に固定する

5％，１％，0.1％等が用いられる

α=0.05などと標記

「有意水準」という

第２種の過誤が最小になるkはα=0.05の時のkである「一様最強力検定」

のうち，を満たすk05.0≤α

33

有意

帰無仮説が棄却された場合「有意」という

有意水準αの確率で第１種の過誤が起こる。

第２種の過誤は定量化できない

従って，対立仮説を棄却することはできない。すなわち「同じ」とは言えない。

従って「違う」か「違うとは言えない」かを判定するだけ

34

p値

その事象のもとで，帰無仮説が棄却される最小の有意水準

p<0.05 * 正確には 0.01<p<0.05 p<0.01 ** 正確には 0.001<p<0.01 p<0.001 *** どんなに小さくても p<0.001

05.096.18 =⇒= pX

35

( )

( ) 0088940.037.210/2205.18

10/2205.18

==

−≤−=≤

Q

XPXP

5.18=X

0088940.0=p

p値がα以下ならば「有意」

36

片側検定・両側検定

左片側検定

帰無仮説

対立仮説

右片側検定

帰無仮説

対立仮説

両側検定

帰無仮説

対立仮説

両側検定の場合は棄却域境界が

20:0 =µH

20:0 =µH

20:0 =µH

20:1 <µH

20:1 >µH

20:1 ≠µH

2αz

37

検定の手順

38

手順１仮説を確認する

「違い」を調べたい→「同じ」ときに偶然「違い」が起こる確率(第１種の過誤)を調べればよい

「同じ」が帰無仮説

「違う」が対立仮説

対立仮説には２種類ある

片側検定の場合

両側検定の場合

39

手順２ 統計量を調べる

検定する統計量の推定値がどのような分布に従うのかを調べる。正規分布なのか，t分布なのか，２項分布，χ二乗分布，F分布…分布型のパラメータを推定する

正規分布→平均，標準偏差

t分布→平均，標準偏差，自由度

n>50の時，t分布は正規分布に近似できる

40

手順3 検定統計量を求める

正規分布，t分布の標準化

nxz

/0

σµ−

=

nuxt

/0µ−=

なので，標準偏差は

平均値は

個の標本の

n

n

/

,

σ

µ

41

手順４棄却域を調べる

有意水準を α=0.05，両側検定の場合

正規分布の両側検定の場合z(0.025)=1.96より外側が棄却域

正規分布の片側検定の場合z(0.05)=1.64 より外側が棄却域

t分布の場合自由度(n-1)によって値が異なる

例n=9の場合

( ) ( ) 860.18;05.0,306.28;025.0 == tt

42

結論を得る

統計量が棄却域にあれば「帰無仮説は棄却される」すなわち「危険率αで，有意に異なる」（おそらく，ちがう）

統計量が採択域にあれば「帰無仮説は棄却されない」すなわち「有意に異なるとは言えない」（偶然の差かもしれない。）

43

適合度検定

44

適合度検定の問題

( )

　を得た

を観測して

に従う多項分布

∑=

===k

iikk

k

kN

nnnXnX

XXppnM

111

1

1

,,,

,,,;

01

01010

:,,...,:

ii

kk

ppiHppppH≠

=

に対してある

45

χ2統計量

これが自由度n-1のカイ二乗分布に従う

ただしnpが5以上

( )∑=

−=

k

i i

iinp

npX

1 0

202χ

( ) ( )

−≥−

= ∑=

k

i i

ii knp

npnC1

2

0

20 1;αχ

46

さいころを60回投げたときの目の出方

1の目 2の目 3の目 4の目 5の目 6の目 Total

12 4 10 9 9 16 60

12 8 13 7 10 10 60

10 13 7 13 5 12 60

9 8 10 13 11 9 60

12 11 13 10 7 7 60

9 11 7 14 10 9 60

47

期待値とのずれの指標カイ二乗

1の目 2の目 3の目 4の目 5の目 6の目 Total

観測値 12 4 10 9 9 16 60

期待値 10 10 10 10 10 10 60

差 2 -6 0 -1 -1 6 0

差2 4 36 0 1 1 36 78

( )∑=

==−

=k

i io

ioi

npnpX

1

22 8.7

1078χ

48

1の目 2の目 3の目 4の目 5の目 6の目 Total χ2

12 4 10 9 9 16 60 7.8

12 8 13 7 10 10 60 2.6

10 13 7 13 5 12 60 5.6

9 8 10 13 11 9 60 1.6

12 11 13 10 7 7 60 3.2

9 11 7 14 10 9 60 2.8

49

カイ二乗分布

50

いかさま?

今，あるさいころを60回振ったら出た目が下の表のようであった。

いかさまか

1の目 2の目 3の目 4の目 5の目 6の目 Total

観測値 12 16 4 16 4 8 60

51

いかさま?

今，あるさいころを60回振ったら出る目が

1の目 2の目 3の目 4の目 5の目 6の目 Total

観測値 12 16 4 16 4 8 60

期待値 10 10 10 10 10 10 60

差 2 6 -6 6 -6 -2 0

差2 4 36 36 36 36 4 152

( )∑=

==−

=k

i io

ioi

npnpX

1

22 2.15

10152χ

52

カイ二乗分布

( )( ) 0863.155,01.0

0705.115,05.02

2

=

=

χ

χ2.152 =χ観測値から得られた

53

例：エンドウ豆の交配実験

カテゴリー

実測度数f

期待割合

期待度数Np

f-Np2

(f-Np) (f-Np)^2

/(Np)

皺無黄 315 0.56 312.8 2.3 5.1 0.016

皺有黄 101 0.19 104.3 -3.3 10.6 0.101

皺無緑 108 0.19 104.3 3.8 14.1 0.135

皺有緑 32 0.06 34.8 -2.8 7.6 0.218

合計 556 1 556 0 37 0.470

54

帰無仮説は採択される

( ) 81.73;05.047.0 2 =< χ

0.05

7.81 0.47

55

統計学でできること、できないこと：

統計分析ができる情報の集め方

何でも情報を集めて統計解析すれば結果が出るわけではない。

統計分析ができるデータの集め方を考える

56

ユリゲラーの時計

超能力者ユリゲラーの生出演番組

茶の間：止まっている腕時計を用意。

スタジオ：テレビを通してユリゲラーが念力を送る。

腕時計が動いたら，テレビ局に電話報告

多数の電話が寄せられた

「ユリゲラーは超能力を持っている」

57

野球選手長男の原理

野球選手に必要なもの

もちろん，体力，運動能力

責任感・自立心…長男の性格

責任感がある，自立している…実際に野球選手に長男が多い

「長男は野球選手に向いている」

58

分割表

属性A 属性B 合計

属性1属性2合計

観測頻度 バイト有 バイト無 合計

1年 50 40 90

2年 30 50 80

合計 80 90 170

59

ユリゲラーの時計

観測頻度時計が動いた

テレビを見た 300

60

観測頻度時計が動いた

時計が動かない

合計

テレビを見た 300 29,700 30,000

61

観測頻度時計が動いた

時計が動かない

合計

テレビを見た 300 29,700 30,000

テレビを見ない

4,700 365,300 370,000

合計 5,000 395,000 400,000

62

野球選手長男の原理

観測頻度 長男 長男以外 合計

野球選手 300 200 500

合計

63

野球選手長男の原理

観測頻度 長男 長男以外 合計

野球選手 300 200 500

野球選手以外 30,000,000 20,000,000 50,000,000

合計 30,000,300 20,000,200 50,000,500

64

5.5.2 分割表の検定

65

観測個数はn個 A1,…, ArとB1,…,Bs が独立であるとき，

Ai, Bjの期待度数は(ni・nj)/nたとえば，漁港Ａ1,漁港A2からそれぞれ標本を１００尾づつ取ってきた(例5.9)銘柄B1,B2,B3があり，両港の標本合わせた度数は80:90:30 A1,B1の期待度数は100×80/200=40

66

観測頻度 大 中 小 合計

砂原 50 40 10 100

鹿部 30 50 20 100

合計 80 90 30 200

期待頻度 大 中 小 合計

砂原 40 45 15 100

鹿部 40 45 15 100

合計 80 90 30 200

χ^2 大 中 小 合計

砂原 2.50 0.56 1.67 4.72

鹿部 2.50 0.56 1.67 4.72

合計 5.00 1.11 3.33 9.44

40200

80100 =×

( ) 5.240

4050 2=−

44.92 =χ

67

r行s列からなる分割表から得られたカイ二乗統計量は自由度(r-1)(s-1)のカイ二乗分布に従う

∑∑= =

−

=r

i

s

j ji

jiij

nnn

nnn

n

1 1

2

2..

..

χ

( )( )( ){ }11;22 −−≥= srC αχχ

68

帰無仮説は棄却される

( ) 99.52;05.02 =χ

0.05

5.99 9.44

まとめ

確率分布に変換して，生起確率を計算

偶然起こる確率がp値。

有意水準 p<0.05, 0.01, 0.001有意→差がある

有意ではない→ 差があるかどうかわからない（等しいではない）

ユリゲラー／野球選手長男の原理

69