多重比較の基礎

東京理科大学 浜田知久馬

第15回EUA 2013/3/22

1

発表構成

多重性と多重比較 基本的な多重比較法 Bonferroni，Dunnett，Tukey，Scheffe Williams ノンパラ多重比較 逐次多重比較 EXSUSでの適用結果

2

要旨

１つのデータに対して複数の検定を有意水準αで行うと，検定の多重性の問題によって，全体の有意水準は，個々の検定の有意水準αを越えてしまうことになる．これに対し，複数の検定の組み全体を１つの解析とみなして，全体で誤って有意とする確率を有意水準以下に抑える手法の総称を，多重比較とよび，一元配置型を中心に様々な方法が提案されている．基準群との比較を行なう方法としてDunnett法，全ての群間の対比較を対象としたTukey法等が用いられる． 本発表ではチュートリアルとして，EXSUSで可能な多重比較法について解説する．

3

4

時計を止める超能力

ユリ・ゲラーが「わたしがTVをご覧のみなさんのもとに念を送って，みなさんの手元にある時計を止めて見せます」というのです． たとえば，番組の15分間，彼が念を送りますと番組の視聴者から「TVを見ていたら時計が本当に止まってしまった！」という驚きの知らせが番組に何件も寄せられます

http://nigaoe.hp.infoseek.co.jp/images/urigera.GIF

時計を止める超能力

5

6

超能力か？

１）１つの時計が15分間に止まる可能性は非常に低い．電池の寿命を１年として

1/（４×24×365）＝1/35040 ２）当時視聴率は高かった． 500万世帯が視て，１世帯に４個時計があるとすると，2000万個の時計が対象

2000万/3.504万＝570個 が止まる個数の期待値

7

典型的な毒性試験 RBC(Red Blood Cell counts)

group dose raw data mean SD Control 0mg 925 917 912 912 949 926.0 25.7

908 908 989 931 909

low-dose 1mg 898 925 908 873 908 911.9 20.1

941 893 920 922 931

mid-dose 3mg 874 876 916 908 873 891.5 39.8

807 874 919 952 916

high-dose 10mg 869 919 874 852 830 893.0 35.4

906 914 898 933 935

8

典型的な毒性試験

ラット(雄)のＲＢＣ（赤血球数） 単位（×104/mm3）

対照群 低用量群 中用量群 高用量群 平均値 926.0 911.9 891.5 893.0

標準偏差 25.7 20.1 39.8 35.4 Ｎ １０ １０ １０ １０

1y

01.112 −=t 47.213 −=t36.214 −=t

2y 3y 4y

自由度36のｔ分布の5%点：2.03

　

+

−=

ij

ijij

nns

yyt

112

9

検定の多重性と多重比較 １回の比較あたりの有意水準：５％ ３回の比較全体で偶然で 有意差が出る確率：>>５％（12.5%程度） 検定の多重性(multiplicity)：複数の検定を同時に行うことによって，偶然によって有意になる確率が大きくなる現象．

多重比較(multiple comparison)：1回の実験で多数比較を行うとき，実験全体での第Ⅰ種の過誤の確率を有意水準以下に制御しようとする統計手法の総称．

のいずれかが有意141312 ,, ttt

10

論文で用いられる多重比較法 1996年の日米欧の調査結果

JPET(n=165) EJP(n=196) JJP(n=134) 米国 欧州 日本 No. #% No. % No. %

多重比較の手法 Dunnett test 11 6.7 26 13.3 49 36.6 Williams test 0 0.0 1 0.5 0 0.0 Tukey test (Tukey-Kramer test) 12 7.3 6 3.1 5 3.7 Bonferroni/Dunn test 11 6.7 16 8.2 5 3.7 Sidak test 1 0.6 0 0.0 0 0.0 Scheffe test 5 3.0 9 4.6 8 6.0 Fisher (P)LSD test 13 7.9 8 4.1 5 3.7 Student-Newman-Keuls test 19 11.5 21 10.7 1 0.7 Duncan test 5 3.0 6 3.1 10 7.5

JPET: The Journal of Pharmacological and Experimental Therapeutics（米） EJP: European Journal of Pharmacology （欧） JJP: The Japanese Journal of Pharmacology （日）

11

統計手法(多重比較） 1996年 (n=134)

2002年 (n=149)

2007年 (n=133)

n % n % n % Dunnett test 49 36.6 45 30.2 34 25.6 Williams test 0 0.0 3 2.0 2 1.5 Tukey test 5 3.7 16 10.7 21 15.8 Bonferroni test 5 3.7 13 8.7 16 12.0 Scheffe test 8 6.0 8 5.4 9 6.8 Fisher (P)LSD test 5 3.7 5 3.4 13 9.8 Newman-Keuls test 1 0.7 4 2.7 5 3.8 Duncan test 10 7.5 2 1.3 4 3.0

JJP：Journal of Pharmacological Science

論文で用いられる多重比較法JJP

帰無仮説の下でのp値の累積分布関数 p値：0～1の一様分布

12 p値

帰無仮説の下での p値の分布： ｘ以下の値を とる確率：ｘ 例）0.6以下の値を とる確率：0.6

13

多重性 有意水準αで独立な検定をk回行った場合 １）１回も有意にならない確率 α =0.05，k=10のときの確率 （１-α)k （１-0.05)10 =0.59874 ２）１回以上有意になる確率 また α =0.05，k=10のときの確率 1-（１-α)k 1-（１-0.05)10 = 0.40126

14

独立な最少p値の分布

1

k

k

)1()'()()1(1)(

p1

)1(11

−−==

−−=

⇒

−−

kxkxFxfxxF

k

k

確率密度関数：

分布関数：

値の分布個の最小

最小ｐ値が有意つ以上が有意

αα水準で有意：　

つ以上が個の独立な検定のうち

k回の最小p値の累積分布関数

15

1

2

3 4

5 10 )(xF

k回の最小p値の確率密度関数

16

1

2 3 4

5

10 )(xf

17

４群のDunnett型比較の αエラーのシミュレーション

　　

＝既知，が

211

11

11

11

j2

2

ijijij

i

ij

ijij

yyyyt

nn

nn

yyt

−=

+

−=

==

+

−=

σ

σ

ｔｉｊは標準正規分布にしたがう

1413124311 ,,,,, tttyyyy ⇒

18

αエラーのシミュレーション シミュレーション回数：10万回

data data;

array y(4) y1-y4;cvalue=probit(1-0.05/2);

do j=1 to 100000;

do i=1 to 4;y(i)=rannor(4989);end;

t12=(y2-y1)/sqrt(2); t13=(y3-y1)/sqrt(2);

t14=(y4-y1)/sqrt(2);

s12='ns';s13='ns';s14='ns';s='ns';

if abs(t12) ge cvalue then s12='* ';

if abs(t13) ge cvalue then s13='* ';

if abs(t14) ge cvalue then s14='* ';

if s12='* ' or s13='* ' or s14='* ' then s='*';

output;

end;

proc freq;tables s12 s13 s14 s;run;

19

αエラーのシミュレーション

s12 度数 パーセント 累積 度数

累積 パーセント

* 5054 5.05 5054 5.05

ns 94946 94.95 100000 100.00

s13 度数 パーセント 累積 度数

累積 パーセント

* 4936 4.94 4936 4.94

ns 95064 95.06 100000 100.00

s14 度数 パーセント 累積 度数

累積 パーセント

* 5036 5.04 5036 5.04

ns 94964 94.96 100000 100.00

s 度数 パーセント 累積 度数

累積 パーセント

* 12551 12.55 12551 12.55

ns 87449 87.45 100000 100.00

12t

13t

14t

141312 ,, ttt

独立性

20 の正の相関は＋と

は小さくなる）がたまたま大きいと

の負の相関はと

を共通して引くため

の正の相関）（

は非独立

は独立

0.71

(

0.712/1

5.0,,

,,,

212

121

112

1

141312

4311

yt

ty

yt

y

tttyyyy

−=−

21

y1 y2 y3 y4 t12 t13 t14 y1 1 -0.00453 -0.00351 -0.0022 -0.70744 -0.70884 -0.70616 y2 -0.00453 1 -0.00476 -0.00644 0.70997 -0.00015 -0.00137 y3 -0.00351 -0.00476 1 -0.00018 -0.00089 0.70785 0.00234 y4 -0.0022 -0.00644 -0.00018 1 -0.003 0.00143 0.70961 t12 -0.70744 0.70997 -0.00089 -0.003 1 0.49909 0.49634 t13 -0.70884 -0.00015 0.70785 0.00143 0.49909 1 0.50046 t14 -0.70616 -0.00137 0.00234 0.70961 0.49634 0.50046 1

Pearson の相関係数, N = 100000

変数 N 平均 標準偏差

y1 100000 -0.00186 0.99762

y2 100000 0.00289 1.00122

y3 100000 -0.0007764 0.99621

y4 100000 -0.00326 1.00252

t12 100000 0.00336 1.00168

t13 100000 0.0007669 0.99867

t14 100000 -0.0009883 1.00118

22

N=400の場合の散布図

71.0=r

71.0−=r

5.0=r

0=r

23

y1 y2 y3 y4 t12 t13 t14 y1 1 0 0 0 -0.71 -0.71 -0.71 y2 0 1 0 0 0.71 0 0 y3 0 0 1 0 0 0.71 0 y4 0 0 0 1 0 0 0.71 t12 -0.71 0.71 0 0 1 0.5 0.5 t13 -0.71 0 0.71 0 0.5 1 0.5 t14 -0.71 0 0 0.71 0.5 0.5 1

Pearson の相関係数(真値）

24

Ｂｏｎｆｅｒｒｏｎｉ （比較の数だけ問題にする）

ex) 比較３回 対照群 －低用量群ａ 対照群 －中用量群ｂ 対照群 －高用量群ｃ a 1 誤りの種類 1ａのみ 4 6 2ｂのみ 7 3ｃのみ b c 4ａとｂ 2 5 3 5ｂとｃ 6ａとｃ 7ａとｂとｃ

25

Ｂｏｎｆｅｒｒｏｎｉ

５／３＝１．６６％ ａの円の面積 ５／３＝１．６６％ ｂの円の面積 に制御 ５／３＝１．６６％ ｃの円の面積 + + > ３回比較を行うときは，１回あたりの比較を有意水準５／３％に抑えれば全体での誤りは５％以下になる.

26

Bonferroni の方法 • Bonferroniの不等式

– Ei: 正しい帰無仮説H0(i)が誤って棄却される事象

Pr(Eａ∪Eb∪Ec)≦Pr(Eａ)+Pr(Eb)+Pr(Ec)

Type I FWE ＝ Pr(正しい帰無仮説のうち少なくとも１つが誤って棄却される) ≦Σi Pr(正しい帰無仮説H0(i)が誤って棄却される) (1)

Eb Ec

Ea

27

Ｂｏｎｆｅｒｒｏｎｉ 比較の回数を増やす場合には，その回数に応じて １回の比較当たりの有意水準を変化させる. ex) 対照群との比較の他に 低用量ー高用量 中用量ー高用量 この２つの比較にも興味があるものとする. 比較の回数の合計は５回であるので，１回当たりの 比較を１％（５／５）の有意水準で行えばよい. Ｂｏｎｆｅｒｒｏｎｉは群間でｎが異なるような場合にも 正当である． 独立性を前提のSidak法を近似 比較に負の相関があってもよい．

28

Ｄｕｎｎｅｔｔ 対照群，低用量，中用量，高用量群 対照群との比較だけを対象にするような場合 の面積がちょうど５％になるようにする. Ｂｏｎｆｅｒｒｏｎｉよりも少し有意になりやすい. ｎが等しいことを前提に導かれた方法であるが，ｎが等しくない

場合の正確な方法（PROBMC関数）および近似法（GLM)が可能である.

＊２群と３群の平均値の差がかなり大きくても，比較の対象外であるので有意といってはならない.

29

Ｔｕｋｅｙ すべての対比較を対象とするような場合 対照群 ６つの比較を対象 低用量群 ○ 中用量群 ○ ○ 高用量群 ○ ○ ○ 対照群 低用量群 中用量群 高用量群 ｎが等しくないときの精度が高い近時法として Ｔｕｋｅｙ-Ｋｒａｍｅｒ法(GLM,PROBMC関数）がある.

30

Ｓｃｈｅｆｆｅ

群間でｎが等しくなくてもよい 対比較でもよい 群を併合してもよい １群，２群，３群，４群 １群，４群，２群，３群 群間の対比較のときにＳｃｈｅｆｆｅを用いると 過度に保守的

31

多重比較まとめ

Ｄ：Ｄｕｎｎｅｔｔ，Ｔ：Ｔｕｋｅｙ，Ｓ：Ｓｃｈｅｆｆｅ，Ｂ：Ｂｏｎｆｅｒｒｏｎｉ 比較の対象数 少 多 検出力 高 低 Ｄ Ｔ Ｓ ｎが等しくない時の妥当性 妥当 改良法 Ｂ，Ｓ Ｔ，Ｄ

32

Dunn-Sidak test k回水準α’で独立に検定を行ったときの 全体でのαエラーの大きさはα＝1－（１－ α’)k したがって，各検定をα’ ＝１－ （１－ α)1/k で行えば，αを制御できる(Sidak法). １－ α’ ＝ （１－ α)1/k, (１－ α’) k ＝ （１－ α) log（１－ α’)k ＝k log（１－ α’) ≒ － kα’ ＝ log（１－ α) ≒ －α (ｘが小さいとき， log（１＋ｘ) ≒ｘと近似できる) α’＝α/k ：Bonferroni法で近似 Sidak法：独立，正の相関のときのみ適切

33

SASＧＬＭの多重比較 Dunnett法

data data; do group=1 to 4; do i=1 to 10; input y @@;output;end;end; cards; 925 917 912 912 949 908 908 989 931 909 898 925 908 873 908 941 893 920 922 931 874 876 916 908 873 807 874 919 952 916 869 919 874 852 830 906 914 898 933 935 proc glm;class group;model y=group; lsmeans group /adj=dunnett pdiff tdiff;run;

34

赤血球数データの図示

850

900

950

y

1 2 3 4

group

1 2 3 4

group

850

900

950

y

35

Dunnett法の結果

group y の最小 2 乗平均

H0:LSMean=Control

t 値 Pr > |t|

1 926.000000

2 911.900000 -1.01 0.6221

3 891.500000 -2.47 0.0478*

4 893.000000 -2.36 0.0609

36

Tukey法 効果 group に対する最小 2 乗平均

H0: LSMean(i)=LSMean(j) の t 統計量/ Pr > |t|

従属変数 : y

i/j 1 2 3 4

1 1.01022 2.471815 2.364345

0.7445 0.0818 0.1025

2 -1.01022 1.461595 1.354125

0.7445 0.4706 0.5355

3 -2.47181 -1.46159 -0.10747

0.0818 0.4706 0.9995

4 -2.36434 -1.35412 0.10747

0.1025 0.5355 0.9995

GLMのTukey法の結果の図示

37 差の信頼区間が対角線と交わらなければ有意

38

Scheffe法 効果 group に対する最小 2 乗平均 H0: LSMean(i)=LSMean(j) の t 統計量/ Pr > |t|

従属変数 : y

i/j 1 2 3 4

1 1.01022 2.471815 2.364345

0.7964 0.1261 0.1533

2 -1.01022 1.461595 1.354125

0.7964 0.5512 0.6121

3 -2.47181 -1.46159 -0.10747

0.1261 0.5512 0.9997

4 -2.36434 -1.35412 0.10747

0.1533 0.6121 0.9997

39

Bonferroni(0.05/6) 効果 group に対する最小 2 乗平均

H0: LSMean(i)=LSMean(j) の t 統計量/ Pr > |t|

従属変数 : y

i/j 1 2 3 4

1 1.01022 2.471815 2.364345

1 0.1098 0.1415

2 -1.01022 1.461595 1.354125

1 0.9152 1

3 -2.47181 -1.46159 -0.10747

0.1098 0.9152 1

4 -2.36434 -1.35412 0.10747

0.1415 1 1

40

Tukey型の性能比較 手法 5%棄却限界値 アルファエラー

Tukey 2.693227 0.0500

Bonferroni (0.05/6)

2.791972 0.0398

Sidak 2.783564 0.0405

Scheffe 2.932370 0.0284

T 2.028094 0.1968

41

Dunnett型の性能比較

手法 5%棄却限界値 アルファエラー

Dunnett 2.452127 0.0500

Bonferroni (0.05/3)

2.511040 0.0437

Sidak 2.503954 0.0444

Scheffe 2.932370 0.0158

T 2.028094 0.1236

42

Williams検定 Dunnett検定の結果の例(*:5%水準で有意)

群１ 群２ 群３ 群４

926.0 911.9 891.5* 893.0

Williams検定の特徴

１）どの用量から対照群に比べて有意に変化

しているかを明らかにできる．

２）対立仮説に用量反応関係の単調性を仮定

μ1≧μ2≧μ3≧μ4(少なくとも１つは＞)

３）多重性を考慮して第Ⅰ種の過誤を制御

４）下降手順であり，用量の高い群から比較を

行い，有意差がなくなった用量で終了

43

Dunnett検定とWilliams検定の比較 解析法 Dunnett検定 Williams検定

想定 用量反応関係が単調・非単調

用量反応関係が単調

対立仮説 両側と片側が可 本質的に片側

検討内容 対照群とどの群で違いがあるか

対照群とどの用量から違いがあるか

適用 対照群 Ａ群 Ｂ群 Ｃ群 対照群 D1群 D2群 D3群

αエラー 多重性を考慮して制御 多重性を考慮して制御

手順 一段階手順 多段階手順(下降手順)

単調な場合 検出力が低い 検出力が高い

非単調な場合 解釈しやすい 解釈しにくい

44

Williams検定の統計量

},,,max{

,,

)1(

)(

11

32

2

222

1

1 1

2

2

2

1

ppppp

p

pppp

p

ppp

k

ii

k

i

ni

jiij

ap

p

yyyMn

yny

nnynyn

y

n

yys

nns

yMt

=

=++

++=

−

−=

+

−=

∑

∑∑

=

= =　　

45

ウイリアムス(Williams)検定(WILP)

ＳＡＳマクロWILP データセット名{data=}, 群数{g=}, 有意水準{a=}, 群を表す変数{group=}, 反応変数{y=}，対立仮説の方向｛tail= 1：上側 2:下側｝

OBS control group mean adjmean t wp wtc star

1 926 2 911.9 911.90 1.01022 0.15957 1.68830

2 926 3 891.5 891.50 2.47181 0.01027 1.76560 *

3 926 4 893.0 892.25 2.41808 0.01213 1.79073 *

25.8921010

5.89110893104 =+

⋅+⋅=M

46

Downturnデータへの Dunnett法の適用(downturn)

g y の最小 2 乗平均

H0:LSMean=Control

t 値 Pr > |t|

1 1.26550000

2 1.08280000 -5.51

47

Downturnデータへの Williams法の適用（下側2.5%)

OBS control group mean adjmean t wp wtc star

1 1.2655 2 1.0828 1.08280 5.51187 .000000824 1.67943 **

2 1.2655 3 1.1492 1.11600 4.51026 .000024164 1.75550 **

3 1.2655 4 1.1993 1.14377 3.67257 .000341217 1.78015 **

4 1.2655 5 1.2433 1.16865 2.92186 .003070230 1.79200 **

48

パラメトリック多重比較の前提

Y

P群 A群

μ1

μ2

帰無仮説H0： μ1＝ μ2 ＝ μ3＝ μ4

B群 C群

μ3

μ4

パラに対応するノンパラの多重比較

パラ

ノンパラ

対照群と の比較

Dunnett Steel (STEEL)

群間の 対比較

Tukey Steel-Dwass (STEELD)

単調性を前提に 対照群との比較

Willimas

(WILP)

Shirley-Williams (WILN)

49

()内:作成マクロ名

50

パラメトリック多重比較

∑

∑∑

=

= =

−

−=

+

−= k

ii

k

i

ni

jiij

ab

ab

knkkk

n

n

n

yys

nns

yyt

yyykGroup

yyyGroupyyyGroup

1

1 1

2

2

2

,21

22,2221

11,1211

)1(

)(

11

,,:

,,:2 ,,:1

　　

　　　　

ｔを多重比較の数表と比較する．

51

ノンパラメトリック多重比較 Joint－ranking

∑

∑∑

=

= =

−

−=

+

−=

−

k

ii

k

i

ni

jij

ab

ab

knkkk

n

n

n

rrs

nns

rrz

rrrkGroup

rrrGroup

rrrGroup

1

1 1

2

2

2

,21

22,2221

11,1211

1

)(

11

,,: )401(

k,,:2

,,:1

　　

に変換　　　　　　　順位　　　　

群を一緒にして　　

ｚを自由度無限大の多重比較の数表と比較する．

52

ノンパラメトリック多重比較 Separate－ranking(a-b群比較)

1

)()(

11

)201(,,:b

,,:a

1 1

22

2

2

,21

,21

−+

−+−=

+

−=

−

∑ ∑= =

ba

na

j

nb

jbjaj

ab

ab

bnbbb

anaaa

nn

rrrrs

nns

rrz

rrrGroup

rrrGroup

　　

に変換　　　　　順位

　　　比較する２群を

ｚ2はWilcoxon検定のカイ２乗に一致

53

パラ・ノンパラ多重比較の違い

１）データを全群を一緒にして順位に置き換える．

(separate rankingでは比較する２群ごとに) ２）ｓ２を群内分散をプールしたものから, 全分散に置き換える．

３）自由度を無限大にする． （検定統計量を正規近似する）

54

Joint versus Separate ranking group

１control 34.6 37.5 53.6 50.0 58.3 29.4 43.3 45.2

２ A 46.4 43.5 52.6 55.2 51.7 50.0 57.1 40.0

３ B 56.5 57.1 53.3 55.6 72.2 50.0 51.7 47.4

４ C 65.0 53.6 61.9 53.6 44.4 72.7 61.5 51.9

group MEAN p value

１control 44.0 Joint Separate

２ A 49.6 0.7327 0.4866

３ B 55.5 0.0859 0.1044

４ C 58.1 0.0155 0.0418

55

1 2 3 4

g

30

40

50

60

70

y

group

反応 変数

56

Joint versus Separate ranking

1) Joint rankingは平均値の差が大きいところで有意になりやすい．

2) Separate rankingは平均値の差が小さいところで有意になりやすい．

3) どちらを用いるベキかはコンセンサスはない．

4) 米国ではノンパラの多重比較はあまり用いられない．

57

DATA (時点 1 [ ],変換なし ,そのまま ,ﾊﾟﾗﾒﾄﾘｯｸ )

分散分析結果

自由度1 自由度2 F統計量 p値 マーク

3 36 2.7837 0.0548 n.s.

Dunnett type 多重比較

群 用量 例数 平均 標準偏差 標準誤差 中央値 t統計量 p値 マーク

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- --- ---

Group2 2 10 911.9000 20.1243 6.3639 914.0000 -1.0102 0.6221 n.s.

Group3 3 10 891.5000 39.7555 12.5718 892.0000 -2.4718 0.0478 *

Group4 4 10 893.0000 35.3742 11.1863 902.0000 -2.3643 0.0609 n.s.

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Dunnett type 多重比較

DATA (時点 1 [ ],変換なし ,そのまま ,ﾊﾟﾗﾒﾄﾘｯｸ )

分散分析結果

自由度1 自由度2 F統計量 p値 マーク

3 36 2.7837 0.0548 n.s.

Tukey type 多重比較

群 用量 例数 平均 標準偏差 標準誤差 中央値 Group1_1 Group2_2 Group3_3 Group4_4

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- -1.0102 -2.4718 -2.3643

Group2 2 10 911.9000 20.1243 6.3639 914.0000 0.7445 n.s. --- -1.4616 -1.3541

Group3 3 10 891.5000 39.7555 12.5718 892.0000 0.0818 n.s. 0.4706 n.s. --- 0.1075

Group4 4 10 893.0000 35.3742 11.1863 902.0000 0.1025 n.s. 0.5355 n.s. 0.9995 n.s. ---

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Tukey type 多重比較

59

DATA (時点 1 [ ],変換なし ,そのまま ,ﾊﾟﾗﾒﾄﾘｯｸ )

分散分析結果

自由度1 自由度2 F統計量 p値 マーク

3 36 2.7837 0.0548 n.s.

LSD type 多重比較

群 用量 例数 平均 標準偏差 標準誤差 中央値 Group1_1 Group2_2 Group3_3 Group4_4

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- -1.0102 -2.4718 -2.3643

Group2 2 10 911.9000 20.1243 6.3639 914.0000 0.3191 n.s. --- -1.4616 -1.3541

Group3 3 10 891.5000 39.7555 12.5718 892.0000 0.0183 * 0.1525 n.s. --- 0.1075

Group4 4 10 893.0000 35.3742 11.1863 902.0000 0.0236 * 0.1841 n.s. 0.9150 n.s. ---

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

LSD type 多重比較 分散分析で有意なときのみ対比較を行う ４群以上ではαエラーが保たれない

60

DATA (時点 1 [ ],変換なし ,ﾊﾟﾗﾒﾄﾘｯｸ )

Williamsの多重比較(両側)

群 用量 例数 平均 標準偏差 標準誤差 中央値 併合平均(上側) 統計量(上側) マーク 併合平均(下側) 統計量(下側) マーク

Group1 1 10 926.0000 25.6775 8.1199 914.5000 926.0000 --- --- 926.0000 --- ---

Group2 2 10 911.9000 20.1243 6.3639 914.0000 911.9000 -1.0102 n.s. 911.9000 1.0102 n.s.

Group3 3 10 891.5000 39.7555 12.5718 892.0000 901.7000 -1.7410 n.s. 891.5000 2.4718 *

Group4 4 10 893.0000 35.3742 11.1863 902.0000 898.8000 -1.9488 n.s. 892.2500 2.4181 *

検定結果 ・・・ n.s.: 有意差なし *: p< 0.025 **: p< 0.005 ***: p< 0.0005

Williams 多重比較

61

DATA (時点 1 [ ],変換なし ,そのまま ,ﾊﾟﾗﾒﾄﾘｯｸ )

分散分析結果

自由度1 自由度2 F統計量 p値 マーク

3 36 2.7837 0.0548 n.s.

Bonferroniの多重比較(Dunnett型)

群 用量 例数 平均 標準偏差 標準誤差 中央値 t統計量 無調整p値 調整p値 マーク

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- --- --- ---

Group2 2 10 911.9000 20.1243 6.3639 914.0000 -1.0102 0.3191 0.9574 n.s.

Group3 3 10 891.5000 39.7555 12.5718 892.0000 -2.4718 0.0183 0.0549 n.s.

Group4 4 10 893.0000 35.3742 11.1863 902.0000 -2.3643 0.0236 0.0707 n.s.

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Bonferroni 多重比較(Dunnett型） 調整p値=無調整p値×3

62

Bonferroniの多重比較(Tukey型) 基準GROUP

比較GROUP

t統計量 無調整p値 調整p値 マーク

1 2 -1.0102 0.3191 1.0000 n.s. 1 3 -2.4718 0.0183 0.1098 n.s. 1 4 -2.3643 0.0236 0.1415 n.s. 2 3 -1.4616 0.1525 0.9152 n.s. 2 4 -1.3541 0.1841 1.0000 n.s. 3 4 0.1075 0.9150 1.0000 n.s.

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Bonferroni 多重比較(Tukey型） 調整p値=無調整p値×6

63

DATA (時点 1 [ ],変換なし ,そのまま ,ﾊﾟﾗﾒﾄﾘｯｸ )

分散分析結果

自由度1 自由度2 F統計量 p値 マーク

3 36 2.7837 0.0548 n.s.

Holmの多重比較(Dunnett型)

群 用量 例数 平均 標準偏差 標準誤差 中央値 t統計量 無調整p値 調整p値 マーク

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- --- --- ---

Group2 2 10 911.9000 20.1243 6.3639 914.0000 -1.0102 0.3191 0.3191 n.s.

Group3 3 10 891.5000 39.7555 12.5718 892.0000 -2.4718 0.0183 0.0549 n.s.

Group4 4 10 893.0000 35.3742 11.1863 902.0000 -2.3643 0.0236 0.0549 n.s.

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Holm多重比較(Dunnett型） 0.0183×3，0.0236×2，0.3191

64

Holmの多重比較(Tukey型) 基準GROUP

比較GROUP

t統計量 無調整p値 調整p値 マーク

1 2 -1.0102 0.3191 0.6383 n.s. 1 3 -2.4718 0.0183 0.1098 n.s. 1 4 -2.3643 0.0236 0.1179 n.s. 2 3 -1.4616 0.1525 0.6101 n.s. 2 4 -1.3541 0.1841 0.6101 n.s. 3 4 0.1075 0.9150 0.9150 n.s.

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Holm多重比較(Tukey型） 0.0183×6，0.0236×5，・・・

Bonferroni多重比較法

調整しない６種類の検定のｐ値 S1 S2 S3 S4 S5 S6 0.00177, 0.01413, 0.03121, 0.09108, 0.57181, 0.69122

ｐ1 0.00177×6=0.01062* (0.00177×6=0.01062)

ｐ2 0.01413×6=0.08478 (0.01413×5=0.07065)

ｐ3 0.03121×6=0.18726 (0.03121×4=0.12484)

ｐ4 0.09108×6=0.55008 (0.09108×3=0.27324)

ｐ5 0.57181×6=3.43086 (0.57181×2=1.14362)

ｐ6 0.69122×6=4.14732 (0.69122×1=0.69122)

65

逐次Bonferroni多重比較法１ Holm法による調整ｐ値

調整しない６種類の検定のｐ値 S1 S2 S3 S4 S5 S6 0.00177, 0.01413, 0.03121, 0.09108, 0.57181, 0.69122

ｐ1 0.00177×6=0.01062*

ｐ2 MAX（0.01413×5, 0.01062)=0.07065

ｐ3 MAX（0.03121×4, 0.07065)=0.12484

ｐ4 MAX（0.09108×3, 0.12484)=0.27324

ｐ5 MAX（0.57181×2, 0.27324)>1

ｐ6 MAX（0.69122, 1.00000)>1

66

Holm法による調整ｐ値

))2(,max())1(,max(

323

212

11

pRsspRss

pRs

⋅−=⋅−=

⋅=

ｐ1＜ｐ2＜...＜ｐR

67

68

DATA (時点 1 [ ],変換なし ,そのまま ,ﾊﾟﾗﾒﾄﾘｯｸ )

分散分析結果

自由度1 自由度2 F統計量 p値 マーク

3 36 2.7837 0.0548 n.s.

Dunnettの逐次型検定

群 用量 例数 平均 標準偏差 標準誤差 中央値 t統計量 p値 マーク

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- --- ---

Group2 2 10 911.9000 20.1243 6.3639 914.0000 -1.0102 0.3191 n.s.

Group3 3 10 891.5000 39.7555 12.5718 892.0000 -2.4718 0.0478 *

Group4 4 10 893.0000 35.3742 11.1863 902.0000 -2.3643 0.0435 *

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Dunnettの逐次型検定 1-3 → 1-4 → 1-2

69

逐次Dunnett検定

}4,3,2,1{H

}3,2,1{H }4,2,1{H }4,3,1{H

}2,1{H }3,1{H }4,1{H

4321 µµµµ ===

70

部分帰無仮説の検定

１）H｛1,2,3,4}の検定 Dunnettの水準αの４群の限界値2.349 ２） H｛1,2,３} , H｛1,2,4} , H｛1,3,4}の検定 Dunnettの水準αの３群の限界値2.212 ３） H｛1,2} , H｛1,3} , H｛1,4}の検定 Dunnettの水準αの２群の限界値2.03 （ｔ検定の有意水準αの限界値）

71

DATA (時点 1 [ ],変換なし ,そのまま ,ﾉﾝﾊﾟﾗﾒﾄﾘｯｸ )

Kruskal-Wallis検定 自由度1 χ2統計量 p値 マーク

3 5.3438 0.1483 n.s.

Dunnett type 多重比較(Joint型)

群 用量 例数 平均 標準偏差 標準誤差 中央値 Z統計量 p値 マーク

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- --- ---

Group2 2 10 911.9000 20.1243 6.3639 914.0000 -0.8045 0.7593 n.s.

Group3 3 10 891.5000 39.7555 12.5718 892.0000 -1.9347 0.1325 n.s.

Group4 4 10 893.0000 35.3742 11.1863 902.0000 -1.9347 0.1325 n.s.

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Dunnett type 多重比較（Joint型)

72

DATA (時点 1 [ ],変換なし ,そのまま ,ﾉﾝﾊﾟﾗﾒﾄﾘｯｸ )

Kruskal-Wallis検定

自由度1 χ2統計

量 p値 マーク

3 5.3438 0.1483 n.s.

Tukey type 多重比較(Joint型)

群 用量 例数 平均 標準偏差 標準誤差 中央値 Group1_1 Group2_2 Group3_3 Group4_4

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- -0.8045 -1.9347 -1.9347

Group2 2 10 911.9000 20.1243 6.3639 914.0000 0.8523 n.s. --- -1.1302 -1.1302

Group3 3 10 891.5000 39.7555 12.5718 892.0000 0.2135 n.s. 0.6708 n.s. --- 0.0000

Group4 4 10 893.0000 35.3742 11.1863 902.0000 0.2135 n.s. 0.6708 n.s. 1.0000 n.s. ---

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Tukey type 多重比較（Joint型)

73

DATA (時点 1 [ ],変換なし ,そのまま ,ﾉﾝﾊﾟﾗﾒﾄﾘｯｸ )

Kruskal-Wallis検定

自由度1 χ2統計

量 p値 マーク

3 5.3438 0.1483 n.s.

LSD type 多重比較(Joint型)

群 用量 例数 平均 標準偏差 標準誤差 中央値 Group1_1 Group2_2 Group3_3 Group4_4

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- -0.8045 -1.9347 -1.9347

Group2 2 10 911.9000 20.1243 6.3639 914.0000 0.4211 n.s. --- -1.1302 -1.1302

Group3 3 10 891.5000 39.7555 12.5718 892.0000 0.0530 n.s. 0.2584 n.s. --- 0.0000

Group4 4 10 893.0000 35.3742 11.1863 902.0000 0.0530 n.s. 0.2584 n.s. 1.0000 n.s. ---

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

LSD type 多重比較（Joint型)

74

DATA (時点 1 [ ],変換なし ,そのまま ,ﾉﾝﾊﾟﾗﾒﾄﾘｯｸ )

Kruskal-Wallis検定 自由度1 χ2統計量 p値 マーク

3 5.3438 0.1483 n.s.

Steelの多重比較

群 用量 例数 平均 標準偏差 標準誤差 中央値 Z統計量 p値 マーク

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- --- ---

Group2 2 10 911.9000 20.1243 6.3639 914.0000 -1.0635 0.5796 n.s.

Group3 3 10 891.5000 39.7555 12.5718 892.0000 -1.8190 0.1686 n.s.

Group4 4 10 893.0000 35.3742 11.1863 902.0000 -1.7399 0.1973 n.s.

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Steel 多重比較（Separate型)

75

DATA (時点 1 [ ],変換なし ,そのまま ,ﾉﾝﾊﾟﾗﾒﾄﾘｯｸ )

Kruskal-Wallis検定

自由度1 χ2統計

量 p値 マーク

3 5.3438 0.1483 n.s.

Steel-Dwassの多重比較

群 用量 例数 平均 標準偏差 標準誤差 中央値 Group1_1 Group2_2 Group3_3 Group4_4

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- -1.0635 -1.8190 -1.7399

Group2 2 10 911.9000 20.1243 6.3639 914.0000 0.7118 n.s. --- -1.3264 -1.1726

Group3 3 10 891.5000 39.7555 12.5718 892.0000 0.2643 n.s. 0.5460 n.s. --- -0.1136

Group4 4 10 893.0000 35.3742 11.1863 902.0000 0.3029 n.s. 0.6442 n.s. 0.9995 n.s. ---

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Steel-Dwass 多重比較（Separate型)

76

DATA (時点 1 [ ],変換なし ,そのまま ,ﾉﾝﾊﾟﾗﾒﾄﾘｯｸ )

Kruskal-Wallis検定

自由度1 χ2統計

量 p値 マーク

3 5.3438 0.1483 n.s.

Holmの多重比較(Dunnett型, Separate型)

群 用量 例数 平均 標準偏差 標準誤差 中央値 Z統計量 無調整p値 調整p値 マーク

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- --- --- ---

Group2 2 10 911.9000 20.1243 6.3639 914.0000 -1.0635 0.2876 0.2876 n.s.

Group3 3 10 891.5000 39.7555 12.5718 892.0000 -1.8190 0.0689 0.2067 n.s.

Group4 4 10 893.0000 35.3742 11.1863 902.0000 -1.7399 0.0819 0.2067 n.s.

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Holmの多重比較 (Dunnett型, Separate型) 0.0689×3，0.0819×2，0.2876

77

Holmの多重比較(Tukey型, Separate型)

基準GROUP

比較GROUP

Z統計量 無調整p値 調整p値 マーク

1 2 -1.0635 0.2876 0.7389 n.s. 1 3 -1.8190 0.0689 0.4134 n.s. 1 4 -1.7399 0.0819 0.4134 n.s. 2 3 -1.3264 0.1847 0.7389 n.s. 2 4 -1.1726 0.2410 0.7389 n.s. 3 4 -0.1136 0.9095 0.9095 n.s.

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Holmの多重比較 (Tukey型, Separate型) 0.0689×6，0.0819×5，・・・

78

DATA (時点 1 [ ],変換なし ,ﾉﾝﾊﾟﾗﾒﾄﾘｯｸ )

Shirleyの多重比較(両側)

群 用量 例数 平均 標準偏差 標準誤差 中央値 併合平均順位(上

側) 統計量(上

側) マーク

併合平均順位(下側)

統計量(下側)

マーク

Group1 1 10 926.000

0 25.6775 8.1199 914.5000 26.6000 --- --- 26.6000 --- ---

Group2 2 10 911.900

0 20.1243 6.3639 914.0000 22.4000 -0.8045 n.s. 22.4000 0.8045 n.s.

Group3 3 10 891.500

0 39.7555 12.5718 892.0000 19.4500 -1.3696 n.s. 16.5000 1.9347 n.s.

Group4 4 10 893.000

0 35.3742 11.1863 902.0000 18.4667 -1.5580 n.s. 16.5000 1.9347 n.s.

検定結果 ・・・ n.s.: 有意差なし *: p< 0.025 **: p< 0.005 ***: p< 0.0005

Shirleyの多重比較(両側) （Separate型）

79

DATA (時点 1 [ ],変換なし ,ﾉﾝﾊﾟﾗﾒﾄﾘｯｸ )

Shirley-Williamsの多重比較(両側)

群 用量 例数 平均 標準偏差 標準誤差 中央値 併合平均順位

(上側) 統計量(上

側) マーク

併合平均順位(下側)

統計量(下側)

マーク

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- --- --- --- --- --- Group2 2 10 911.9000 20.1243 6.3639 914.0000 9.1000 -1.0635 n.s. 9.1000 1.0635 n.s. Group3 3 10 891.5000 39.7555 12.5718 892.0000 13.6000 -1.4520 n.s. 11.3500 2.0252 n.s. Group4 4 10 893.0000 35.3742 11.1863 902.0000 18.4667 -1.5580 n.s. 16.5000 1.9347 n.s.

検定結果 ・・・ n.s.: 有意差なし *: p< 0.025 **: p< 0.005 ***: p< 0.0005

Shirley-Williamsの多重比較(両側) （Joint型)

80

DATA (時点 1 [ ],変換なし ,そのまま ,ﾉﾝﾊﾟﾗﾒﾄﾘｯｸ )

Kruskal-Wallis検定

自由度1 χ2統計

量 p値 マーク

3 5.3438 0.1483 n.s.

Steelの逐次型検定

群 用量 例数 平均 標準偏差

標準誤差 中央値 Z統計量 p値 マーク

Group1 1 10 926.0000 25.6775 8.1199 914.5000 --- --- --- Group2 2 10 911.9000 20.1243 6.3639 914.0000 -1.0635 0.2876 n.s. Group3 3 10 891.5000 39.7555 12.5718 892.0000 -1.8190 0.1686 n.s. Group4 4 10 893.0000 35.3742 11.1863 902.0000 -1.7399 0.1453 n.s.

検定結果 ・・・ n.s.: 有意差なし *: p< 0.05 **: p< 0.01 ***: p< 0.001

Steelの逐次型検定 1-3 → 1-4 → 1-2

• 新版 学会・論文発表のための統計学 統計パッケージを誤用しないために

• A 5 判 ・ 240 頁 ・ 定価 3,780 円 （本体 3,600 円＋ 税 5 ％） 2012 年 2 月発売

• ISBN： 978-4-88003-861-2 • 10年以上ロングセラーを

続けてきた本書が，大幅な加筆と改訂で内容を一層充実し“新版”となって登場！医学・医薬研究のみならず看護学・保健学研究に不可欠で，EBMの実践でもますます重要度の高まる“統計”を，わかりやすく，おもしろく解説．

多重比較の基礎�発表構成要旨時計を止める超能力 時計を止める超能力 超能力か？典型的な毒性試験 �RBC(Red Blood Cell counts)典型的な毒性試験検定の多重性と多重比較論文で用いられる多重比較法�1996年の日米欧の調査結果スライド番号 11　帰無仮説の下でのp値の累積分布関数 p値：0～1の一様分布多重性独立な最少p値の分布k回の最小p値の累積分布関数k回の最小p値の確率密度関数４群のDunnett型比較の�αエラーのシミュレーションαエラーのシミュレーション�シミュレーション回数：10万回αエラーのシミュレーション独立性スライド番号 21スライド番号 22スライド番号 23Ｂｏｎｆｅｒｒｏｎｉ�（比較の数だけ問題にする）ＢｏｎｆｅｒｒｏｎｉBonferroni の方法ＢｏｎｆｅｒｒｏｎｉＤｕｎｎｅｔｔ Ｔｕｋｅｙ Ｓｃｈｅｆｆｅ 多重比較まとめ Dunn-Sidak　testSASＧＬＭの多重比較�Dunnett法赤血球数データの図示Dunnett法の結果Tukey法GLMのTukey法の結果の図示Scheffe法Bonferroni(0.05/6)Tukey型の性能比較Dunnett型の性能比較Williams検定Dunnett検定とWilliams検定の比較 Williams検定の統計量ウイリアムス(Williams)検定(WILP) Downturnデータへの�Dunnett法の適用(downturn)Downturnデータへの�Williams法の適用（下側2.5%)パラメトリック多重比較の前提パラに対応するノンパラの多重比較パラメトリック多重比較ノンパラメトリック多重比較�Joint－rankingノンパラメトリック多重比較�Separate－ranking(a-b群比較)パラ・ノンパラ多重比較の違いJoint versus Separate rankingスライド番号 55Joint versus Separate rankingスライド番号 57スライド番号 58スライド番号 59スライド番号 60スライド番号 61スライド番号 62スライド番号 63スライド番号 64Bonferroni多重比較法逐次Bonferroni多重比較法１�Holm法による調整ｐ値Holm法による調整ｐ値スライド番号 68逐次Dunnett検定部分帰無仮説の検定スライド番号 71スライド番号 72スライド番号 73スライド番号 74スライド番号 75スライド番号 76スライド番号 77スライド番号 78スライド番号 79スライド番号 80スライド番号 81