効果量と信頼区間： p 値だけでは不充分

大久保街亜

専修大学人間科学部

専修大学社会知性開発センター・ 心理科学研究センター

実証的研究はすべて帰無仮説検定を採用する(Hubbard & Ryan, 2000)

APA Publication Manual

3

• 1,000を超える学術論文誌がAPAマニュアルを採用している（APA, 2001, p. xxi）

• 心理学の研究・教育のスタイルに強い影響力

• 最新版は第6版（APA, 2009）

–日本語訳も（前田・江藤・田中訳, 2011）

帰無仮説検定は分析の始まりにすぎません。結果の

意味を十分に伝えるためには、効果量、信頼区間、そ

して詳しい記述が不可欠であるとAPAは強く主張します。

すべてのAPAの論文誌において、著者は仮説検定の結

果および効果量と信頼区間を適切に報告してください。

これらは最低限求められることです。

APA Publication Manual (p. 33)

実際の例：効果量と信頼区間

New Statistical Guidelines for Journals of the Psychonomic Society (8/23/2012)

• 豊富な記述はデータの理解を助ける。多面的な指標を用いよ。

–効果量，信頼区間などを併せて報告せよ。

• 検定力を考慮し，どのように標本サイズを決めたか報告せよ。

• 検定の繰り返しは重大な過誤をもたらす。

• データを選択して報告するべからず。

–などなど。

p値で考える（帰無仮説検定）

7

(N→無限大)

「差がない」 「差がある」

「差がある」 「差がある」

効果量で考える

8

「差がない」 「0.01SDだけ差がある」

「1SDだけ差がある」 「2SDだけ差がある」

9

効果量

d族の効果量

ｒ族の効果量

• ２群の平均値差

相関係数

分散説明率

(POV; percent of variance explained)

（平均値差の指標）

（関連の大きさの指標） 9

d族の効果量

– Sp はプールした標準偏差 M1 M2

計算方法

• エクセルでも可。手計算でも。

• 簡易なweb サイトも

– 例 http://www.cognitiveflexibility.org/effectsize/

ｒ族の効果量

• η2 = 全分散に対する当該要因の分散の割合

1要因被験者間分散分析

ｒ族の効果量（その2）

• ηp2 = 誤差分散に対する当該要因の分散の割合

13

1要因被験者間分散分析 1要因被験者内分散分析

具体例：η2とηp2の比較

SS SS df Ms F p

要因A 69.80 2 34.90 9.27 .001

要因B 120.00 1 120.00 31.86 .000001

交互作用 A X B

8.60 2 4.30 1.14 .336

誤差 E 90.40 24 3.77

全体 T 288.80

２要因被験者間分散分析

誤差分散 σE2

要因Aの分散 σA2

要因Bの分散 σB2

交互作用ABの

分散 σAB2

要因A

η2 = 69.80/288.80 = .24

ηp2 = 69.80/(69.80+90.40) =.44

計算方法 • エクセルでも，手計算でも。

• ηp2 はSPSSで簡単に出力できる。

• R でanovakunを使うともっと多様なことが。。。

信頼区間：点推定と区間推定

• 点推定

– 母集団を代表する点の推定：平均値，中央値

• 区間推定 – 点推定のばらつきを推定。

– ある確率で（母数の）代表値が存在する区間を推定する

• ある確率＝信頼水準

• ある信頼水準において推定された区間＝信頼区間

信頼区間（Confidence Interval, CI）

• 95%信頼区間 (95% CI)

– 慣習的にこの値が用いられる

– 95%CI = M ±

SE×t_95%

– t_95% = t分布の95％点

• 100回の推定を行えば，95回はその範囲に母数が含まれる

信頼区間で なにがわかるか？

• 母数の含まれる範囲

– 応用的には重要

• データの精度

– 効果・誤差

– 標本サイズ

• 効果の大きさ

• 検定力

• 「差がない」仮説の エビデンス

計算方法 • エクセルでも，手計算でも。

• SPSSで簡単に出力できる。

最近の論文における効果量の報告(Fritz et al., 2012)

• JEP:General 2009-2010に掲載された論文

• ANOVAを用いた論文でおよそ5−6割が効果量を報告

• その大半がηp2

信頼区間報告に関する変化(Cumming et

al., 2007)

日本の現状

• 大久保 (2009)

–論文誌「基礎心理学研究」を対象

– 199報の論文 （1982 -2008年）

• 効果量と信頼区間の報告数

効果量の報告＝ほぼなし（相関係数，回帰係数，決定係数のみ）

0

20

40

60

80

100

p ValueEffect Size

82-84 85-88 89-92 93-96 97-00 01-04 05-08

Year of Publication

N = 22 N = 24 N = 27 N = 31 N = 31 N = 31 N = 33

信頼区間の報告＝ほぼゼロ

0

20

40

60

80

100

Total

SD

SE

CI

82-84 85-88 89-92 93-96 97-00 01-04 05-08

Year of Publication

N = 22 N = 24 N = 27 N = 31 N = 31 N = 31 N = 33

論文誌「パーソナリティ研究」における 効果量の報告

• 対応のないt検定を対象

• 2009年から2013年

• CohenのdやHedgesのgなど差の効果量の報告のみを対象

論文誌「パーソナリティ研究」における 効果量の報告

0

20

40

60

80

100

2009 2010 2011 2012 2013

効果量の報告

(%)

発行年

n = 10 (2009), 40 (2010), 25 (2011), 17(2012), 23 (2013)

“false-positive psychology” 問題 (Simmons, Neson, & Simonsohn, 2011)

• Bem (2013)など再現性や頑健性に疑問のある研究

• 擬陽性の生じやすさをシミュレーションで検討

– 標本サイズ，独立変数の数，共変量の効果

• 「n増し」と擬陽性の関係

ここが有意じゃないんですよ。

p = .078 nを足してごらんよ

n増しと擬陽性の関係 (Simmons et al. 2011)

ただし，実際の研究場面では擬陽性の確率はもっと減る(Murayama et al., in press)

p値のみに頼るとどうなるか？

• 雑誌「パーソナリティ研究」

–論文記載のデータから効果量を算出

– 2009年から2013年まで

• p値と効果量の関係を検討

–対応のないt検定を対象

独立な2群の差の検定 (N= 98)

p値と効果量の判断の非対応

• 同様の効果量でも，p < .05 とp > .06

–特に小さな効果 ( d < .2)

–中程度の効果量でも，有意差として検出されないことがある。

指標 小さな効果 中程度の効

果 大きな効果

d .2 .5 .8

η2 .01 .06 .14

32

すべてのAPAの論文誌において、著者は仮説検定の結

果および効果量と信頼区間を適切に報告してください。

これらは最低限求められることです。

複数の指標から，統合的かつ整合的にデータを解釈す

べき

APA Publication Manual (p. 33)

Rosnow & Rosenthal (1989)

• 「神はp < .05 を p < .06と等しく，そして同じくらい強く愛してくださる。」

大久保・岡田(2012) 伝えるための

心理統計：効果量，信頼区間，検定力

• 心理学における統計改革

– 帰無仮説検定に偏ったデータ解析の是正

• 効果量・信頼区間・検定力