stats/effectsize.xls - mizumoto atsushi's...

27
何何何何何何何何何何 何何何何何何何何何何何何何何何何何何何何何何何何何何何何何 。, 何何何何何何何何何何何何何何何何何何何何何何何何何何何何 ()。 何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何 何何何何何何何何何何何何何何何何何何 ,, ※ 何何何何 何何何何何何何何何何何何何何何何何何何何何何 ,。 何何何何何何何何何何何 何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何 ,?, 何何何何何何何何何何何何何何何何何参参参参 参参参参 Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hill Field, A. (2005). Discovering statistics using SPSS (2nd ed.). London: SAGE Publications Hatch, E.., & Lazaraton, A. (1991). The research manual: Design and statistics for applied linguistics. Boston: Heinle & Heinle. Howitt, D., & Cramer, D. (2003). An introduction to statistics in psychology (Rev. 2nd e 参参参 【】 (p. 5) Editors find in submitted papers the following kinds of defects in the design and reporting of research: failure to repor it is almost always necessary to include some index of effect size or strength of relati 何何何何何何何何何何何何何何何何何何何何何何何何何何Q. The APA manual (5th edition) encourages authors of quantitative studies to report eff Effect size is a measure of the strength of relationship and relates to the power of a s 参参参 (effect size) 参参何何何何何何何何 t( ANOVA 何何何何何 ), p何何何何何何何何何何何何 何何何何何 何何何何何何何何何何何何何 (), p何何何何何何何何何何何何何何何何何何何 何何何何何何何何何何何何何何何何何何何何何何何何何何何何 何何何何何何何何何何何何何何何何何何 何何何何何何何何何何何何何何何何 Cohen's d何何何何何何何何何何何何何何何何何何何何何何何何何Pearson’s correlation coefficient r何何(Field, 2005, p. 32)Cohen1988 何何何何何何何何何何何何何何何何何 )。 r = .10 何何何何何 何何何何何何何何何何何 ()- 1% r何何何r = .30 何何何何何 何何何何何何何何何何何 ()- 9% r何何何r = .50 何何何何何 何何何何何何何何何何何 ()- 25% r何何何※ Cohen's d何r何何何何何何何Cohen(1988)何何何何何何何何何※ d (Cohen’s d) 何何何何 (www.work-learning.com) 何 何何何何何何何何何何何何何何何 (http://web.uccs.edu/lbecker/Psy590/escalc3.htm) 何何何何何何何何何何何何何何何何何何何何何 何何何何何何何何何何何何何何 [email protected] 何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何何 何何何 何何何何何何何 http://home.hiroshima-u.ac.jp/nittono/QA.html The APA manual (5th ed.)何何 何何何何何何何何何何何何何何何何何 ,。 (p. 25) For the reader to fully understand the importance of your findings,

Upload: dangtruc

Post on 30-Jun-2018

213 views

Category:

Documents


0 download

TRANSCRIPT

何も与えてくれません。そこで,サンプル数によって変化することのない絶対的な数値が(特にいくつかの先行研究を比べる場合には)必要になります。効果量とはその絶対的な数値のことであると解釈すればよいでしょう。

効果量の大きさの解釈ですが,ピアソン相関係数を例に挙げてみると,

※ ちなみに,有意差があってもなくても効果量は報告します。

 「ややこしい数式なしで,簡単に効果量を計算できないかな?」と思って,このエクセルによる効果量の計算のシートを作成しました。

参考資料・参考文献Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum.Field, A. (2005). Discovering statistics using SPSS (2nd ed.). London: SAGE Publications.Hatch, E.., & Lazaraton, A. (1991). The research manual: Design and statistics for applied linguistics. Boston: Heinle & Heinle.Howitt, D., & Cramer, D. (2003). An introduction to statistics in psychology (Rev. 2nd ed.). Harlow: Prentice-Hall.

【備考】(p. 5) Editors find in submitted papers the following kinds of defects in the design and reporting of research: failure to report effect sizes.

it is almost always necessary to include some index of effect size or strength of relationship in your Results section.

ある国際ジャーナルでは以下のように説明してありました。Q. The APA manual (5th edition) encourages authors of quantitative studies to report effect sizes. Is this necessary?

Effect size is a measure of the strength of relationship and relates to the power of a study.

効果量 (effect size) とは?t検定や分散分析(ANOVA)を行って,p値を用いて有意差があった(なかった)という結果を報告しますが,p値はサンプル数によって変わるものなので,その検定の効果そのものが大きいか小さいかについての情報は

 効果量を表す指標はいくつかありますが,その中でも最もよく用いられるのがCohen's dと呼ばれるものと,相関でよく見かけるピアソン相関係数(Pearson’s correlation coefficient rです(Field, 2005, p. 32)。Cohen(1988)によれば以下のようになっています。 r = .10 (効果量小)- 説明できる変動の割合は1% (rの二乗) r = .30 (効果量中)- 説明できる変動の割合は9% (rの二乗) r = .50 (効果量大)- 説明できる変動の割合は25% (rの二乗)

 ※ Cohen's dをrに変換する式はCohen(1988)で紹介されています。 ※ d (Cohen’s d) の計算は (www.work-learning.com) や,効果量の計算をしてくれるサイト (http://web.uccs.edu/lbecker/Psy590/escalc3.htm) を使えば簡単に計算できます。

まだ未完成ですが,間違いなど発見された場合には [email protected] までご連絡いただければ幸いです。

広島大学大学院総合科学研究科認知心理生理学研究室 入戸野 宏先生のサイト http://home.hiroshima-u.ac.jp/nittono/QA.html

The APA manual (5th ed.)では,効果量についてこう書いてあります。(p. 25) For the reader to fully understand the importance of your findings,

Effect sizes are usually reported along with reports of statistical significance. Although our policy does not eliminate manuscripts that do not report effect size, because in some instances it may not be appropriate to do so, effect sizes for your data should usually

be reported along with reports of statistical significance.

Manuscripts often benefit from reporting effect sizes of both the new study and studies cited in the literature review. To do the latter, it may be necessary to calculate the effect size measures from data summaries or test statistics given in those cited studies. In some cases, of course, such calculation will not be possible. Ideally, the author will relate the effect size of the new study to those of previous studies.

Confidence intervals are generally appropriate for this purpose (e.g., Do the effect sizes in other studies fall within the confidence i

nterval estimated from the current study? Do confidence intervals for effect sizes overlap in a particular region?). The practical significance of the obtained effect should be emphasized.

There are quite a few different measures of effect size. Selection of the most appropriate one depends upon the nature of the study conducted. Authors may wish to consult the following publications for guidance:Cooper and Hedges. The Handbook of Research Synthesis. New York: Russell Sage Foundation, 1994.

Wilkinson, Leland and the Task Force on Statistical Inference. "Statistical Methods in Psychology Journals: Guidelines and Explanations." American Psychologist, 1999. Available online at: http://www.apa.org/journals/amp/amp548594.html

↓ここにそれぞれの値を入れてください3.717

自由度 29

13.81608942.816089

↓これを報告する 効果量の目安.57 効果量大

【報告の例】(Field, 2005, p. 295)

t 検定(2群の比較)の効果量の計算r の計算 (t 値と自由度から計算)

t値

tの2乗tの2乗+自由度

効果量(r)

対応のあるt検定の場合の例・On average, participants experienced significantly greater anxiety to real spiders (than to pictures of spiders (M = 41.00, SD = 11.03, t(11) = -2.43, p < .05, r =.60).

対応のないt検定の場合の例 (有意差がなくても効果量を報告している)・On average, participants experienced significantly greater anxiety to real spiders (than to pictures of spiders (M = 40.00, SD = 9.29). This difference was not significant t(22) = -1.68, p > .05; however, it did present a medium sized effect r = .34.

d の計算1. 各群の人数が同じ場合

dft

tr

2

2

↓ここにそれぞれの値を入れてください自由度

59.75 8.9150.5 11.38

↓これを報告する 効果量の目安0.91 効果量大

↓ここにそれぞれの値を入れてください実験群 20 59.75 8.91統制群 20 50.5 11.38

↓これを報告する 効果量の目安0.91 効果量大

(事前テストと事後テストの平均と標準偏差から計算)

↓ここにそれぞれの値を入れてください自由度

33.0 22.4 7951.8 22.5

↓これを報告する 効果量の目安.84 効果量大

|.20|≦small<|.50||.50|<medium<|.80|

↓自由度と t 値は平均 (Mean) 標準偏差 (SD)

実験群/Test A統制群/Test B

効果量(d)

2. 各群の人数が違う場合人数 (n) 平均 (Mean) 標準偏差 (SD)

効果量(d)

Δ の計算↓自由度と t 値は

平均 (Mean) 標準偏差 (SD)事前テスト(pre-test)事後テスト(post-test)

効果量(Δ)Δ=.50なら意味があると見なします(Koizumi & Katagiri, 2007)

|.80|≦largeKoizumi, R., & Katagiri, K. (2007). Changes in speaking performance of Japanese high school students:                       The case of an English course at a SELHi. ARELE, 18, p.81-90.

【例】平均値 標準偏差 平均値の標準誤差 下限 上限

-7.00 9.81 2.83 -13.23 -0.77

【注】

(Field, 2005, p. 303)

SPSSのt検定のアウトプット差の 95% 信頼区間

ペア 1

・この方法は対応のあるt検定(dependent t-test)でも対応のないt検定(indendent t-test・これで求めた効果量(r)を二乗したものはη2(eta squared)とも言われます。(Hatch & Lazaraton, 1991, p. 266)

On average, participants experienced significantly greater anxiety to real spiders (M = 47.00, SD = 9.29),(11) = -2.43, p < .05, r =.60).

On average, participants experienced significantly greater anxiety to real spiders (M = 47.00, SD = 9.29), = 9.29). This difference was not significant t(22) = -1.68, p > .05; however, it did present a medium sized effect r = .34.

-7.21

自由度と t 値は d の計算のために記入する必要ありませんt 値

自由度と t 値は Δ の計算のために記入する必要ありませんt 値

p < .01

(Koizumi & Katagiri, 2007)

2

)(22 統制群の標準偏差実験群の標準偏差

統制群の平均実験群の平均

d

2)(

)1()1(22

統制群の人数実験群の人数

統制群の標準偏差統制群の人数実験群の標準偏差実験群の人数

統制群の平均)(実験群の平均d

Koizumi, R., & Katagiri, K. (2007). Changes in speaking performance of Japanese high school students: The case of an English course at a SELHi. ARELE, 18, p.81-90.

自由度-2.47 11 .031

t 値 有意確率 (両側)

検定(indendent t-test)でも使えます。とも言われます。(Hatch & Lazaraton, 1991, p. 266)

however, it did present a medium sized effect r = .34.

2

)(22 統制群の標準偏差実験群の標準偏差

統制群の平均実験群の平均

d

2)(

)1()1(22

統制群の人数実験群の人数

統制群の標準偏差統制群の人数実験群の標準偏差実験群の人数

統制群の平均)(実験群の平均d

一元配置の分散分析

↓ここにそれぞれの値を入れてくださいグループ間平方和 23819.52

平方和の合計 46162.94

↓これを報告する 効果量の目安.52 効果量大

↓ここにそれぞれの値を入れてくださいグループ間平方和 23819.52

グループ間自由度 7

グループ内平均平方 8.44

平方和の合計 46162.94

↓これを報告する 効果量の目安.52 効果量大

(One-way Independent ANOVA)の効果量の計算η2の計算

効果量(η2)※多重比較のときにはt検定の効果量を用いることができます。

ω2の計算

効果量(ω2) =※多重比較のときにはt検定の効果量を用いることができます。

【例】 平方和 自由度 平均平方 有意確率

グループ間 23819.52 7 3402.788 403.2768 .000

グループ内 22343.42 2648 8.437848合計 46162.94 2655

【例】 平方和 自由度 平均平方 有意確率

グループ間 23819.52 7 3402.788 403.2768 .000

グループ内 22343.42 2648 8.437848

合計 46162.94 2655

の効果量の計算

SPSSの一元配置の分散分析のアウトプットF 値

SPSSの一元配置の分散分析のアウトプットF 値

二元配置以上の分散分析の効果量の計算

↓ここにそれぞれの値を入れてください3332.29168.751978.125

修正総和 8966.67

↓これを報告する 効果量の目安.37 効果量大.02 効果量小.22 効果量大

↓ここにそれぞれの値を入れてください3332.29 2168.75 11978.125 2

修正総和 8966.67

誤差の平均平方 83.04

↓これを報告する 効果量の目安.35 効果量大

η2の計算要因A(主効果)の平方和要因B(主効果)の平方和要因A * 要因B (交互作用)の平方和

要因A(主効果)の効果量(η2)要因B(主効果)の効果量(η2)要因A * 要因B (交互作用)の効果量(η2)

※多重比較のときにはt検定の効果量を用いることができます。

ω2の計算要因A(主効果)の平方和と自由度要因B(主効果)の平方和と自由度要因A * 要因B (交互作用)の平方和と自由度

要因A(主効果)の効果量(ω2)

.01 効果量ほとんどなし

.20 効果量中要因B(主効果)の効果量(ω2)要因A * 要因B (交互作用)の効果量(ω2)

※多重比較のときにはt検定の効果量を用いることができます。

【例】↓ここにそれぞれの値を入れてください

ソース 自由度 平均平方修正モデル 5479.167 5 1095.833

切片 163333.3 1 163333.33332.292 2 1666.146168.75 1 168.751978.125 2 989.0625

誤差 3487.5 42 83.03571総和 172300 48

修正総和 8966.67 47

【注】

【例】↓ここにそれぞれの値を入れてください

ソース 自由度 平均平方修正モデル 5479.167 5 1095.833

切片 163333.3 1 163333.33332.292 2 1666.146168.75 1 168.751978.125 2 989.0625

誤差 3487.5 42 83.03571総和 172300 48

修正総和 8966.67 47

SPSSのアウトプットタイプ III 平方和

要因A(主効果)要因B(主効果)要因A * 要因B (交互作用)

・ここで計算したものは partial η2 (偏イータ2乗,偏相関比)とは違うので注意が必要です。・partial η2 (偏イータ2乗,偏相関比)はSPSSの【オプション】→【効果サイズの推定値】を指定すればアウトプットで表示されます。

SPSSのアウトプットタイプ III 平方和

要因A(主効果)要因B(主効果)要因A * 要因B (交互作用)

効果量ほとんどなし

【注】・ω2 はグループごとの人数が等しいときにしか使用できず (Field, 2005, p.384; Hatch & Lazaraton, 1991, p. 331),繰り返しありの場合(反復測定,repeated measures)には計算式が異なります (Field, 2005, p.452)。

有意確率13.19713 .000 .6111967.025 .000 .97920.06541 .000 .4892.032258 .161 .04611.91129 .000 .362

有意確率13.19713 .000 .6111967.025 .000 .97920.06541 .000 .4892.032258 .161 .04611.91129 .000 .362

F 値 偏イータ 2 乗

乗,偏相関比)とは違うので注意が必要です。の【オプション】→【効果サイズの推定値】を指定すればアウトプットで表示されます。

F 値 偏イータ 2 乗

はグループごとの人数が等しいときにしか使用できず (Field, 2005, p.384; Hatch & Lazaraton, 1991, p. 331),repeated measures)には計算式が異なります (Field, 2005, p.452)。

ノンパラメトリック検定の効果量の計算群の数 データの対応

なしありなしあり

↓ここにそれぞれの値を入れてくださいZ 2.20

人数 80

↓これを報告する 効果量の目安.25 効果量小

↓ここにそれぞれの値を入れてください2.20

人数 80行・列の少ない方の値 2

↓これを報告する 効果量の目安

用いる代表値

2群 中央値・

順位など3群以上出所:『英語教師のための教育データ分析入門』 p.61

r の計算 (Z と被験者数から計算)

効果量(r)

クロス表のχ2検定

χ2値

.17 効果量小

 

効果量(Cramer's V)※行と列のいずれかが2のクロス表の場合は,M=2となって,sqrt(χ2/n)となり,この指標は小野寺孝義 ・ 菱村 豊 (2005). 『文科系学生のための新統計学』 京都:ナカニシヤ出版

検定方法ウィルコクスンの符号付順位和検定クラスカル・ウォリスの順位和検定フリードマン検定

【例】 VAR00001

4.000 59.000

Z -3.484 .000 .000

マン・ホイットニーのU検定

と被験者数から計算)SPSSのアウトプットMann-Whitney の UWilcoxon の W漸近有意確率 (両側)正確有意確率 [2x(片側有意確率)]

n はサンプル数M は行と列のいずれかの最小数

)1(

2

MnVCramer の

sqrt(χ2/n)となり,この指標はφと呼ばれる。京都:ナカニシヤ出版.

東京大学大学院 中田達也氏作成

↓ここに値を入れてください6.21832393775655

df 19

.25

↓これを報告する 効果量の目安.50 効果量中

r6.22 .50

18.61 .70142.19 .9447.07 .841.58 .286.75 .51.24 .11

F-ratiosから効果量(r)を計算するField (2005) p. 453, 479, 514を元に作成Repeated-measures design / mixed design ANOVAにおけるcontrast(対比)の効果量を計算するときに使用します* Repeated-measures designでは、独立変数が1つの時でも2つ以上の時でも使用できます。

F値

rの2乗

効果量(r)

F-ratiosによるrの変化* dfは19で固定

F値

26.91 .77

【例】

被験者内対比の検定

におけるcontrast(対比)の効果量を計算するときに使用しますつの時でも2つ以上の時でも使用できます。

SPSSの分散分析のアウトプット 3×3の2-way repeated-measures designの場合

独立変数1 独立変数2独立変数1 水準 1 対 水準 3

水準 2 対 水準 3誤差 (独立変数1) 水準 1 対 水準 3

水準 2 対 水準 3独立変数2 水準 1 対 水準 3

水準 2 対 水準 3誤差 (独立変数2) 水準 1 対 水準 3

水準 2 対 水準 3独立変数1 x 独立変数2 水準 1 対 水準 3 水準 1 対 水準 3

水準 2 対 水準 3水準 2 対 水準 3 水準 1 対 水準 3

水準 2 対 水準 3誤差 (独立変数1x独立変数2) 水準 1 対 水準 3 水準 1 対 水準 3

水準 2 対 水準 3水準 2 対 水準 3 水準 1 対 水準 3

水準 2 対 水準 3

自由度 平均平方 有意確率1383.339 1 1383.339 6.218324 0.022 464.0056 1 464.0056 18.61269 0.000 4226.772 19 222.4617473.6611 19 24.929533520.089 1 3520.089 142.1939 0.000 3690.139 1 3690.139 47.07038 0.000 470.3556 19 24.755561489.528 19 78.3962

320 1 320 1.575946 0.225 720 1 720 6.752221 0.018

36.45 1 36.45 0.235038 0.633 2928.2 1 2928.2 26.90579 0.000 3858 19 203.05262026 19 106.6316

2946.55 19 155.08162067.8 19 108.8316

2-way repeated-measures designの場合

タイプ III 平方和 F 値