kirk' experimental design, chapter 5
TRANSCRIPT
Date
實驗設計效果量、估計樣本數、還有靠近一點看看ANOVA....
13年4月8⽇日星期⼀一
✤ Completely Randomized Design (CRD, CR-p) 完全隨機化設計
✤ p: 實驗組別的數量
✤ 用法：獨變項的組別數量有三組以上，觀察各組的依變項之平均值有無差異。
✤ 統計假設：
✤ H0: µ1 = µ2 = µ3 ... = µp
✤ H1: µj ≠ µj’ for some j and j’, j ≠ j’
✤ H0: α1 = α2 = α3 ... = αp
✤ H1: αj ≠ αj’ for some j and j’, j ≠ j’
13年4月8⽇日星期⼀一
✤ Completely Randomized Design (CRD, CR-p) 完全隨機化設計
✤ Yij = µ + αj + εi(j) (i = 1,..., n; j = 1,...,p)
✤ Fixed-effects model
Yij 受試者 i 在第 j 個實驗組別下的依變項
µ 母群的平均值，各實驗組別平均觀察值(µ1, µ2, µ3)的總平均值。µ為固定值。
αj(alpha) 第j個實驗組別的效果，等於該組平均值與母群平均值的差異量(µj–µ)。同一個實驗組別之下每個觀察值有一樣的 αj。
εi(j) (epsilon) Yij的殘差值，等於 Yij – µ – αj。
13年4月8⽇日星期⼀一
✤ 固定效果模式（fixed effect model）: 當一個研究的獨變項的組別數量（p組），包括了該變項所有可能的水準（P組），也就是樣本的水準數等於母群的水準數（P = p） 。
✤ 例如比較大學四個年級學生的曠課次數，此時獨變項為年級，具有四個水準，母群亦為四個年級。
✤ 隨機效果模式（random effect model）: 研究的獨變項只包含一部份的水準，並非包括所有的類別，此時樣本的水準數小於母群的水準數（P > p） 。
✤ 例如教育學者比較不同地區的學校教學方法的成效有所不同，因此隨機選取幾個地區的一些學校共四所（獨變項）。此時母群裡面每個學校各自有不同的教學環境，但該研究僅觀察其中四個組別。
13年4月8⽇日星期⼀一
✤ 範例 Table 5.2-1
✤ CP-4, n = 8 (N = 32)
✤ IV: 睡眠剝奪時間 (12小時、18小時、24小時、30小時)
✤ DV: 將感應器維持在0.5 英吋的圓洞中，估計兩分鐘內碰到圓洞邊緣的次數。
13年4月8⽇日星期⼀一
✤ 進行推論統計之前，要檢查資料分佈的形狀、決定極端值(outlier)的條件以及處置方法。
✤ 常用的極端值條件： 樣本與平均值的差大於2.5 倍標準差
✤ 處置極端值：刪除，或者用平均值取代
✤ 目的：使樣本趨近常態分佈、變異性同質。此外，檢查資料可以瞭解受
試者的氣質、實驗材料是否適當。
13年4月8⽇日星期⼀一
一般會使用的樣本統計數有：平均數、標準差、
標準誤 (s/(n^0.5)，如果樣本分佈會偏離常態分佈，可以補充中位數。
13年4月8⽇日星期⼀一
以殘差的分佈進行觀察。也可以將殘
差除以MSerror。理想的分布圖應該呈
現常態分佈，以0為中心左右對稱。
觀察殘差與其他實驗變數的關聯。理
論上殘差應該是獨立於任何因素，不
會發生正相關/負相關的情況
13年4月8⽇日星期⼀一
離均差平方和 組內離均差平方和組間離均差平方和
SSTO SSTO = [AS] – [Y]
SSBG = [A] – [Y]
SSWG = [AS] – [A]
個別觀察值與總平均之間的距離
各組平均值與總平均之間的距離
個別觀察值與各組平均值之間的距離
13年4月8⽇日星期⼀一
13年4月8⽇日星期⼀一
✤ 臨界值：F(0.05, 3, 28) = 2.95 [ = fdist(f, v1, v2) ]
✤ F 統計量 7.5代表的 第一類型錯誤機率：0.000781 [ = finv(f, v1, v2) ]
✤ APA 報告方式：
✤ 睡眠剝奪時間的效果達顯著( F(3, 28) = 7.5, MSE = 2.179, p < .001)
13年4月8⽇日星期⼀一
✤ 多重比較 (1)
✤ IV: 睡眠剝奪時間 (12小時、18小時、24小時、30小時)
✤ 3組正交/事前比較
✤ !1 = µ1 – µ2 [ 1 -1 0 0]
✤ !2 = µ3 – µ4 [ 0 0 1 -1]
✤ !3 = (µ1 + µ2)/2 – (µ3 + µ4)/2 [ 0.5 0.5 -0.5 -0.5]
^
^
^
13年4月8⽇日星期⼀一
p – 1 a priori orthogonal contrasts
✤ Student’s Multiple t Test
✤ CP4 , n = 8 (N = 32), MSE = 2.179
1. 估計MSE
2. 將平均值、加權值帶入下列公式，計算每一組比較的t 分數
3. 依照α, MSE的自由度查表取得臨界值。t分數的絕對值大於臨界值表示該組比較俱有顯著效果
tα/2, p(n-1)
13年4月8⽇日星期⼀一
p – 1 a priori orthogonal contrasts
✤ Student’s Multiple t Test
✤ CP4 , n = 8 (N = 32), MSE = 2.179
t (0.05/2, 28) = 2.048
13年4月8⽇日星期⼀一
✤ 多重比較 (2)
✤ IV: 睡眠剝奪時間 (12小時、18小時、24小時、30小時)
✤ 配對比較 (6 組配對)
✤ Tukey’s HSD test
✤ Fisher-Hayter Test
✤ REGW step-down procedure
easy
powerful
13年4月8⽇日星期⼀一
✤ Fisher-Hayter Test
✤ 使用 qFH的公式估計各配對的差值、臨界值
13年4月8⽇日星期⼀一
✤ 統計顯著性（statistical significance）
✤ 基於機率理論的觀點，說明獨變項效果相對於隨機變化的一種統計意義的檢驗
✤ 例如利用F考驗來決定獨變項效果的統計意義
Effect Size 效果量
0"
10"
20"
30"
40"
50"
60"
70"
80"
0" 0.01" 0.02" 0.03" 0.04" 0.05" 0.06"
numbe
r'of'sam
ples'
p'values'
13年4月8⽇日星期⼀一
✤ 實務顯著性（practical significance）
✤ 反應獨變項效果在真實世界的強度意義
✤ 常用關聯強度 (!2)、效果量( f量數) 表示
Effect Size 效果量
0"
10"
20"
30"
40"
50"
60"
70"
80"
0" 0.01" 0.02" 0.03" 0.04" 0.05" 0.06"nu
mbe
r'of'sam
ples'
p'values'
13年4月8⽇日星期⼀一
Omega Squared 關聯強度
✤ 類似於迴歸分析的R2
✤ 定義式
✤ !2量數
✤ 組間變異與總變異的比值，表示依變項變異量能被獨變項解釋的百分比。
✤ 亦即獨變項與依變項的關聯強度
✤ 樣本估計式
13年4月8⽇日星期⼀一
Omega Squared 關聯強度
✤ ω2量數的數值介於0到1之間，越接近1表示關聯越強✤ ω2量數值分佈為以.05到.06為眾數的正偏態分配，達到.1以上者，即屬於高強度的獨變項效果。一般期刊上所發表的實證論文的 ω2 僅多在.06左右。
✤ Cohen（1988）建議的判斷準則：
.059> 2ω ≥.01 ������
.138> 2ω ≥.059 ������ 2ω ≥.138 ������
13年4月8⽇日星期⼀一
獨變項可以解釋依變項38% 的變異量。
13年4月8⽇日星期⼀一
✤ η2是迴歸分析當中的R2，除了作為X對Y解釋強度的指標外，經常也被視為效果量的指標
✤ 樣本數小的時候必須調整η2，以得到不偏估計數（Wherry, 1931）
eta square 量數
13年4月8⽇日星期⼀一
效果量系數
✤ 效果量（effect size）係數
✤ 用來衡量獨變項強度的統計量。
✤ Cohen ‘s d 係數：最簡單的效果量，指平均數之間的差異程度。平均數間差異越大，表示獨變項的強度越強。
✤ f量數：適用於當平均數數目大於2時
13年4月8⽇日星期⼀一
✤ Cohen（1988）建議的判斷準則：
.25 > f ≥ .10 低效果量
.40 > f ≥ .25 中等效果量
f ≥ .40 高效果量
13年4月8⽇日星期⼀一
Power and sample size
✤ 變異數分析提供了一些訊息，可以估計該實驗的檢定力 (power)。
✤ 1–β就是檢定力(power)，代表可以拒絕H0的機率。一般研究者認為 1–β大於0.8代表該研究效果值得信任。
真實情況真實情況
H0為真 H0為假
研究者的決定
無法拒絕 H0正確接受H0
probability = 1 – α第二類型錯誤
probability = β
研究者的決定
拒絕H0
第一類型錯誤
Type I errorprobability = α
正確拒絕H0
probability = 1 – β
13年4月8⽇日星期⼀一
估計power 的方式
✤ 使用Tang (1938) 的表，或者用SPSS
13年4月8⽇日星期⼀一
用Tang 的方法估計power
✤ 睡眠剝奪實驗的參數：
✤ p = 4; n = 8; MSb = 16.333; MSw = 2.179
✤ phi = 2.21
13年4月8⽇日星期⼀一
✤ Tang的效果量對應表：
13年4月8⽇日星期⼀一
✤ Tang的效果量對應表：
✤ v1 = p – 1 = 3✤ v2 = p(n – 1) = 28✤ α = 0.05✤ ϕ = 2.21
本研究的效果量 大約為 0.95，遠大於合理標準 (0.8)
13年4月8⽇日星期⼀一
✤ 效果量過大，代表將來在檢驗同一個研究的時候，保持
同樣的實驗設計時，使用較少的樣本數即可拒絕H0。
✤ 換言之，重複檢驗的時候，只要樣本來源不變，所有的
實驗條件一樣：
✤ p = 4; MSb = 16.333; MSw = 2.179
✤ 試試看當 n 小於8 的時候，power 什麼時候會剛好大於0.8?✤ 估計不同樣本數量之下的 phi
✤ n = 5; ϕ = 1.75✤ n = 6; ϕ = 1.92
13年4月8⽇日星期⼀一
✤ Tang的效果量對應表：
v1 = 4 – 1 = 3
v2 = 4(5 – 1) = 16
! = 0.05
ϕ = 1.75
v1 = 4 – 1 = 3
v2 = 4(6 – 1) = 20
! = 0.05
ϕ = 1.92
13年4月8⽇日星期⼀一