kirk' experimental design, chapter 3

2013-3-12

實驗設計變異數分析

13年3月12⽇日星期⼆二

抽樣分佈函數

✤ 除了t、z分數之外，常用的統計量還有F 以及!2 (卡方分數, chi-square)

✤ 這些統計量的函數屬於連續性函數

✤ Z 以及t 與平均值(mean)的抽樣分佈有關。F以及!2與變異數(variance)的抽樣分佈有關。


✤ Z 分數的抽樣分佈

✤ 常態分佈

✤ 左右對稱

✤ 當平均值為0、變異數為1的時候稱為標準常態分佈。


✤ 從常態分佈的母群中隨機取樣，計算z分數的平方。重複這個程序無限多次。每次取樣的數量為1的時候 (degree of freedom; df = 1):

✤ 68% 的!2介於 0~1

卡方分佈 Chi-Square Distribution

0"0.05"0.1"

0.15"0.2"

0.25"0.3"

0.35"0.4"

0.45"0.5"

0.5" 1.5" 2.5" 3.5" 4.5" 5.5" 6.5" 7.5" 8.5"

prob

ability*

Chi-square*


✤ 每次抽樣數為2的時候，!2的分佈曲線如何改變？

✤ 期望值 (E) 隨著自由度增加

卡方分佈 Chi-Square Distrubution

0"0.05"0.1"

0.15"0.2"

0.25"0.3"

0.35"0.4"

0.45"0.5"

0.5" 1.5" 2.5" 3.5" 4.5" 5.5" 6.5" 7.5" 8.5"

prob

ability*

Chi-square*

Chi/1"

chi/2"


✤ 自由度增加時，卡方分佈的函數會越接近常態分佈。

✤ 期望值 (E) 等於自由度

✤ 變異數等於自由度的兩倍 (2·•df)

✤ (R.E. 3)


0"

0.05"

0.1"

0.15"

0.2"

0.25"

0.3"

0.35"

0.4"

0.45"

0.5"

0.5"

1.5"

2.5"

3.5"

4.5"

5.5"

6.5"

7.5"

8.5"

9.5"

10.5"

11.5"

12.5"

13.5"

14.5"

15.5"

16.5"

17.5"

18.5"

19.5"

prob

ability*

Chi-square*

Chi01"

chi02"

chi06"

chi010"


✤ 進行推論統計的時候，卡方值的計算採用「不偏估計母群變異數」(unbiased estimator of population variance)，自由度為樣本數減一。

✤ 用於檢定樣本的變異數是否等於某個變異數。統計假設：



✤ 範例：從校園中隨機抽30人並且測量身高。假設整個校園的身高的變異數為6.25，抽樣結果標準差為2.133。請以 α = 0.01的顯著水準檢驗這群樣本的身高分佈是否等於整個校園的身高分佈？

✤ 雙尾檢定，左側臨界值為α = 0.005，卡方值為 13.12；右側臨界值為 α = 0.995，卡方值為 52.33。

✤ 計算樣本的卡方分數：(29)(4.55) / (6.25) = 21.11。介於13.12以及53.33，因此無法拒絕H0，樣本與母群具有一樣的分佈。



✤ F 分數是兩個變異數的比值

✤ 因為變異數與卡方值之間可以轉換

✤ 當兩個樣本的母群變異數同質的時候，F分數可以視為兩個卡方值各自除以自由度之後的比值：

F 分佈 F Distribution


✤ 一般會自由度較大的卡方值當做分母。

✤ 從兩個常態分配抽取兩組樣本，估計各自的變異數之後，取得 F分數的。假設重複這個過程無限次，F數值的平均值以及變異數為：

✤ E(F) = v2/ (v2 -2) for v2 > 2

✤ V(F) = 2•v2^2•(v1 + v2 – 2) / v1•(v2 – 2)^2•(v2 – 4) for v2 > 4

✤ (R.E. 8)



✤ F 分數可以用來比較兩組變異數是否相等。

✤ 實用上常常採取單尾檢定。如果想要計算雙尾檢定的兩個臨界值，請參考 P78 的公式。



✤ t 分數可以用來某次抽樣之後的平均值是否與母群/ 期望值一樣。

✤ 從常態分佈的母群中隨機抽取特定數量的樣本，可以求得 t 分數的抽樣分佈。重複無限多次之後，t 分數的平均值、變異數為：

✤ E(t) = 0

✤ V(t) = v / (v–2) for v > 2

✤ (R.E. 9)

t 分佈 t Distribution


✤ t 分數可以用來某次抽樣之後的平均值是否與母群/ 期望值一樣。

✤ t分數可以視為 z 分數除以 !2的(先除以自由度，然後開根號) 的比值。

✤ 如果將t分數取平方，分母的z 分數可以視為自由度等於 1 的!2。平方之後

的t 分數會等於當v1、v2 等於1的F 分數。

t 分佈 t Distribution


各種統計量的抽樣分佈之間的關聯

✤ !2 分數等於將數個z分數平方之後加總

✤ 母群的變異數同質的時候，F分數等於兩個!2 分數各次除以自由度之後的比值。

✤ F分數的兩個自由度為 1 的時候，t分數取平方會等於F分數。

✤ z –––> !2

✤ z & !2 –––> t

✤ !2 –––> F


使用F分數進行推論統計的時候：

✤ Page 80th

✤ 關於!2 分數的使用規則也會適用於F分數的估計。

✤ NID: variables are Normally and Independently Distributed

✤ 除了上述兩個條件之外，還要符合這兩個原則：

✤ F分數的分子、分母兩項互為獨立

✤ F分數的分子、分母兩項來自同樣的母群變異數


變異數分析

✤ 本章採用完全隨機化實驗設計 (CR-p) 來解釋變異數分析的原則。

✤ Yij = µ + !j + "i(j) (i = 1,..., n; j = 1,...,p)

Yij 受試者 i 在第 j 個實驗組別下的依變項

µ 母群的平均值，各實驗組別平均觀察值(µ1, µ2, µ3)的總平均值。µ為固定值。

!j(alpha) 第j個實驗組別的效果，等於該組平均值與母群平均值的差異量(µj–µ)。同一個實驗組別之下每個觀察值有一樣的 !j。

"i(j) (epsilon) Yij的殘差值，等於 Yij – µ – !j。


變異數分析

✤ 本章採用完全隨機化實驗設計 (CR-p) 來解釋變異數分析的原則。

✤ Yij = µ + !j + "i(j) (i = 1,..., n; j = 1,...,p)


Some Nomenclature• Grand Mean: mean of ALL scores, regardless of

group–ie all 30 scores

• Group Mean: mean of all scores from subjects treated the same–groups of 10

Y.j

Y..


離均差平方和組內離均差平方和組間離均差平方和



SSTO



SSTO SSTO = [AS] – [Y]

SSBG = [A] – [Y]

SSWG = [AS] – [A]



SSTO SSTO = [AS] – [Y]

SSBG = [A] – [Y]

SSWG = [AS] – [A]

個別觀察值與總平均之間的距離

各組平均值與總平均之間的距離

個別觀察值與各組平均值之間的距離


Degree of freedom 自由度

✤ 可以自由變動的觀察值數量 (R.E. 9)

✤ SSBG (組間離均差平方和)的自由度

✤ 組別數量減一：SSBGdf = p – 1

✤ 原理：假設總平均值為4，treatment有三組。三組各自的平均數只有其中兩個可以自由變動，第三個值必須使得總平均等於4。

✤ SSWG (組內離均差平方和)的自由度

✤ 每一組的樣本數一樣多：SSWGdf = p ( n – 1)

✤ 每一組的樣本數不同：SSWGdf = ( n1 – 1) + ( n2 – 1)・・・ + ( np – 1) = N – p

✤ SSTO (離均差平方和)的自由度：SSTOdf = np – 1 (N – 1)


MSBG 與 MSWG 的期望值

✤ CR-p 的觀察值 ( Yij ) 等於總平均、效果量以及殘差的函數 (Yij = µ + !j + "i(j) )

✤ MSBG = SSBG (組內離均差平方和) / SSBGdf

✤ MSWG = SSWG (組間離均差平方和) / SSWGdf

✤ 如果將一個 CR-p 的實驗重複無限多次，可以求得MSBG以及MSWG期望值如下：


使用MSBG與MSWG計算F分數

✤ F statistic = MSBG/MSWG

Population Variability + Treatment Effect

Population Variability


Evalua0ng Fobserved with the F distribu0on

• A distribu*on of F ra*os is not normally distributed• follows an F distribu,on–posi*vely skewed–depends on the number of degrees of freedom in the numerator (MS between) and the denominator (MS within)


The F distribu0on (hypothe0cal)

0 1 2 3 4 5 6 7 8


✤ F statistic = MSBG/MSWG


fixed-effects and random-effect

✤ fixed-effects model (model I):

✤ 獨變項包含所有可能的組別，重複實驗的時候只能使用同樣的treatment。

✤ random-effects model (model II):

✤ 獨變項只包含一部份的組別，重複實驗的時候可以抽樣不同的treatment。

✤ 使用 random-effects model的時候，其結果可以推估到所有的treatment。


統計假設

✤ fixed-effects model (model I):

✤ 根據組別的平均數進行假設

✤ 根據組別的效果進行假設

✤ random-effects model (model II):

✤ 根據組別的平均數進行假設

✤ 根據組別的效果進行假設


採用CR-p作變異數分析的原則


採用CR-p作變異數分析的原則

✤ 有時候樣本的表現會違反上述的統計原則。最常見的是違反「normality」以及「變異數同質性」這兩項。

✤ 關於normality: 每一組treatment的樣本數盡量大於12，並且檢查是不是具有一樣的分佈趨勢。如果可能違反normality假設，可以轉換數值。

✤ 關於「變異數同質性」：有三種方式可以進行檢查。


檢查變異數同質性

✤ Fmax ✤ Cochran’s method


檢查變異數同質性

✤ Brown-Forsythe method

✤ 使用中位數 (median) 轉換原始數據

✤ 利用轉換之後的數值計算F分數


當數據違反normality 原則的時候

✤ 書中提供四種轉換數值的方式，其中有三種比較常使用。

✤ 除了維持normality原則之外，轉換數值的功能有：

✤ 使各組別的殘差項維持同質性(homogeneity)

✤ 殘差的效果維持常態性(normality)

✤ 各獨變項的效果加成，沒有交互作用(additivity)


轉換數值

✤ Square-root transformation, 平方根：組別的平均值、變異數成比例改變時可以使用平方根轉換。


轉換數值

✤ Logarithmic transformation, 指數轉換：觀察值的分佈往左偏(positively skewed)的時候可以使用指數轉換，e.g., 反應時間。


轉換數值

✤ reciprocal transformation, 倒數轉換：平均值的平方與標準差成比例的時候可以用倒數轉換。


轉換數值

✤ 不確定哪一種轉換方式比較合用的時候，用三種方式轉換，然後觀察轉換之後最大、最小範圍比值，可使用比值最小的情況。


kirk' experimental design, chapter 3

Data & Analytics