ch10 experiments

Research Methods, 9th Edition

Theresa L. White and Donald H. McBurney

Chapter 10Experiments

實驗法簡介 最能驗證『因果關係』

觀察法—只能觀察現在，但無法控制 調查法 --- 無法控制

只能接受受訪者見解 實驗法能操控獨立變數（ IV ） 因果關係：至少一 IV 、一 DV 實驗法基本方式：

研究者操控獨立變數或解釋變數，然後再觀察依變數是否會受到影響

11.1 實驗法簡介 實驗法探討變數間之因果關係最具嚴謹性。一、實驗法的意義

　實驗 (experiment) 一種為測試假設而在控制環境下，操弄一個或一個以上變

項的學術研究 (research investigation) 。 　實驗法 (experimentation)

一種研究方法 藉由操弄一個或一個以上之變項，並且控制研究環境，藉

此衡量變項間的因果關係。

實驗案例 『課後輔導時間』對『學習成績』影響

1hr, 2hr, 3hr… 『實習時間』對『程式設計學習成效』之影響 不同年齡、性別對『咖啡口味』之偏好 網頁上，不同顏色、呈現方式、置放位置之廣

告對『瀏覽者注意力』影響

因果關係的證據

獨立變數與依變數的一致性

變數出現的時間順序

外生變數不會影響依變數

（出現）

（同時、 IV 先）

（控制、標準）

實驗法簡介 按實驗實施場地，實驗法可分成兩類：

現場實驗 實驗室實驗

實驗法簡介　實驗室實驗法

在一個相當嚴格控制的人為環境中， 操弄一個或一個以上的變項，並控制其他條件不變下， 使研究者可以在其他相關因素影響最小的情況下，觀

察且衡量操弄變數對依變數的影響。　現場實驗法

一種在真實環境或自然環境下所進行的研究， 研究人員在盡力控制的環境條件下， 操弄一個或一個以上的變數，以觀察操弄變數對依變

數之影響。

實驗法簡介二、實驗法的優點 (Cooper & Schindler, 2003)

　 1. 研究者可以操弄其想要研究之變數（可操縱獨立變數）。　 2. 和其他的研究設計相比（調查法、觀察法），更能夠有

效控制外來變項的干擾 （控制外生變數）。　 3. 某些問題，實驗法便利性、可行性和成本較其他方法較

佔優勢。 具嚴重影響事物

　 4. 可以利用不同組的受試者、或者是不同的情境、不同的時間下複製或重複同一實驗，以了解操弄變項對依變項的影響 （使用控制組、可複製）。

實驗法簡介

三、實驗法的缺點　 1. 人工環境 （人為性）　 2. 研究結果通則化 (generalization) 的問題 （樣本代

表性）　 3. 在某些情況下，使用實驗法並不是最經濟的 （費

用）。　 4. 實驗法針對現在或者是未來即將發生的問題是很有效

的，但是對於研究過去的事實而言，實驗法並不是很適合的 （焦點在解決當下或稍後的問題 ）。

　 5. 許多實驗都是以人為研究主體，但是其中牽涉到有關道德問題，使實驗法受到限制。

如何建構實驗設計一、使用實驗設計的主要議題 1. 應該使用何種實驗設計？　 2. 要選擇在實驗室或者是在現場中進行？　 3. 在實驗中會威脅內、外在效度的因素有那些 ? 要如何控

制 ?

二、實驗建構的元素　 良好實驗設計包含了三個主要成分：　 1. 自變項與依變項　 2.前測與後測　 3. 實驗組與控制組

11.2 如何建構實驗設計三、實驗設計中使用的符號：

O、 X 、 EG、 CG、 R、M

四、實驗設計建構的步驟　 1. 選擇相關變數　 2. 具體的說明處理的程度 (specifying the levels of

treatment)

　 3. 控制實驗環境　 4. 選擇實驗設計　 5. 選擇和分派測試單位 (test unit)

　 6.預試、修改及再試　 7. 分析資料

實驗設計建構的步驟

1. 選擇相關變數 根據研究問題、研究目的與假設 變數須明確定義與操作化定義

2. 具體的說明處理的程度 (specifying the levels of treatment) Treatment… 試驗、自變數 決定自變數的程度 性別：男、女。年紀：老、中、青 不同組別給予不同操弄處理

3. 控制實驗環境 控制實驗環境以避免外在干擾 當依變項受到情境因素干擾，就會產生固定實驗誤差 (constant

experimental error)

實驗設計建構的步驟

4. 選擇實驗設計 選擇最適合的實驗設計方法

5. 選擇和分派測試單位 (test unit) 測試單位即是實驗受試者 (subject) 樣本選擇最好能隨機化 (randomization) 受試者分派到實驗組、控制組

隨機分派 配對法 (matching)

6.預試、修改及再試 預試目的：找出實驗設計中的錯誤

Manipulation check, 外在干擾 , 實驗時間 , 測量問題 7. 分析資料

正式實驗、資料蒐集、資料分析

1. 選擇相關變數 本階段工作

選擇能代表研究概念（構念）之操作性變數 決定要測試多少變數 決定變數測量方式

案例：銷售報告中描述產品優點，是否可提升聽眾對產品知識？

銷售報告前 12 分鐘內，描述產品優點，是否可提升聽眾對產品知識？

在銷售報告中何時提出產品優點的實驗

1. 選擇攸關變數 上述案例

銷售報告、產品優點、產品知識、聽眾 測量方式：事後記憶問答

新教材對小學生學習影響新教材、學習影響（學習成績、學習動機、學

習滿意度、學習專注度）新教材、 1-3 年級小學生、學習成績、學習專

注度 測量方式：

學習成績：次級資料、學習專注度：觀察

2. 確認處理層次 實驗中，受測者會經歷到操控的獨立變數，稱

為實驗處理 (experimental treatment) Treatment, factor, IV處理層次 (treatment level)

實驗中，獨立變數主觀或自然的分群 如前例，新教材有三種，則處理層次有三。處理層次應簡單合理

控制組 (control group)

提供一個實驗比較的基礎 控制組不受獨立變數影響，用於和實驗組相互

對照比較案例：

傳統網路教材 CM 網路教材改良 CM 網路教材 Frame+改良 CM 網路教材漸進式 +改良 CM 網路教材

3. 控制實驗環境 控制影響實驗之外生變數

性別、年紀、種族、溝通能力… 環境控制

實驗環境、實驗程序、實驗說明須一致性 實驗者、受測者對象控制盲目 (blind)

受測者對實驗處理不知情 ( 不知那個是實驗組，那個是控制組 )

雙盲 (double blind) 受測者與實驗操控者不知那個是實驗組，那個是

控制組

4. 選擇實驗設計 選擇符合研究目的之設計 有助觀察依變數是否受到經操控後獨立變數的

影響推論結果之合理性

5. 選擇並分派受測者 受測者條件要求隨機分派 (random assignment)

受測者分派到實驗者、控制組機率相等配對 (matching)

當無法進行隨機分派時屬非機率配額抽樣 將想要研究的各項特性，將之與實驗組、控制

組進行配對 如果研究變數、群組數量增加時，配對程序將

複雜

選擇並分派受測者

隨機分派Random

assignment

配對Matching

配對 (matching)

無法隨機分配受測者時採『配額抽樣法』目標：根據某些特性，讓實驗組與控制組在此

些特性上表現相同 當特性多、群組數量多時，配對不易

限額矩陣的例子

(quota matrix)

配對 + 隨機欲檢測各學院英文能力

人文 教育 管理 科技

男 女 男 女 男 女 男 女

大一

大二

大三

大四

6. 預試、修正及測試預試：找出錯誤設計，瞭解對外生變數或環境狀況控制是否得當 事先測試工具

7. 分析資料常使用之測量與工具：

觀察紙筆測驗開放或封閉式問題 量表 生理測量

實驗設計先追求『內部效度』

實驗環境 實驗操控排除干擾

再追求『外部效度』 實驗環境、對象

實驗設計類型典型設計 /傳統設計 (classical design)

只考慮單一實驗變數（自變數）在單一處理水準上的結果

2 levels ：有、無統計設計

Multiple levels 多實驗變數：多自變數

11.4 典型實驗設計的類型 典型設計可分為三大類：

預實驗設計 對外在變項干擾幾乎沒有控制能力 嚴謹性差…內部效度

真實驗設計 準實驗設計

一、預實驗設計 (Pre-Experimental Designs)

1.單次研究設計 (one-shot case study) ：　　此種研究設計又稱為事後研究 (after only design) ，

其表示方式如下：X 　 O1

• 無控制組…無法比較• 無隨機選取樣本• 無法得知實驗效果

『單純事後研究』問題 只能測量（瞭解） O ，但不知、未能推論、檢

驗 X 效果 內部效度問題 缺少前後測比較、控制組，無法建立因果關係案例：

X ：建置 ERP O ：存貨周轉率

預實驗設計2.單組前後測設計 (one-group pretest-posttest design)

　在變數操弄前與操弄後均進行衡量，然後進行比較。其表示方法如下：

O1 X O2

實驗效果：＿＿＿ 內在效度威脅：成熟、衡量工具 / 試驗、統計迴歸、選擇偏誤、實驗夭折、歷史 無控制組、無隨機分派

預實驗設計3.靜態組間比較 (Static-Group Comparison)　　將實驗對象分成兩組，一組是實驗組、另一組是控

制組。其表示方式如下：　　　　　　實驗組 　 X 　　 O1　　　　　　控制組　　　　 O2　　實驗組施予實驗處理 ( 操弄 ) ，而控制組則沒有任何處理，實驗處理的效果衡量是藉由 O2－ O1

無隨機分配，兩組先天差異 內部效度威脅

二、真實驗設計 (True Experimental Designs)有實驗組、控制組隨機、配對使用

隨機：每個實驗對象被分派的機率是相同的 隨機 (Randomization) 的意思為分派實驗對象接

受實驗處理時每個實驗對象被分派的機率是相同的。

較符合實驗設計之效度要求

二、真實驗設計 (True Experimental Designs)1.前測後測加控制組設計 (pretest-posttest control

group design) 此種設計是一種典型的實驗設計，用符號表示如下：

　　　　　　實驗組： R 　 O1 　 X 　 O2 　　　　　　控制組： R 　 O3 　 　 O4 實驗效果：＿＿＿＿＿ 缺點：歷史效果、學習效果

解決方式？ 注意『外部效度』問題

真實驗設計 (True Experimental Designs)2. 後測加控制組設計 (posttest-only control group

design)

實驗過程中並沒有事先的前測 (pretest) 。用符號表示如下：

　　　　　　實驗組： R 　 X 　 O1 　　　　　　控制組： R 　　　 O2

實驗效果： 前測、衡量工具造成內部效度威脅較＿＿？ 因為『隨機分派』，故可以不用前測

『單純後測控制組設計』說明 設計簡單透過隨機分派，可避免內部效度威脅

歷史、成熟、選擇、統計迴歸、實驗退出完全無學習效果、工具之威脅

實驗退出可能會威脅內部效度 外部效度問題：

測試對 X 的反應 其他反應問題

真實驗設計 (True Experimental Designs)3. 所羅門四組設計 (Solomon four-group design)

　又稱四組六研究設計 (four-group six-study design) ，其結合前兩種實驗之設計的優點。所羅門四組設計用符號表示如下，在此設計的兩個 X 是代表在每個實驗組中施予同樣的實驗處理。　　　　　實驗組 I ： R 　 O1 　 X O2

　　　　　控制組 I ： R 　 O3 O4

　　　　　實驗組 II ： R 　 X 　 O5

　　　　　控制組 II ： R 　　 　 O6

所羅門四組設計 (Solomon four-group design)

內度效度威脅檢驗： 預試效果： O6-O4 歷史或成熟效果 =O4-O3 前測影響

(O2-O4)-(O5-O6) ：實驗組 - 控制組，有前測的實驗效果 – 無前測的實驗效果

(O2-O5) ：針對實驗組，有前測的實驗效果 – 無前測的實驗效果 (O4-O6) ：針對控制組，有前測的依變數數值 – 無前測的依變數

數值

多種實驗效果 O2-O4, O5-O6, (O2-O1)-(O4-O3)

此種方法最理想，可多方評估各種影響內度效度威脅

三、準實驗設計 (Quasi-Experimental Designs)　提供比預實驗設計更多的控制，但在實驗對象的選擇與分派卻不是如真實驗設計般隨機選取。 在現場時，常無法充分控制外生變數當刺激（ X ）是發生在自然狀況時，則必須進行現場實驗，稱為準實驗、半實驗設計案例：

『下午茶時間』可增進員工生產力 『公司發佈建置 EC 網站』對公司股價市值影響

『現場實驗：準實驗或半實驗』說明 研究者無法隨機分派控制組、實驗組 未必能進行前測雖然內部效度較差，但有較佳外部效度 內部效度

真實驗 > 準實驗 > 預實驗

三、準實驗設計 (Quasi-Experimental Designs)

　　　在準實驗設計中，最常被使用的即是時間序列設計 (time-series designs) 。時間序列設計可以下符號表示：EG 　 O1 　 O2 　 O3 　 O4 　 X 　 O5 　 O6　 O7 　 O8 多次測量，藉此更深入觀察依變數之變化 EG 　 O1 　 O2 　 O3 　 O4 　 X 　 O5 　O6 　 O7 　 O8CG O1 O2 O3 O4 O5 O6 O7 O8

群組時間序列設計

R O1 O2 O3 X O4 O5 O6

R O7 O8 O9 O10 O11 O12

現場實驗設計

• 實驗處理前後重複觀察（測量）•Repeated measure

•

『時間序列設計』說明 主要內部效度威脅：歷史

實驗期間可同時記錄外部事件，分析外部事件之影響力

其他內部效度威脅：成熟、實驗退出、統計回歸

必須使用相同測量工具誤差來源：隨機誤差 + 個人誤差案例：

學校餐廳伙食品質監測

UTAUT by Venkatesh et al (2003)

UTAUT by Venkatesh et al (2003)

統計實驗設計統計實驗設計

多實驗處理程度 多變數 較為複雜 可檢驗主效果（獨立效果）、交互效果（聯合

效果）

統計實驗設計的應用

一、完全隨機設計 (Completely Randomized Design, CRD) 完全隨機設計是一種使用隨機程序來分派實驗單位接受實驗的一種方法隨機分派實驗單位的目的是要控制所有外來變項的干擾因素，如此才能更精確地瞭解操弄變數之影響效果。隨機分派可確保各組間的均等性

一、完全隨機設計 (Completely Randomized Design, CRD) CASE:

R O1 X1 O2 R O3 X2 O4 R O5 X3 O6 自變數、因變數？

個數、水準、尺度

統計實驗設計的應用 二、隨機區集設計 (Randomized-Block Design)

活動因子：研究者操弄 集區因子：將受試者根據某特性加以分群 (block)

實驗者能對受試者 ( 變數 ) 進行分類但無法進行操控如性別、年齡、地位等。

檢驗主效果、交互作用

活動因子(Active Factor) —價格差異

集區因子(Blocking factor)—消費者收入 高 中 低

5元 R X11 O1 X12 O2 X31 O3 10元 R X21 O4 X22 O5 X32 O6 15元 R X31 O7 X32 O8 X33 O9

Note：Oi 代表銷售總毛利。

隨機區集設計

採用隨機區集設計原因 樣本太小，無法完全隨機檢驗自變數是影響依變數的主要來源 可衡量操控變數之主要影響 ( 主效果 )及操控變

數與區集變數之互動效果（交互作用） 適用情況

研究中有一個研究者無法操控的外生變數 (屬名目尺度 ) 時適用

統計實驗設計的應用

三、拉丁方格設計 (Latin Square Design) 使可能發生誤差的外生變數，，因為平衡設計，，而終

能互相抵消外在因素的效果。。 可用來控制兩個外來變項

兩個區集因素：消費者所得、商店規模 Treatment: 價格差異策略

消費者所得商店規模

高 中 低大 X3 X1 X2

中 X2 X3 X1

小 X1 X2 X3

拉丁方格設計 (Latin Square Design) 限制：

每一實驗處理在橫列只出現一次 每一實驗處理在縱欄只出現一次 n 個處理水準，，須 n 行 n列

適用情況 研究中有 2 個研究者無法操控的外生變數 (屬名目尺度 ) 時適

用 基本假設要求：處理與區集因子間沒有交互作用

欲探討交互作用，則需採用因子設計 本研究自變數＿＿＿個。 較經濟方法

若採因子設計需＿＿＿組？

統計實驗設計的應用

四、因子設計 (Factorial Design)

產品價差商品架上是否放置產品單價牌？ 5元 10元 15元

是 X1Y1 X1Y2 X1Y3

否 X2Y1 X2Y2 X2Y3

• 同時對多個自變數進行操弄•下表為 2X3 因子設計• 檢驗主效果、交互作用

實驗法的限制

一、成本 成本和時間壓力是第一個困難。

實驗成本包含正式研究成本、衡量工具使用成本與工作人員成本。

所以直接研究成本通常是相當大的，必須做適當的控制。

若成本耗費比所得之效益還要高時，就必須考慮是否必須做這些實驗。

實驗法的限制

二、安全 在進行實地實驗時必須公開暴露，是故要隱瞞競爭者這些訊息是很困難的。

例如一個公司開發了一項新產品，其在台北市的幾個商店於四月某個星期五展示八小時，八小時後，所有東西都被撤離，此時其競爭廠商由於展覽的關係，可能已得知所有新產品細節而開始開發他們的新產品。

實驗法的限制

三、控制 避免其他外來因素的干擾是很重要的

如果測試單位是人，應保持控制組不受其他因素的影響，且不會和實驗組有交互影響，而影響實驗結果的正確性。