研究工具的編製方法與技術 (by 蘇彥寧yenning)

2013/2/9

1

講題：研究工具的編製方法與技術講者：蘇彥寧

Core-Conference of DDLab 2013 Winter

研究工具的編製方法與技術

蘇彥寧

成功大學工程科學系



蘇彥寧 (Yen-Ning Su)

教育背景：成功大學工程科學系博士班 (2010~至今)臺南大學教育學系碩士班 (2008~2010)臺南大學社會科教育學系 (2004~2008)

工作經驗：

臺南市國民小學電腦代課教師5 年 (2008~至今)嘉南藥理科技大學兼任講師 (網路安全應用與標準)南臺科技大學兼任講師 (電子商務)

2013/2/9

2



•社會科學研究

•工欲善其事，必先利其器

•研究工具是為影響研究結果的重要因素之一

– Garbage in, garbage out (GIGO)

– If you input wrong data, the output will also be wrong!

– 治學方法：錯誤的輸入即保證錯誤的輸出



• 研究工具的種類

– 問卷 (Questionnaires)

– 量表 (Scale)

– 心理或教育測驗

– 自我檢核表 (Self-checklist)

2013/2/9

3



•問卷的定義

–問卷主要在瞭解填答者對所調查問題的興趣、

意見或態度，而非測量填答者的能力。

–問卷並無標準答案。

•量表的定義

–評量個人所擁有的興趣、信念或感受程度。



•心理或教育測驗的定義

–多為常模參照測驗。

•自我檢核表的定義

–用於填答者的自我診斷或評估自己的表現。

2013/2/9

4



•問卷和量表的差異

–量表須有理論依據，問卷僅要符合主題即可。

–量表的各分量表須有明確定義，問卷則無要求。

–量表是以各分量表為計分單位，問卷是以各題

為單位來計次。



•研究工具的來源

–使用他人的研究工具

•購買: 心理出版社。

•授權: 須取得權利人授權。

•修訂: 依據原工具的內容進行改編。

–自行編製: 須留意研究工具的信、效度。

2013/2/9

5



•量表與問卷的架構

–名稱：描述此研究工具的名稱。

–前言：敘述此研究的目的、保密原則、署名等。

–指導語：填寫此研究工具的方式與說明。

–基本資料：如：性別、年齡、職業等。

–題目：量表或問卷的內文。

–感謝詞



•題目數量與填寫時間安排

– 國中、小學生以不超過50題，或填寫時間不超

過15分鐘為參考原則。

– 高中以上以不超過30分鐘為參考原則。

2013/2/9

6



•研究工具編製流程

確立問題文獻探討焦點團體

編製題目預試項目分析

因素分析

正式題目



•研究工具編製流程

–確立問題

–文獻探討：蒐集相關資料、研究論文。

–焦點團體：邀請領域專家或人員進行訪談。

–編製題目：待確定架構後，即可開始編製題目。

2013/2/9

7



• 編製題目細節

– 問卷形式

• 開放式問題 (open-ended question)

• 封閉式問題 (close-ended question)

• 半封閉問題 (partially close-ended question)




– 計分模式

• 李克特量表 (總加量表法): 分為 4 點、5點、7點量表

• 由一組測量某一個相同特質或現象的題目所組成，

每一個題目均有相同的重要性。

• 每一個題目包含一個陳述句與一套不同贊成程度的

量尺。

2013/2/9

8



•李克特量表 (續)

–每題依其正負向計分後，計算填答者整個

量表總分為其分數。

非常同意

同意

普通

不同意

非常不同意

1. 我認為使用電子書來閱讀是方便的 □ □ □ □ □

2. 我希望未來能使用電子書來閱讀 □ □ □ □ □




– 計分模式

• 賽斯通量表 (等距量表法)

• 編寫約200條敘述，由專家自1到11作評分。每題得

分的中位數為該題的值，並保留20題專家意見較為

一致的敘述。

• 計算填答者所有贊成題目的量表值，即為其分數。

2013/2/9

9



• 賽斯通量表 (續)

同意

不同意

量表值

□ □ 1.教師不體罰會助長不良少年的形成 9.5

□ □ 2.體罰無法讓學生心服口服 2.4

□ □ 3.禁止體罰不如勸告少用體罰 5.9




– 計分模式

• 語意區分量表

(1) (2) (3) (4) (5)

喜歡．．．．．．討厭

快樂．．．．．．憂愁

滿意．．．．．．不滿意

同意．．．．．．不同意

2013/2/9

10




– 題目敘述

• 清楚易懂: 須配合填答者年齡、經歷。

• 一個題目只問一個問題。

– 如：使用電子書閱讀課文讓我覺得容易與實用。 (反例)

• 避免引導性的問題。

– 如：長期注視螢幕可能引發近視，請問你是否支持導入電

子書於國小校園？ (反例)



•編製題目細節

– 專家審題，也稱為專家效度(expert validity)

• 請專家評估題目的適切性。

• 題目是否與變項名稱相符。

• 用字遣詞是否恰當。

• 建議可邀請10位領域專家進行審題。

• 審查時可將各題區分為：適合、修正後適合、不適合。

2013/2/9

11



•專家審查卷



•專家審查結果參考標準

–達 3 成以上專家勾選不適合，即刪除該題。

–修正後適合的題項，可由研究者作最終評定。

2013/2/9

12



•預試

– 施測樣本約100-150人。

– 預試過程、對象需具代表性。

– 修改題意、用字不清楚或不瞭解的地方。

– 題目盡量多列，以避免後續刪題問題。



•預試 (續)

–研究工具的信、效度

• 效度高：擊中靶心

• 信度高：落點集中

• 有效度一定有信度。

• 但有信度不一定有效度。

• 無信度一定無效度。

2013/2/9

13



•預試 (續)

–預試流程

•施測

•將量表資料輸入電腦

•項目分析：t檢定、相關分析

•因素分析：建構效度

•計算整體、分量表的信度



•預試 (續)

–項目分析

–使用時機：預試後，根據填答資料求出各題項

的決斷值(CR)，若決斷值沒有達到顯著水準，

則該題項便將刪除。

2013/2/9

14



•預試 (續)

–項目分析

–將各題項的值

進行加總。



•預試 (續)

–項目分析

–將加總後的

變數命名為

sum。

2013/2/9

15



•預試 (續)

–項目分析

–取得sum。



•預試 (續)

–項目分析

–計算高、低分組

2013/2/9

16



•預試 (續)

–項目分析



•預試 (續)

–項目分析

–區隔為 27%

與73%

2013/2/9

17



•預試 (續)

–項目分析

–得出前27%

為39；後27%

為30.68



•預試 (續)

–項目分析

–將 sum 分群。

2013/2/9

18



•預試 (續)

–項目分析



•預試 (續)

–項目分析

–依照前後

27%分群

2013/2/9

19



•預試 (續)

–項目分析

–分群結果：

1為低分組

2為高分組

.為未分組



•預試 (續)

–項目分析

2013/2/9

20



•預試 (續)

–項目分析

–分析各題

是否具鑑別度



•預試 (續)

–項目分析先看變異數同質性考驗之F值（Levene’s Test)

» F值之p-value < 0.05 看 Equal variances not assumed之t值» F值之p-value > 0.05 看 Equal variances assumed之t值

各題項之t值便是CR值

2013/2/9

21



•預試 (續)

–項目分析

–篩選結果



•預試 (續)

–相關分析

2013/2/9

22



•預試 (續)

–相關分析

–將各題項與

總分列入



•預試 (續)

–相關分析

2013/2/9

23



•預試 (續)

–相關分析

–篩選結果



•預試 (續)

–因素分析

–使用時機：建立研究工具的建構效度

2013/2/9

24



•預試 (續)

–因素分析



•預試 (續)

–因素分析

2013/2/9

25



•預試 (續)

–因素分析



•預試 (續)

–因素分析

• KMO值越大，表示變項間的共同因素越多，越適合進行因素分析。

• 一般來說，如果KMO值小於 .5時，較不宜進行因素分析。

• 本例中的KMO值為.840，大於.5，所以適合因素分析。

• 另一種指標為Bartlett’s球形考驗，其卡方值4520.779，達顯著水準，

代表相關矩陣間有共同因素存在，因此適合進行因素分析。

2013/2/9

26



•預試 (續)

–因素分析

–刪除未滿3題的構面

因此須將第6題刪除

並且重跑因素分析



•預試 (續)

–因素分析 (刪除第 6 題)

2013/2/9

27



•預試 (續)




•預試 (續)


–刪除未滿3題的構面

因此須將第4,5題刪除

並且重跑因素分析

2013/2/9

28



•預試 (續)

–因素分析 (刪除第 4,5,6 題)



•預試 (續)


2013/2/9

29



•預試 (續)


–獲得最終結果：

•構面一共有7題

•構面二共有3題

•整體問卷共有10題



•預試 (續)

–信度分析

–使用時機：進行項目分析與因素分析之後，

建立問卷的信度。

2013/2/9

30



•預試 (續)

–信度分析

–信度參考範圍

信度係數可信程度

信度 0.30 不可信

0.30 ＜信度 0.40 初步的研究，勉強可信

0.40 ＜信度 0.50 稍微可信

0.50 ＜信度 0.70 可信（最常見的信度範圍）

0.70 ＜信度 0.90 很可信（次常見的信度範圍）

0.90 ＜信度十分可信



•預試 (續)

–信度分析

–從因素分析結果得知，這份研究工具最後共有

二個構面，題目分別為：

構面一：7,8,9,10,11,12,13

構面二：1,2,3

2013/2/9

31



•預試 (續)

–信度分析

–求整份工具的信度



•預試 (續)

–信度分析

2013/2/9

32



•預試 (續)

–信度分析

–得知整份工具的信度

為.853



•預試 (續)

–信度分析 (構面一)

2013/2/9

33



•預試 (續)

–信度分析 (構面一)

– 得知構面一的信度

為.882



•預試 (續)

–信度分析 (構面二)

2013/2/9

34



•預試 (續)

–信度分析 (構面二)

– 得知構面二的信度

為.722



•正式題目

–經由前述的編製過程，最後我們可以獲得一份

完整的正式題目。

•建構效度： χ² = 3484.222 ，df = 45， p = .000 < .001

•信度 (整體：共10題)：.853

•信度 (構面一：共7題)：.882

•信度 (構面二：共3題)：.722

2013/2/9

35



•數位學習領域的研究工具

– 取自黃國禎老師 TWELF2012 演講投影片





2013/2/9

36









2013/2/9

37







• References李嘉峰 (2011)。淺論研究問卷的編製。家庭教育雙月刊，29，35-42。

翁嘉英、林宜美、呂碧鴻、陳秀蓉、吳英璋、鄭逸如 (2008)。「短式華人敵

意量表」之發展與信效度考驗。測驗學刊，55(3)，463-487。

黃國禎 (2012)。數位學習的研究議題、策略與工具。取自：

http://140.116.39.77:41402/twelf2012/Gwo-Jen_Hwang.pdf

李復惠 (2009)。評量工具的信度與效度。取自：

http://163.17.61.21/lobo/971210/信度與效度.ppt

2013/2/9

38



Thanks for your attention

Q & A

研究工具的編製方法與技術 (by 蘇彥寧yenning)

Education