研究工具之信度與效度 reliability and validity¯”賽.files/研究工具之信度... ·...
TRANSCRIPT
1
研究工具之信度與效度
Reliability and Validity
林佑樺 教授
義守大學 護理系
研究工具來源 1. 生理測量:相關儀器
2. 症狀測量:查核表、症狀量表
3. 心理測量:量表
其中2和3項之來源，須由研究者尋找已發展成熟之量表或自己發展。
已經發展好的量表
首先以研究依變項相關量表
量表語言版本
曾經於哪些國家使用?
已經測試與建立的信效度
決定採用後，徵求原量表發展者、翻譯者的同意使用。
若為自己翻譯，須經嚴謹的譯證過程。
測量翻譯後的信效度。
量表使用同意書--Sample
量表使用同意書(國外)--Sample
量表譯證過程
看劉雪娥的文章—護理雜誌生活品質翻譯
8
自己發展量表---範例
症狀經驗量表--迴腸新膀胱重建術後
參考有關迴腸新膀胱重建術後的合併症之文獻及臨床護理經驗，採專家效度，邀請七位專家（包括二位資深泌尿科醫師、一位博士級護理教師、二位泌尿科專科護理師及二位資深泌尿科護理人員），針對問卷內容之正確性、適用性、內容涵蓋面進行效度檢定，加以修訂，採4分法，1分及2分刪除，3分及4分採用，共擬訂12題，其整體效度指標(Total CVI)為0.86【指效度】，在量表的內在一致性之Cronbach α為0.90【指信度】。
採Likert 4點計分方式，一分代表沒有，4分代表時常發生，分數愈高代表感受到症狀發生之經驗愈多。
10
研究工具之信度
目的是在測試研究工具的一致性，穩定性及準確性是否可以信賴，上列三者缺一不可。
信賴度是效度的一個先決條件，一個可信的工具不一定有效；但若這工具根本就不可信的話，那麼她的效度也一定會產生問題。
11
信度種類
再測信度
內在一致性
折半信度
測試者一致性信度
12
再測信度（Test-Retest Reliability）
在不同時間進行重複測試，會得到相同的結果，稱為再測信度（Test-Retest Reliability），或稱為穩定度（Stability Reliability）。
可用統計方法進行檢定。若有n名研究個案，每名個案重複測試共兩次，若研究工具可信的話，則這兩次重試的數值應具高度相關，故可進行「相關分析（Correlation Analysis）」，計算這兩組數值（及第一次及第二次）的相關係數（Correlation Coefficient；r），最常用的為皮爾森氏相關（Pearson Correlation），若相關係數大予以r=0.7或以上作為高度相關的標準。（即r＞0.7）。
13
再測信度（Test-Retest Reliability）續
連續型數據（Continuous Data）--用相關分析處理
當數據是屬於類別型數據（Categorical Data）時，應使用Kappa係數或內在等級相關係數。
再測信度二次測試之時間需要相隔多久？要視研究工具的性質而定。時間相隔太久會有許多外在因素介入，結果不容易一致；相隔太短又可能因受測者的「記憶而影響到第二次測試的客觀性，相隔1-2星期似乎頗為常用。」
14
內在一致性（Internal Consistency）
也稱為「同質性（Homogeneity）」。測量同質性的指標有好幾種：
＊ Cronbach’s Alpha（α）
最常用來測量內在一致性的指標，只要α值介於0.7與0.9之間，一般都認為可以接受。
但若α＜0.7，量表中部分題目的同質性會受到質疑，問卷亦可能需要修改
Conbach’sα的值便愈高，代表了各題目間的內在一致性愈高。
若α＞0.9，則可能各題目間重複地方過多，部分題目或許可以刪減。
15
內在一致性（Internal Consistency）續
＊Kuder-Richardson（KR-20）係數
Cronbach’sα係數，僅適用於連續型數據，當所使用的量表內每一個項目都分為2分法（Binary，即每一個題目都只有兩個可能的答案，如「是/否」或「對/錯」等）時，所需要使用的同質性係數便是所謂的kR-20，
亦是以係數介於0.7與0.9之間為可以接受。
在軟體內對0/1之數據進行Conbach’sα分析，所得出來之值便是KR-20係數。
16
折半信度（Split-Half Reliability）
把量表的項目分為兩部分，若兩部分的平均相差無幾，而且兩部分的得分具高度相關的話，那麼量表的信度又得到進一步的證實，
通常把量表一分為二的方法為奇數題目為一組、偶數題目為另一組。把量表分為兩部分後計算其相關性，則可以用前述之ICC係數：當然，只要無「系統誤差（Systematic Bias）」，則皮爾森氏相關或皮爾曼相關（Spearman
Correlation）也可使用。
17
測試者一致性信度
有些量表不一定是受訪者自行填寫，而是由研究人員觀察個案，把觀察或訪問得到的資料一一紀錄下來。
這一類型的信度，便是所謂的測試者一致性信度（Inter-Rater Reliability）；
兩名（或多名）測試者同時觀察同一名個案，並把觀察所得分別紀錄下來，因為在觀察的過程中，兩名測試者理論上都應該按照某些程序或原則作為評分依據，故若兩名評分者分數相類似，便可算評審程序具可靠性、客觀性。
18
測試者一致性信度
統計方法：適用於連續型數據的Pearson相關係數、成對t-檢定，及適用於類別型數據的Kappa
係數與McNemar檢定等， 全部都適用於測試者一致性信度，只要把第一名測試者當做是「再測信度」中的第一次，第二名測試者當作是「第二次」來處理便可。
「同一測試者一致性信度（Intra-rater Reliability）」的指標。這種信度的進行方式通常是對受試者相隔一段時間測試兩、三次，並由同一位評審員（Rater）進行評估及給於分數。再看看兩、三次的分數的差異多少、相關多少，來判斷「同一測試者一致性信度」的高低。
19
工具之效度(Validity)
效度的定義，代表了研究者所收集到的資料，是否就是他（她）所期望量度（Measure）的項目。
內容效度【專家效度】
建構效度
效標關連效度
20
內容效度（Content Validity）
是一個頗為主觀的檢定方法，進行的方式一般是在量表設計完成之後，請有關方面的專家及研究對象。對量表的內容提供意見。
這一類型之效度，若指徵詢專家之意見，完全由專家們審定工具之有效與否的話，則又可稱為專家效度（Expert Validity）。
僅就量表或研究工具是否「看似」足夠收集研究所需資料的話，稱為表面效度（Face Validity）。都只能算是主觀的審查方式。
22
內容效度指標
（Content Validity Index, CVI）
研究工具中哪些量表或問卷需要測量專家效度?
Content Validity Index (CVI)計算方式：
1.在專家4個選項中【需為偶數選項】區分成2部分，勾選1-2者為一組（得0分），3-4者為1組（得1分）
2.計算每題共計有幾位專家得到1分，得分/總專家人數，得到單題CVI值
3.將每題值總和/所有題數=整體量表CVI值
切記：CVI計算不能用平均值與標準差來呈現，因為會加入不合適的選項。
※範例
23
建構效度（Construct Validity）
對於如何量度行為（Affect），建構效度尤其重要。
所謂「建構（Construct）」。是一個概念（Concept）、一種特質（Trait），是利用一些可以觀察到（Observable）的事物來反映一個無法直接量度的理念。
建構效度可以說是各種不同效度中最重要的一種。雖然它也是最難以證實的一種，可以利用多種統計方法處理，故是極為客觀的一種效度
24
建構效度（Construct Validity）
檢定方法：
因素分析（Factor Analysis）是一種統計方法，每個因子便可以代表我們所說的一種概念，一個建構。
量表檢測相關之因素分析
探索性因素分析(Explorative factorial
analysis, EFA)—初步量表構面檢定
驗證性因素分析(Confirmatory factorial
analysis, CFA)—最後量表構面檢定
量表效度因素分析1--Sample
EFA結果
量表效度因素分析2--Sample
CFA結果-1
CFA結果-2
31
效標關連效度
（Criterion-Related Validity）
須找到一個效標
預估效度（Predictive Validity）
同時效度（Concurrent Validity）
效標範例文章
效標範例文章
34
預估效度（Predictive Validity）
指測驗分數與將來的效標資料之間的相關。
常用的效標資料：專業訓練成績與實際工作的成果。
須以追蹤方式，對受試者將來的行為表現做長期繼續的觀察、考核和紀錄，然後以考核資料與當初的測驗分數進行相關分析。（預測將來成就的預測效力）
35
同時效度（Concurrent Validity）
指測驗分數與當前效標資料之間的相關。
如學生參加校外數學評量，則將其所得成績與同時在校的數學成績（當前效標資料）看其相關性
36
研究工具信度與效度重要性
對的工具=對的結果
錯的工具，結果絕對是錯誤的
37
結論
量性研究，所採用的工具需具備信、效度
自行設計的問卷，信、效度更是重要