![Page 1: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/1.jpg)
1
研究工具之信度與效度
Reliability and Validity
林佑樺 教授
義守大學 護理系
![Page 3: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/3.jpg)
研究工具來源 1. 生理測量:相關儀器
2. 症狀測量:查核表、症狀量表
3. 心理測量:量表
其中2和3項之來源,須由研究者尋找已發展成熟之量表或自己發展。
![Page 4: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/4.jpg)
已經發展好的量表
首先以研究依變項相關量表
量表語言版本
曾經於哪些國家使用?
已經測試與建立的信效度
決定採用後,徵求原量表發展者、翻譯者的同意使用。
若為自己翻譯,須經嚴謹的譯證過程。
測量翻譯後的信效度。
![Page 5: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/5.jpg)
量表使用同意書--Sample
![Page 6: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/6.jpg)
量表使用同意書(國外)--Sample
![Page 7: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/7.jpg)
量表譯證過程
看劉雪娥的文章—護理雜誌生活品質翻譯
![Page 8: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/8.jpg)
8
自己發展量表---範例
症狀經驗量表--迴腸新膀胱重建術後
參考有關迴腸新膀胱重建術後的合併症之文獻及臨床護理經驗,採專家效度,邀請七位專家(包括二位資深泌尿科醫師、一位博士級護理教師、二位泌尿科專科護理師及二位資深泌尿科護理人員),針對問卷內容之正確性、適用性、內容涵蓋面進行效度檢定,加以修訂,採4分法,1分及2分刪除,3分及4分採用,共擬訂12題,其整體效度指標(Total CVI)為0.86【指效度】,在量表的內在一致性之Cronbach α為0.90【指信度】。
採Likert 4點計分方式,一分代表沒有,4分代表時常發生,分數愈高代表感受到症狀發生之經驗愈多。
![Page 9: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/9.jpg)
![Page 10: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/10.jpg)
10
研究工具之信度
目的是在測試研究工具的一致性,穩定性及準確性是否可以信賴,上列三者缺一不可。
信賴度是效度的一個先決條件,一個可信的工具不一定有效;但若這工具根本就不可信的話,那麼她的效度也一定會產生問題。
![Page 11: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/11.jpg)
11
信度種類
再測信度
內在一致性
折半信度
測試者一致性信度
![Page 12: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/12.jpg)
12
再測信度(Test-Retest Reliability)
在不同時間進行重複測試,會得到相同的結果,稱為再測信度(Test-Retest Reliability),或稱為穩定度(Stability Reliability)。
可用統計方法進行檢定。若有n名研究個案,每名個案重複測試共兩次,若研究工具可信的話,則這兩次重試的數值應具高度相關,故可進行「相關分析(Correlation Analysis)」,計算這兩組數值(及第一次及第二次)的相關係數(Correlation Coefficient;r),最常用的為皮爾森氏相關(Pearson Correlation),若相關係數大予以r=0.7或以上作為高度相關的標準。(即r>0.7)。
![Page 13: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/13.jpg)
13
再測信度(Test-Retest Reliability)續
連續型數據(Continuous Data)--用相關分析處理
當數據是屬於類別型數據(Categorical Data)時,應使用Kappa係數或內在等級相關係數。
再測信度二次測試之時間需要相隔多久?要視研究工具的性質而定。時間相隔太久會有許多外在因素介入,結果不容易一致;相隔太短又可能因受測者的「記憶而影響到第二次測試的客觀性,相隔1-2星期似乎頗為常用。」
![Page 14: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/14.jpg)
14
內在一致性(Internal Consistency)
也稱為「同質性(Homogeneity)」。測量同質性的指標有好幾種:
* Cronbach’s Alpha(α)
最常用來測量內在一致性的指標,只要α值介於0.7與0.9之間,一般都認為可以接受。
但若α<0.7,量表中部分題目的同質性會受到質疑,問卷亦可能需要修改
Conbach’sα的值便愈高,代表了各題目間的內在一致性愈高。
若α>0.9,則可能各題目間重複地方過多,部分題目或許可以刪減。
![Page 15: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/15.jpg)
15
內在一致性(Internal Consistency)續
*Kuder-Richardson(KR-20)係數
Cronbach’sα係數,僅適用於連續型數據,當所使用的量表內每一個項目都分為2分法(Binary,即每一個題目都只有兩個可能的答案,如「是/否」或「對/錯」等)時,所需要使用的同質性係數便是所謂的kR-20,
亦是以係數介於0.7與0.9之間為可以接受。
在軟體內對0/1之數據進行Conbach’sα分析,所得出來之值便是KR-20係數。
![Page 16: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/16.jpg)
16
折半信度(Split-Half Reliability)
把量表的項目分為兩部分,若兩部分的平均相差無幾,而且兩部分的得分具高度相關的話,那麼量表的信度又得到進一步的證實,
通常把量表一分為二的方法為奇數題目為一組、偶數題目為另一組。把量表分為兩部分後計算其相關性,則可以用前述之ICC係數:當然,只要無「系統誤差(Systematic Bias)」,則皮爾森氏相關或皮爾曼相關(Spearman
Correlation)也可使用。
![Page 17: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/17.jpg)
17
測試者一致性信度
有些量表不一定是受訪者自行填寫,而是由研究人員觀察個案,把觀察或訪問得到的資料一一紀錄下來。
這一類型的信度,便是所謂的測試者一致性信度(Inter-Rater Reliability);
兩名(或多名)測試者同時觀察同一名個案,並把觀察所得分別紀錄下來,因為在觀察的過程中,兩名測試者理論上都應該按照某些程序或原則作為評分依據,故若兩名評分者分數相類似,便可算評審程序具可靠性、客觀性。
![Page 18: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/18.jpg)
18
測試者一致性信度
統計方法:適用於連續型數據的Pearson相關係數、成對t-檢定,及適用於類別型數據的Kappa
係數與McNemar檢定等, 全部都適用於測試者一致性信度,只要把第一名測試者當做是「再測信度」中的第一次,第二名測試者當作是「第二次」來處理便可。
「同一測試者一致性信度(Intra-rater Reliability)」的指標。這種信度的進行方式通常是對受試者相隔一段時間測試兩、三次,並由同一位評審員(Rater)進行評估及給於分數。再看看兩、三次的分數的差異多少、相關多少,來判斷「同一測試者一致性信度」的高低。
![Page 19: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/19.jpg)
19
工具之效度(Validity)
效度的定義,代表了研究者所收集到的資料,是否就是他(她)所期望量度(Measure)的項目。
內容效度【專家效度】
建構效度
效標關連效度
![Page 20: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/20.jpg)
20
內容效度(Content Validity)
是一個頗為主觀的檢定方法,進行的方式一般是在量表設計完成之後,請有關方面的專家及研究對象。對量表的內容提供意見。
這一類型之效度,若指徵詢專家之意見,完全由專家們審定工具之有效與否的話,則又可稱為專家效度(Expert Validity)。
僅就量表或研究工具是否「看似」足夠收集研究所需資料的話,稱為表面效度(Face Validity)。都只能算是主觀的審查方式。
![Page 21: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/21.jpg)
![Page 22: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/22.jpg)
22
內容效度指標
(Content Validity Index, CVI)
研究工具中哪些量表或問卷需要測量專家效度?
Content Validity Index (CVI)計算方式:
1.在專家4個選項中【需為偶數選項】區分成2部分,勾選1-2者為一組(得0分),3-4者為1組(得1分)
2.計算每題共計有幾位專家得到1分,得分/總專家人數,得到單題CVI值
3.將每題值總和/所有題數=整體量表CVI值
切記:CVI計算不能用平均值與標準差來呈現,因為會加入不合適的選項。
※範例
![Page 23: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/23.jpg)
23
建構效度(Construct Validity)
對於如何量度行為(Affect),建構效度尤其重要。
所謂「建構(Construct)」。是一個概念(Concept)、一種特質(Trait),是利用一些可以觀察到(Observable)的事物來反映一個無法直接量度的理念。
建構效度可以說是各種不同效度中最重要的一種。雖然它也是最難以證實的一種,可以利用多種統計方法處理,故是極為客觀的一種效度
![Page 24: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/24.jpg)
24
建構效度(Construct Validity)
檢定方法:
因素分析(Factor Analysis)是一種統計方法,每個因子便可以代表我們所說的一種概念,一個建構。
![Page 25: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/25.jpg)
量表檢測相關之因素分析
探索性因素分析(Explorative factorial
analysis, EFA)—初步量表構面檢定
驗證性因素分析(Confirmatory factorial
analysis, CFA)—最後量表構面檢定
![Page 26: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/26.jpg)
量表效度因素分析1--Sample
![Page 27: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/27.jpg)
EFA結果
![Page 28: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/28.jpg)
量表效度因素分析2--Sample
![Page 29: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/29.jpg)
CFA結果-1
![Page 30: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/30.jpg)
CFA結果-2
![Page 31: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/31.jpg)
31
效標關連效度
(Criterion-Related Validity)
須找到一個效標
預估效度(Predictive Validity)
同時效度(Concurrent Validity)
![Page 32: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/32.jpg)
效標範例文章
![Page 33: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/33.jpg)
效標範例文章
![Page 34: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/34.jpg)
34
預估效度(Predictive Validity)
指測驗分數與將來的效標資料之間的相關。
常用的效標資料:專業訓練成績與實際工作的成果。
須以追蹤方式,對受試者將來的行為表現做長期繼續的觀察、考核和紀錄,然後以考核資料與當初的測驗分數進行相關分析。(預測將來成就的預測效力)
![Page 35: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/35.jpg)
35
同時效度(Concurrent Validity)
指測驗分數與當前效標資料之間的相關。
如學生參加校外數學評量,則將其所得成績與同時在校的數學成績(當前效標資料)看其相關性
![Page 36: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/36.jpg)
36
研究工具信度與效度重要性
對的工具=對的結果
錯的工具,結果絕對是錯誤的
![Page 37: 研究工具之信度與效度 Reliability and Validity¯”賽.files/研究工具之信度... · 內容效度 Content Validity 是一個頗為主觀的檢定方法,進行的方式一般是](https://reader033.vdocuments.pub/reader033/viewer/2022051509/5adf2bfb7f8b9a97518b9d32/html5/thumbnails/37.jpg)
37
結論
量性研究,所採用的工具需具備信、效度
自行設計的問卷,信、效度更是重要