การพัฒนาเคร ื่องม ือและ...

การพฒนาเครองมอและการทดสอบเครองมอการวจย

ผชวยศาสตราจารย ดร. จราพร เขยวอย คณะสาธารณสขศาสตร มหาวทยาลยขอนแกน

ขอพจารณากอนสรางเครองมอขอพจารณากอนสรางเครองมอ

ขอมลอะไร? ทตองการทราบอยางแทจรง

ใ ? ใ ใ ?จะเกบขอมลจากใคร? และจะใชวธใด?

ระดบการศกษาของผใหขอมลสวนใหญเปนอยางไร? ญ

ขนาดตวอยางเทาใด?

จะจดการกบขอมล (data processing) นนอยางไร?

2

วธการเกบรวบรวมขอมลและเครองมอทใชวธการเกบรวบรวมขอมลและเครองมอทใช

ใ

ขอมลทมอยแลว แบบรวบรวมขอมล Checklist

วธการเกบขอมล เครองมอทใช

ขอมลทมอยแลว

สงเกต

แบบรวบรวมขอมล, Checklist

แบบบนทกการสงเกต, ประสาทสมผส

การสมภาษณ แบบสมภาษณ, Checklist, Tape recorder

การสอบถาม การสอบถาม

3

ขอด-ขอดอยของวธการเกบขอมลจากขอมลทมอยแลวขอด-ขอดอยของวธการเกบขอมลจากขอมลทมอยแลว

ขอดอย ขอด

เขาถงขอมลยาก อาจขดจรยธรรม

ขอมลอาจไมสมบรณไมแพง ขอมลอาจไมสมบรณ

ไมตรงกบความตองการ

4

ขอด-ขอดอยของวธการเกบขอมลดวยการสงเกตขอด-ขอดอยของวธการเกบขอมลดวยการสงเกต

ร ธรร ร ส ธส

ขอดอยขอด

อาจขดจรยธรรม หรอละเมดสทธสวนบคคล

ขอมลทไดอาจบดเบอนเนองจากการปรากฏตวไดรายละเอยด

ของผเกบขอมลมาก ลก

ตองการ การฝกอบรมสง และตลอดเวลา

5

ขอด-ขอดอยของวธการเกบขอมลโดย (F f )การสมภาษณแบบตวตอตว (Face to face)

ขอดอยขอด

เหมาะสาหรบผ การปรากฏตวของผสมภาษณ อาจมผลตอ

ขอมลทไดรบ

เหมาะสาหรบผทอาน-เขยนไมได

ขอมลทไดมความสมบรณลกซงนอยกวา การ

ไมไดResponse rate

สงกวาการใชไดขอมลจากการสงเกต

สงกวาการใชแบบสอบถาม

6

ขอด-ขอดอยของวธการเกบขอมลโดย การสมภาษณแบบเจาะลก (In-depth interview)

ขอดอยขอด

ใชเวลานาน

วเคราะหขอมลยาก เพราะใช คาถาม

ไดรายละเอยด

มากขน วเคราะหขอมลยาก เพราะใช คาถาม

ปลายเปด

มากขน

(เปน semi-structure questionnaire)( q )

7

ขอด-ขอดอยของวธการเกบขอมลโดย การทอดแบบสอบถาม (Administering written)

ขอดอยขอด

ใชไดกบกลมผทอานออกเขยนได

R t

ไมแพง

อาจไดคาตอบทเปนจรง Response rate ตาอาจไดคาตอบทเปนจรง

ซอสตย มวธเพม response rate

ไมตองใชพนกงานสมภาษณมวธเพม response rate

8

การออกแบบสอบถาม

9

ประเดนทตองคานงถงในการออกแบบสอบถามประเดนทตองคานงถงในการออกแบบสอบถาม

เนอหาและความยาวของแบบสอบถาม

ลาดบคาถาม และการจดเรยง

การปฏเสธการใหขอมล การปฏเสธการใหขอมล

อตราการตอบ-การใหขอมลทสมบรณ อตราการตอบ การใหขอมลทสมบรณ

รปแบบและการจดวางคาถาม

10

ขนตอนในการออกแบบสอบถาม 1)ขนตอนในการออกแบบสอบถาม 1)

พจารณาเนอหา

–ทบทวนวรรณกรรม

–ความเหนจากผเชยวชาญ

ความเหนจากกลมเปาหมาย–ความเหนจากกลมเปาหมาย

11

ขนตอนในการออกแบบสอบถาม 2)ขนตอนในการออกแบบสอบถาม 2)

ตงคาถาม & เลอกประเภทคาถามทใชตงคาถาม & เลอกประเภทคาถามทใช

– ไมควรถาม 2 ประเดนในคาถามเดยวกน

– ไมควรใชขอความปฏเสธซอน

– ไมใชขอความทกากวม

– ไมควรถามนา– ไมควรถามนา

– หลกเลยงคาแสลง

– ประเภทของคาถามอาจเปน ปลายเปด หรอปลายปดหรอปลายปด

12

ประเภทคาถาม—ขอด/ขอดอยประเภทคาถาม—ขอด/ขอดอย

O d d tiOpen-ended questionsจงระบสาเหตททาใหทานเกดความเครยด...................................................................................................................................... Completion

(Fill in the blank)

Closed-ended questions(Fill-in the- blank)

ปจจบนทานอายสถานภาพสมรสในปจจบนของทานคอ

โสด ค

......ป

ค หมาย หยา แยกกนอย

13

ขอควรพจารณาเพมเตมในการตงคาถามขอควรพจารณาเพมเตมในการตงคาถาม

เรองทมความออนไหว

ควรถามโดยยกสถานการณ ไมใหผตอบรสกวาเปนควรถามโดยยกสถานการณ ไมใหผตอบรสกวาเปน

ขอมลของตวเขา

เรองทเกยวของกบความจา

มกรอบเวลาทชดเจน ---ควรทบทวนวรรณกรรม

มคาถามอนนากอน

14

ขอควรพจารณาเพมเตมในการตงคาถามขอควรพจารณาเพมเตมในการตงคาถาม

ไ ป ไคาถามทมคาตอบไดมากกวา 1 คาตอบ ควรมรปแบบอยางไร

ทานไดรบขอมล…จากสอใดบาง (ตอบไดมากกวาหนงขอ) ง ( ง ) ไดรบ ไมไดรบ

โทรทศน วทย หนงสอพมพ เพอน

คาถามทใหเรยงลาดบมากสด/บอยทสด-นอยทสด

15

ขนตอนในการออกแบบสอบถาม 3)ขนตอนในการออกแบบสอบถาม 3)

เรยงลาดบคาถาม

กาหนดรปแบบของแบบสอบถาม

รางแบบสอบถาม

16

ขอพจารณากอนสรางเครองมอขนตอนในการออกแบบสอบถาม 4)ขอพจารณากอนสรางเครองมอขนตอนในการออกแบบสอบถาม 4)

ขดเกลาภาษา ปรบปรงแบบสอบถาม

วเคราะหคาถามในแบบสอบถามวเคราะหคาถามในแบบสอบถาม

สรางคมอแบบสอบถาม

สรางคมอลงรหส

ทดสอบแบบสอบถาม

แกไขและจดพมพแกไขและจดพมพ

17

ขอพจารณากอนสรางเครองมอการสรางคมอแบบสอบถามขอพจารณากอนสรางเครองมอการสรางคมอแบบสอบถาม

อธบายรายละเอยดของ

วธการเกบขอมล

ลกษณะตวอยางลกษณะตวอยาง

ความหมายของขอมล / ตวแปร แตละขอ

ตวอยาง-งานวทยานพนธของคณเปรมกมล ขวนขวาย(ไดรบอนญาต)ตวอยาง งานวทยานพนธของคณเปรมกมล ขวนขวาย(ไดรบอนญาต) เรอง“ปจจยทเกยวของกบการหกลมของผสงอายทอาศยอยในชมชน”

18

ขอพจารณากอนสรางเครองมอการสรางคมอรหสขอพจารณากอนสรางเครองมอการสรางคมอรหส

ลาดบขอ/หนา

ชอตวแปร/คาอธบาย

ประเภทขอมล ความกวาง รหส(คาทเปนไปได)/ความหมายรหส

หนาปก ID/ เลขท Number 3 001-600แบบสอบถาม แตละ ID เปนขอมลของตวอยางแตละราย

1/1 Sex/เพศผตอบ Number 1 1=ชาย2=หญง9=missing9=missing

2/1 Age/อายผตอบ Number 2 15-60(ลงอายเปนปเตม)99=missing

:::

10/2 ความพงพอใจตอ....

Number 1 1=ไมพงพอใจเลย2=ไมพงพอใจ3=เฉยๆ4=พงพอใจมาก5=พงพอใจมากทสด8=ไมเขาขาย เชน ไมเคยใชบรการ9=missing

19

ขอพจารณากอนสรางเครองมอการทดสอบแบบสอบถามขอพจารณากอนสรางเครองมอการทดสอบแบบสอบถาม

ทดสอบกบตวอยาง ทมลกษณะคลายคลงกบตวอยางทใชในการศกษาคลายคลงกบตวอยางทใชในการศกษา

ผลจะชขอบกพรองตาง ๆ ทควรแกไข

ความไมชดเจนของคาถาม

การเรยงลาดบการเรยงลาดบ

ความยาวของแบบสอบถาม

20

ขอพจารณากอนสรางเครองมอป ขอพจารณากอนสรางเครองมอประเดนอนทควรคานงถง: การเพมอตราตอบกลบ

ป เปนแบบสอบถามทด

มจดหมายนาทด มจดหมายนาทดมคาอธบายถงความสาคญของขอมลทตองการ

ลงนามโดยผมอานาจลงนามโดยผมอานาจ

กรณสอบถามทางไปรษณย ควรเตรยมซองและแสตมปสาหรบการสงกลบใหพรอม

มจดหมายตาม (ไมใชโทรศพท) มจดหมายตาม (ไมใชโทรศพท)

21

ขอพจารณากอนสรางเครองมอประเดนทควรทราบ: ขอพจารณากอนสรางเครองมออคตในการเกบรวบรวมขอมล

เครองมอไมด

ผเกบขอมลมอคต

ผลของวธการทใชตอผใหขอมลผลของวธการทใชตอผใหขอมล

ขอพจารณาดานจรยธรรม

22

ส สการสรางสเกล

23

ขอพจารณากอนสรางเครองมอ ส ส Adjust from previousขอพจารณากอนสรางเครองมอขนตอนการสรางสเกล

กาหนด(โครงสราง)เนอหาของสเกล

Adjust from previous studyNew construct based

th / t t กาหนด(โครงสราง)เนอหาของสเกล

การนยามตวแปร

on theory/contentInterview expertsFocus groupการรวบรวมรายการคาถาม

การออกแบบสเกล

Focus group

การประเมนความตรงตามเนอหา

การประเมนความชดเจนของภาษา

การลดรายการคาถาม

การประเมนความตรงเชงโครงสรางของสเกล

การประเมน internal consistency

หาขอสรปในการนาไปใชหาขอสรปในการนาไปใช

24

ขอพจารณากอนสรางเครองมอ ส ส ( )ขอพจารณากอนสรางเครองมอขนตอนการสรางสเกล (ตอ)

การออกแบบสเกลการออกแบบสเกล

Process Issued to be consideredProcessระบชดของ itemตรวจสอบเพอยนยน

Issued to be consideredกลมตวอยาง และ ขนาดตวอยางการเลอกใชขอความทางลบตรวจสอบเพอยนยน

ดานเนอหา จานวน itemScaling of items

Scaling method, Scaling responseg g p

25

ขอพจารณากอนสรางเครองมอScaling method Scaling responseขอพจารณากอนสรางเครองมอScaling method, Scaling response

Likert Scale

สเกลประเภทตาง ๆ การกาหนดตวเลอกใหกบคาถามแตละขอLikert Scale

Thurstone Scale Scaling method

Guttman Scale

Semantic Diffe ential

Resources

Scale administrationSemantic Differential

ScaleCharacters of target group

26

ขอพจารณากอนสรางเครองมอ ส ส ( )ขอพจารณากอนสรางเครองมอขนตอนการสรางสเกล (ตอ)การประเมนความตรงตามเนอหา

การประเมนความชดเจนของภาษา

การลดรายการคาถาม

การประเมนความตรงเชงโครงสรางของสเกล

การประเมน internal consistency

Distribution of responseFactor analysis

Item anal sis Inter-item correlationItem-total correlation

Item analysisItem total correlationInter-item consistency (internal consistency)(internal consistency)

27

ขอพจารณากอนสรางเครองมอ ส ส ( )ขอพจารณากอนสรางเครองมอขนตอนการสรางสเกล (ตอ)

Reliability assessmentReliability assessmentCronbach’s Alpha coefficient

Criterion-related validity—ถาทาได

หาขอสรปในการนาไปใช

การแปลความหมาย

วธการนาไปใช

28

การตรวจสอบคณสมบต

ของเครองมอ

29

ประเดนการนาเสนอประเดนการนาเสนอ

• เครองมอประเภทมาตรวด/สเกล• ทาไมจงตองมการตรวจสอบคณภาพของเครองมอ?ทาไมจงตองมการตรวจสอบคณภาพของเครองมอ?

• ถาจะตรวจสอบจะตรวจสอบอะไรบาง? ป ไ• มวธการตรวจสอบและเกณฑการประเมนอยางไร?

• ปญหาทมกพบในการตรวจสอบคณภาพเครองมอญ ง

การตรวจสอบคณสมบตของเครองมอ(เพมเตม)• การตรวจสอบคณสมบตของเครองมอ(เพมเตม)

30

เครองมอประเภทสเกล(มาตรวด)เครองมอประเภทสเกล(มาตรวด)

ระดบความเหนรายการขอคาถาม 1 2 3 4 5รายการขอคาถาม 1 2 3 4 5

คาถามขอ 1........................คาถามขอ 2........................ .......................

.......................คาถามขอ 10......................

31

ทาไม? จงตองมการตรวจสอบเครองมอ

งานวจย--ตองการขอมลทมคณภาพคณภาพของเครองมอ

คณภาพขอมลคณภาพของคนเกบขอมลคณภาพของวธดาเนนการเกบขอมล

คณภาพขอมลขนอยกบ

คณภาพของวธดาเนนการเกบขอมลคณภาพของการจดการขอมลอะไรบาง?

32

ถาจะตรวจสอบเครองมอ จะตรวจสอบอะไรบาง?

แบบวดทศนคต (ตวเลอก 1 2 3 4 5) ในการทดสอบเครองมอ ควรหาเฉพาะ Cronbach-Alpha เทานนใชหรอไม?เครองมอ ควรหาเฉพาะ Cronbach-Alpha เทานนใชหรอไม?

การทดสอบเครองมอทเขานยมกนนน ไมวาจะเปน

ความร วดออกมาเปนตอบถกได 1, ตอบผดได 0

ป ti 1 2 3 4 5การวดทศนคต วดออกมาเปน rating 1 2 3 4 5

จากเหนดวยนอยทสด->มากทสด

ควรจะทดสอบอะไรบาง

33

ถาจะตรวจสอบเครองมอถาจะตรวจสอบเครองมอ จะตรวจสอบอะไรบาง

Validity Reliabilityy y

Content validity Rater reliability

Construct validityCriterion validity

Stability/Test‐retest

Alternate form reliabilityCriterion validity Alternate form reliabilityInternal consistency

34

การตรวจสอบ Validityการตรวจสอบ Validity

Content ValidityExpert opinionExpert opinionCVI-Content validity index

Rates the content relevance on a four-point scale;

1-totally irrelevant content; 4-totally relevant contentLynn 1986Nursing research1 totally irrelevant content; 4 totally relevant content

CVI-the proportion of judges who rate the item 3 or 4

Number of raters and CVI:

Nursing research 35, 382‐5

Number of raters and CVI:

5 rater ----CVI =>1

6-10 raters ----CVI=> 0.83-0.90 (no more than 1 rater – score an item less than 3)( )

35

การตรวจสอบ Reliabilityการตรวจสอบ ReliabilityInternal consistencyInternal consistency

Cronbach’s Alpha Coefficient 0 80 0 90Cronbach s Alpha Coefficient

คาสมประสทธแอลฟา ระดบการยอมรบ

0.80-0.90

คาสมปร สทธแอลฟา ร ดบการยอมรบ> 0.90 ดมาก แต....0.85-0.90 ดมาก0 85 0 90 ม0.80-0.84 ด0.75-0.79 คอนขางด0.70-0.74 พอใช<0.70 จาเปนตองแกไข

36

Output of Reliability Analysis with SPSS : Cronbach’s Alpha CoefficientCronbach s Alpha Coefficient

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

N of Cases = 30 0N of Cases 30.0Statistics for Mean Variance Std Dev N of Variables Scale 36.2000 33.5448 5.7918 10

Item-total StatisticsItem total Statistics Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted

X1 33.7000 34.2172 -.1432 .3656 .7999X2 32.3667 27.5506 .6936 .7746 .7024X3 32 6667 25 1264 5638 5400 7038X3 32.6667 25.1264 .5638 .5400 .7038X4 32.4667 26.8782 .5897 .6273 .7059X5 32.9333 27.0989 .3585 .2714 .7408X6 32.2667 30.1333 .3864 .6253 .7357X7 32.2000 25.4069 .7241 .8013 .6849X8 32.1667 28.2126 .4082 .6992 .7300X9 32.6000 25.8345 .4140 .5514 .7330X10 32 4333 28 8057 3640 5070 7359

516 733  37

X10 32.4333 28.8057 .3640 .5070 .7359

Reliability Coefficients 10 itemsAlpha = .7499 Standardized item alpha = .7700 37

Output of Reliability Analysis with Stata: Cronbach’s Alpha CoefficientCronbach s Alpha Coefficient

. alpha x1- x10Test scale = mean(unstandardized items)Reversed item: x1Average interitem covariance: .2890932Number of items in the scale: 10Scale reliability coefficient: 0.7829

. alpha x1- x10, itemTest scale = mean(unstandardized items)

averageitem-test item-rest inter-item

It | Ob Si l ti l ti i l hItem | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------x1 | 30 - 0.3038 0.1432 .3378991 0.7999x2 | 30 + 0.7600 0.7001 .2810664 0.7444x3 | 30 + 0.6295 0.4825 .2729246 0.7608x3 | 30 0.6295 0.4825 .2729246 0.7608x4 | 30 + 0.7547 0.6744 .2658365 0.7386x5 | 30 + 0.4832 0.2965 .3024266 0.7895x6 | 30 + 0.5449 0.4573 .3110473 0.7676x7 | 30 + 0.7970 0.7247 .2560026 0.73098 | 30 0 6291 0 5131 2829821 0 7569x8 | 30 + 0.6291 0.5131 .2829821 0.7569

x9 | 30 + 0.5076 0.3096 .2960409 0.7909x10 | 30 + 0.6274 0.5147 .2847063 0.7571-------------+-----------------------------------------------------------------Test scale | .2890932 0.7829Test scale | .2890932 0.7829-------------------------------------------------------------------------------

38

ตรวจสอบการกระจายของคาตอบตรวจสอบการกระจายของคาตอบ

Frequency of each category• Delete Item ---- >0 95 or <0 05Delete Item >0.95 or <0.05• In practice ---- 0.2-0.8

A Simple item discrimination index

Ui = no. of people above the median

di =  ‐‐‐‐‐‐‐‐‐Ui ‐‐ Lini

U o o peop e abo e t e ed awho score positive on item i,

Li = no. of people below the median who score positive on item i,ni p ,

ni = no. of people below (or below) the median

39

ปญหาทมกพบในการญตรวจสอบคณภาพเครองมอ

ไมทราบวา

จะตรวจสอบอะไรบางจะตรวจสอบอยางไรจะตรวจสอบอยางไรจะใชโปรแกรม/คาสงอะไรจะใชโปรแกรม/คาสงอะไรจะแปลผลอยางไรและจะแกไขอยางไร

40

ตวอยางปญหาตวอยางปญหา1 แบบทดสอบทเราวดความร ทเปนตวเลอก 1 2 3 4 ในการทดสอบ1. แบบทดสอบทเราวดความร ทเปนตวเลอก 1 2 3 4 ในการทดสอบเครองมอนน ควรทดสอบความเชอมนโดยใช Cronbach-Alpha ได (ตวทดสอบวดมากกวา 2 ระดบ นาจะใชได) หาคาความยากงาย หาคา อานาจการจาแนก

2. แบบทดสอบทเราวดความร (ใช /ไมใช ถก/ไมถก) ในการทดสอบ เครองมอสามารถทาไดเหมอนกบทมตวเลอกเปน 1 2 3 4 ไดหรอไมครบ

3. แบบวดทศนคต (ตวเลอก 1 2 3 4 5) 3 แ ว น ( วเล 3 5) ในการทดสอบเครองมอ ควรหาเฉพาะ Cronbach-Alpha เทานนหรอไม

4 การทดสอบเครองมอทเขานยมกนนน ไมวาจะเปน4. การทดสอบเครองมอทเขานยมกนนน ไมวาจะเปน ความร วดออกมา 1 2 3 4 หรอ ใช /ไมใช การวดทศนคต นกวจยควรจะทดสอบเครองมออะไรบางครบทเขานยมกน

41

เครองมอประเภทแบบทดสอบเครองมอประเภทแบบทดสอบContent validityContent validity

IOCIndex of consistency

p ‐‐‐‐ 0.2‐0.8Index of consistencyIndex of Item-Objective congruence

Difficulty indexp27%บน – p27%ลาง

n ของกลมทมากทสด0.2 - 0.8

Discrimination indexInternal consistency KR20 หรอ KR21Internal consistency KR20 หรอ KR21

42

ประเดนเพอ discussประเดนเพอ discuss

แบบสอบถามทเราสรางขน ถาไมมสวนทเปน สเกล

จาเปนตองทดสอบคณสมบตของเครองมอหรอไม

ถาตอบวา ไม ขอทราบเหตผล

ถาตอบวาจาเปน ถามวาตองทดสอบคณสมบตใดบาง

43

การตรวจสอบคณสมบตการตรวจสอบคณสมบตของเครองมอ

(เพมเตม)

44

Validity TestValidity TestT M th d f A tTypes Methods of Assessment

CContent validityConstruct validity

Expert, CVIFactor analysis, y

Criterion-based validity

Test of Hypothesisvalidity

Concurrent validityPredictive validity

Correlation, Agreement R iPredictive validity Regression

45

Validity of Diagnostic TestValidity of Diagnostic TestProperties of Diagnostic TestProperties of Diagnostic Test

–Sensitivity–Specificity–Predictive validity–Predictive validity–Accuracy–Likelihood Ratio

Criterion-Based Validity ------ Kappa

46

Reliability TestReliability Test

T R li bili ffi iRater reliability

I t tICC, Kappa

Types Reliability coefficient

– Inter-rater – Intra-rate

Internal consistencyCronbach’s Alpha CoefficientItem-to-total correlationInternal consistency

Stability or

Item to total correlation

ICC, CCC, Bland-Altman PlotyTest-retest reliability

Alternate forms

, , Kappa

l ffAlternate forms reliability or Parallel form reliability

Correlation coefficients

CCC, Kappa

47

ResponsivenessResponsiveness

The ability of a measure to reflect underlying change4 statistics used to index responsivenessp– Effect size

T-test comparisons– T-test comparisons– The standardized response mean– The responsiveness statistics

St t MJ H RDStaquet MJ, Hays RD, Fayers PM. 1998. P.178‐9

48

Formula of each statisticsFormula of each statistics

Effect size = D/SDEffect size = D/SD

Paired t-test = D/SE

Standardized response mean = D/SD*

Responsiveness statistic = D/SD#

D = raw score change on measure

SE t d d f th diffSE = standard error of the difference

SD = standard deviation at time 1

SD* = standard deviation of D

SD# = standard deviation of D among stable subject

49

ขอบคณคะ