1

การต �งเกณฑผานและ

การตดเกรด

วณช วรรณพฤกษ

การตดสนผล

√

√

เดกเกง เดกออน

ผาน

ไมผาน

2

What should grades include

effort,achievement,neatness,

spelling, good behavior,etc

Grades for individual assessments

criterion-reference or norm-referenced?

if criterion-referenced, what standard?

if norm-referenced, what reference group?

letter grades or numbers?

3

Combining assessments for a composite grade

- what common numerical scale? percentages standard scores range of scores (max-min) combining absolute and relative grades

- weight to give different assessments?

- what cut-off points for letter grades?

ความครอบคลมของเน,อหา

แนวคดการตดสนผล

เกณฑผาน

การจดการและใหความหมายคะแนน

การแปลงคะแนน

การใหเกรด

การตดสนผล

4

This Session Addresses the Following Questions

What is standard setting?

- Why is standard setting used?

- Who should pass and fail?

Which method of standard setting is preferable?

- How does one decide which method to use?

- When should standard setting be used?

Where can one find related evidence?

วตถประสงค

1. อธบายแนวคดการตดสนผลการเรยนได

2. จดทาเกณฑผานได

3. ใหเกรดผลการเรยนได

4. อธบายการตดสนผลแบบองกลมและองเกณฑได

5. เลอกและประยกตแนวคดการตดสนผลแบบองกลมและองเกณฑ สาหรบนกศกษาได

5

พฤตกรรม ความสามารถในการสJอสาร

(20)

การเขยนรายงาน

(20)

ความประพฤต

(30)

ความร ความสามารถ

(30)

คนทJ 1 18 17 29 28

คนทJ 2 16 15 28 25

คนทJ 3 14 13 27 27

A test score is a piece of

information about a person.

How can you use that

information to make a decision ?

6

คะแนนดบชดทJ 1 (ขอขยน) ชดทJ 2 (ปฏบต)

คนทJ 1 38 คนทJ 9 36 คนทJ 1 80 คนทJ 9 75คนทJ 2 24 คนทJ 10 25 คนทJ 2 68 คนทJ 10 63คนทJ 3 30 คนทJ 11 33 คนทJ 3 46 คนทJ 11 36คนทJ 4 27 คนทJ 12 28 คนทJ 4 55 คนทJ 12 38คนทJ 5 32 คนทJ 13 35 คนทJ 5 50 คนทJ 13 57คนทJ 6 37 คนทJ 14 26 คนทJ 6 74 คนทJ 14 65คนทJ 7 29 คนทJ 15 31 คนทJ 7 69 คนทJ 15 42คนทJ 8 34 คนทJ 8 78

7

การจดการคะแนน

ในการใหคะแนนเพJอตดสนผล ได - ตก

ผาน - ไมผาน ใหเลJอนชVน – ไมใหเลJอนชVน

ขอสอบตอง:ไดมาตรฐาน

เปนขอสอบทJด

ขอสอบตอง: สามารถแยกคนเกง

และคนออนได

8

IT is Obviously Impossible To

Set Acceptable Standards On

Unacceptable Test

Standard Setting Standard Setting Standard Setting Standard Setting

and and and and

GradingGradingGradingGrading

วณช วรรณพฤกษ28 ธนวาคม 2553

9

Standard Setting

is the process of demarcating the minimal level of knowledge and skill required and identifying a score on the examination that corresponds to it

Type of Standards

Relative; expressed in terms of the performance of a group of examinees.absolute ; expressed in terms of the performance of examinees against the test material.

10

Standard Setters

ตองเขาใจเปาหมายของการสอบ

ตองรเนVอหาของวชาเปนอยางด

รจกคนเคยผเขาสอบ

ควรมผตVงเกณฑหลายคนเพJอใหยตธรรม

ผลลพธของการสอบควรเปนไปตามเปาหมาย

Standard Setting methods

Relative methodsAbsolute methods; test centeredAbsolute methods ; examinee centeredCompromise methods.

11

Relative methods

Fixed-percentage methods; student selectionReference group method

Absolute methods; test centered(Angoff and Ebel )

Angoff

- กรรมการ 5 คนพจารณากลมนกเรยนทJออนแตพอจะผาน ขอสอบนVนไดวาจะเปนรอยละเทาใดในขอสอบแตละขอ

- กรรมการแตละคน บอกคาทJตนเองประมาณไว

- นาคาของกรรมการทVง 5 คนมาหาคาเฉลJย

- นาคาเฉลJยทกขอมารวมกนจะไดเกณฑผาน

12

Angoff’ methodStandard setter Judges’ percent

1 2 3 4 5 Mean Choosing correct option

Question

1 .90 .85 .80 .75 .85 .83 0.90

2 .60 .55 .40 .35 .50 .48 0.50

3 .70 60 .65 .50 .55 .60 0.70

4 .85 .75 .80 .65 .70 .75 0.70

5 .95 .90 .85 .75 .80 .85 0.80

6 .50 .50 .45 .40 .50 .74 0.50

7 .65 .55 .45 .45 .60 .54 0.45

8 .85 .70 .80 .65 .75 .75 0.45

Standard 5.27 (cut score)

Absolute methods; test centered(Angoff and Ebel )

Ebel1. กรรมการแบงขอสอบ เปน งาย ปานกลาง และ ยาก ตามความคดของ

ตน (ความยาก-งาย)2. พจารณาวาขอสอบแตละขอ นกเรยนทJออนแตพอจะตอบขอนVนไดม

จานวนคดเปนรอยละเทาใด (ความถJ)3. พจารณาทกขอวาทJพจารณาวางายหรอยากนVนมอยางละกJขอ4. นาคาความถJและ รอยละของนกเรยนทJตอบถกมาคณกนจะไดคะแนน

ของขอนVน5. นาคะแนนทJคานวณไดในขอ 4 ของทกขอมารวมกนจะไดเกณฑผาน

13

Example of application of Eble’s method to a 100-item test

Category Average proportion

correct

No. of questions

Expected score

Common

Easy 0.95 20 19

Medium 0.80 40 32

Hard 0.70 10 7

Uncommon

Easy 0.70 15 10.5

Medium 0.50 10 5

Hard 0.30 5 1.5

Standard (cut score) 75

Absolute methods ; examinee centered ( contrasting group)

เลอกกระดาษคาตอบผสอบมา กลมหนJง

เอากระดาษคาตอบใหคณะกรรมการดทละแผน และใหกรรมการพจารณาวาไดหรอตก

เอาคะแนนกลมทJไดและกลมทJตกมาทากราฟแตแยกกลมกนบนกระดาษแผนเดยวกน

พจารณาทJเสนตดกนของกราฟ เปนคะแนนผาน

14

15

Compromise methods

Hofstee methods

- กรรมการคาดคะเนรอยละของผสอบผาน โดยพจารณาวาจานวนมากทJสดและนอยทJสดควรเปนเทาใด

- กรรมการพจารณาคะแนนผานทJยอมรบไดวามากทJสดและนอยทJสดควรเปนเทาใด

- นาตวเลขทVง 4 จานวนมาเขยนกราฟ จะไดรปสJเหลJยมซJงถาลากเสนทแยงมมตดกนจะไดจดทJเปนคะแนนผาน

Difficulty Index (DI)

Acceptability index (AI)= DIหมายถงเกณฑระดบตJาสด ทJผเรยนจะตองผานไดในการสอบวชาใดวชาหนJง และเปนทJยอมรบของผออกขอสอบทJออกเปน multiple choice

16

วธคานวณหาคา AIMedical Education Center at U. of Illinoise at

Chicago ไดปรบปรงวธคานวณดงนV-คาตอบทJถก ใหนVาหนกเปน 2

-คาตอบทJเดกออนตอบไดวาผด ใหนVาหนกเปน 0

-คาตอบทJใกลเคยงกบคาตอบทJถกจนเลอกยาก ใหนVาหนก เปน 1.5

-คาตอบทJตองคดมากวาถกหรอผด ใหนVาหนกอยระหวาง 0.5- 1.0

วธคานวณหาคา AI (ตอ)

AI = น, าหนกตวเลอกท8ถกผลรวมของน, าหนกตวเลอกท,งหมด

ขอสอบทJมความยากงายปานกลาง AI จะอยทJ 0.4-0.6

เนVอหาทJตองร AI จะอยทJ 0.6-0.8

เนVอหาทJควรร AI จะอยทJ 0.2-0.4

17

Minimal passing level

การคานวณหาคา MPL ของขอสอบท,งชด ( MCQ)1. นาคา AI ของแตละขอมารวมกน2. ปรบผลรวมท8ไดเปนรอยละ

MPL=

=

ผลรวมของดชนการยอมรบ

จานวนขอสอบทVงหมดX 100

Σ AI X 100N

ตวอยางการคด AIรถเกงคนหนJงปายทะบยน จงหวดนครราชสมาวJงคอนขางเรว เมJอมาถงแยกถนนพหลโยธนรถสายไปมาจากนVนวJงฝาไฟแดงไดยนเสยงเบรคดงลJน แลวพงไปชนเสาไฟขางทาง เมJอมคนเขาไปชวยพบวาชายคนขบอายประมาณ 20 ปหมดสต แขนขวาหก ทานคดวารถเกดอบตเหตเพราะA) คนขบดJมเหลาB) คนขบใชยาเสพยตดC) คนขบงวงนอนD) ขบรถไมเปนE) เบรคของรถไมด

18

คะแนนท�นกเรยนไดจาก

assessment มหลายอยางตามการ

วด competency ของ

professionalism

Components of Professionalism

Professionalism requires a person to be;Knowledgeable and skilled.Continuously update their expertise and proficiency.Well in communication skill.Trusted by society; honesty/integrity, responsibility, respect for others, compassion/empathy, self-improvement, knowledge of limits, altruism,

19

คะแนนการสอบแตละชด

ไมสามารถนามารวมกนได

ไมสามารถนามาเปรยบเทยบกนได

เพราะ

ขอสอบแตละชดไมเปนมาตรฐานเดยวกน

20

การจดการคะแนน(การใหความหมายกบคะแนนสอบ)

� การจดลาดบคะแนน (Ranking)� แจกแจงความถ� (Frequency of

distribution)� จดคะแนนใกลเคยงเปนหมวดหม

(Grouped frequency distribution)� หาคามธยฐาน (Median)� หาคามชฉมเลขคณต (Arithmetic

mean)

(Norman E.Gronlund& Robert L. Linn. Measurement and Evaluation in Teaching 6th

ed.1990)

21

Derived Score

*คะแนน percentile

*คะแนน มาตรฐาน

- Z score

- T - score

คะแนนเปอรเซนตไทล

คอคะแนนทJแสดงใหทราบวาทJตาแหนงคาคะแนนนVนผเขาสอบ มจานวนรอยละเทาไหร ทJไดคะแนนตJากวาคะแนนดงกลาว

เชน นกเรยนไดคะแนน 80 อยทJตาแหนงเปอรเซนตไทลทJ 70 หมายความวารอยละ 70 ของผเขาสอบไดคะแนนตJากวา 80

22

Percentile = (cf + ½ f) 100N

f = ความถJของคะแนนแตละคะแนนcf = ความถJสะสม(cf + ½ f) = ความถJสะสมแทจรง = ความถJสะสม

ในชVนลางถดไป + ½ ความถJของชVนคะแนนนVน

N = จานวนผเขาสอบทVงหมด

ตารางแสดงตวอยางการคดคาเปอรเซนตไทลคะแนนดบ f cf cf + ½ f (Cf + ½ f ) x 100

N38 1 58 57.5 99.1437 2 57 56 96.5536 4 55 53 91.3834 7 51 47.5 81.9033 8 44 40 68.9732 10 36 31 53.4531 8 26 22 37.9330 7 18 14.5 24.9928 4 11 9 15.5227 3 7 5.5 9.4826 2 4 3 5.1725 1 2 1.5 2.5924 1 1 0.5 0.86

23

ตวอยางการแปลงคะแนนดบ ใหเปนเปอรเซนตไทล

การคานวณคะแนนเปอรเซนตไตลของคะแนนดบ 33

เปอรเซนตไทลของคะแนนดบ 33 = { 36 + (1/2 x 8) } x 10058

= 68.97= 69

Z - scoreคะแนนมาตรฐานทJวไปจะกระจายอยในรปโคงปกตมหนวยเทากน สาหรบคา ZคอคาของความเบJยงเบนมาตรฐานของคะแนนตวนVนจากคาเฉลJย

จงรวมเขาดวยกนได มคาไดทVงบวกและลบ มคา X และ SD คงทJ คอ คาเฉลJยคะแนนมคา = 0 คาเบJยงเบนมาตรฐาน (SD) = 1

z = x – xSD

คะแนนเฉลJย x = εεεεx

N = จานวนผเขาสอบSD = εεεε (x – x )2

N

N

24

เปนคะแนนมาตรฐานทJคาเฉลJยของคะแนนเปน 50 และทาใหคาเบJยงเบนมาตรฐานเปน บวก เสมอ คอ =10

T = 10 z + 50

T - score

ตวอยางการแปลงคะแนน z เปน T

ผลการสอบมนกศกษาไดคะแนน 14 15 18 20 21 24 26x = 19.71SD = 4.405

คะแนนดบ z – score T – score14

15

18

20

14 – 19.71 = - 1.296

15 – 19.17 = - 1.069

18 – 19.171 = - 0.388

20 – 19.171 = 0.066

10 (- 1.296) + 50 = 37.037

10 ( - 1.069) + 50 = 39.308

10 ( - 0.388) + 50 = 46.118

10 ( 0.66) + 50 = 56.60

4.405

4.405

4.405

4.405

25

การแปลงคะแนนดบเปนคะแนนชดใหม ( T score )

นสตคะแนนดบ คะแนนชดใหม ( T- score )

ปฎบต

60

ทฤษฏ

130

รวม

190อนดบ ปฏบต ทฤษฎ รวม อนดบ

จอน 56 97 153 3 63.4 38.3 101.7 2

จน 50 108 158 2 47.3 50.0 97.3 3

จาย 47 120 167 1 39.3 62.7 102 1

X 51 108 50 50

SD 3.74 9.43 10 10

.

26

การใหเกรดแบงเกรดใหมชวงการกระจายของคะแนนเทากนทกเกรด

เชนใช mean และ SD หรอ SEMใชระดบความสามารถของผเรยน (class ability levels)-Dewey B.Stuit

ตวอยาง

Grade Point Average (GPA) : นศพ.ปท� 4 ปการศกษา 2546

RASU 406RAMD 403RAOG 405RAPD 403RAPC 406RAID 404RAID 405RAID 406RAID 407

วชา หนวยกต เกรด แตม รวมแตม

GPA ประจาช (นปท+ 4 = 125 = 3.1240

นศพ. กาญจนา

66553533440

BAAB+

BC+

CBA

3.04.04.03.53.02.52.03.04.0

18.024.020.017.59.07.58.09.012.0125

27

วธการใหเกรด1. นาคะแนนดบท,งชดมาแจกแจงความถ8และสรางโคงการกระจาย

คะแนน (distribution curve)2. หา X และ S.D.3. พจารณาจานวนเกรดท8จะให A,B,C,D,F4. กาหนดชวงคะแนนแตละเกรดโดยอาศยทฤษฎโคงปกตซ8 งมการ

กระจายคะแนน 6 ชวง(x+3S.D.) โดยเอาจานวนเกรดไปหาร5. ให c อยตรงกลางของโคง

28

ระบบการใหระดบผลการสอบ(Grading system)

การใหระดบผลการสอบตามเกณฑทJกาหนด (Absolute marking system)

การใหระดบผลการสอบโดยยดคะแนนกลมเปนเกณฑตดสน (Relative marking system)

Grading

ควรสะทอนผลสมฤทธzของการเรยนรทJผานมา

29

การใหเกรดโดยใหชวงคะแนนเทากน

> 85 - A75 – 84 - B65 – 74 - C55 – 64 - D45 – 54 - F

การใหเกรดโดย กาหนดคะแนนระหวางระดบเทากน

1. หาคาพสย (range)2. นามาหารดวยจานวนระดบทJตองการ

30

การใหเกรด

ตวอยาง คะแนนท (T-score) มคะแนนสงสด =88 คะแนน ตJาสด =25 ถาแบงเปน 8 ระดบ การแบงระดบ = คะแนนสงสด - คะแนนตJาสด

∴∴∴∴ พสย = 88 – 25 = 63

ระดบ = 7.86 = 8

∴A = 81 – 88 B + = 73 – 80 B = 65 – 72C+ = 57 – 64 C = 49 – 56 D + = 41 – 48 D = 33 – 40 F = 25 – 32

ขอควรระวงเม�อองเกณฑ

1. ขอสอบตองมคณภาพด - Validity

-Reliability

- Usability

2. ผตVงเกณฑผานมคณสมบตเหมาะสม

31

Relative marking system (norm reference)

A = > x + 1.5 SD

B = x + 0.5 SD x + 1.5 SD

C = x + 0.5 SD x – 0.5 SD

D = x – 0.5 SD x –1.5 SD

F = < x – 1.5 SD

- 1.5 – .5 0 .5 1.5

F 2% 14% 34% 34% 14% 2% AD

CB

ขอควรระวงเม�อองกลมแบบ normalized T-score

1. การใหคะแนนแบงเปนชวงใตโคงปกต ดงนVนตองแปลงคะแนนเปนคะแนนมาตรฐาน T

2. การใหคะแนนนกเรยนสองกลมทJมคะแนนตางกนอาจไมยตธรรม จงควรแปลงคะแนนใหเปนมาตรฐานเดยวกนนามารวมกลมแลวหาเกณฑผานกอนจงนามามาตดเกรด

32

การใหเกรดแบบ Dewey B. stuit

1. หาจดกลางของคะแนน (Median)2. หาคาเบ�ยงเบนมาตรฐานของคะแนน (SD)3. กาหนดขดจากดลางของ A4. หาขดจากดลางของคะแนนท�จะไดเกรดแต

ละเกรด5. ใหเกรดตามชวงคะแนน

33

หลกการการตดเกรด แบบ Dewey B.Stuit

ชวงของแตละเกรดหางเทาๆกน

โคงการกระจายเปนตามธรรมชาตของคะแนนดบ ไมตองปรบใหเปนโคงปกต

เปนการตดสนผลทJองทVงเกณฑและกลม

จานวนเกรดทJใหไมจาเปนตองครบทกเกรด

ระดบความสามารถ จดตJาสดของ Aดเลศ = x+0.7 SDดมาก = X+0.9 SDด = X+1.1 SDพอใช = x+1.3 SDปานกลาง = x+1.5 SDออน = X+1.7 SDออนมาก = X+1.9 SD

การแบงกลมเพJอใหคะแนนตาม Dewey B. stuit

34

ความสามารถของกลมกบการกาหนด จดต8าสดของ A

ระดบความสามารถเฉลJยของผเรยนทVง

ชVน

จดตJาสดของเกรด

A

รอยละของเกรด ระดบความ

สามารถเฉลJยA B C D F

ดเลศ 0.7S.D. 24 38 29 8 1 2.80

ดมาก 0.9S.D. 18 36 32 12 2 2.60

ด 1.0S.D. 14 32 36 15 3 2.40

พอใช 1.3S.D. 10 29 37 20 4 2.20

ปานกลาง 1.5S.D. 7 24 38 24 7 2.00

ออน 1.7S.D. 4 20 37 29 10 1.80

ออนมาก 1.9S.D. 3 15 36 32 14 1.60

-2 -1 +1 +2

การตดเกรดโดยวธของDewey B. Stuit

Median

Ebel, 2508

35

31%Interval =1 SD

36

9%

กาหนดเกรดโดยพจารณาความคลาดเคล�อนมาตรฐาน (SEM)

A > x + 1.5 SEM

x + 1.5 SEM > B > x + 1 SEM

x + 1 SEM > C > x – 1 SEM

x – 1 SEM > D > x – 1.5 SEM

x – 1.5 SEM > F

- 1.5 SEM – 1SEM x 1 SEM 1.5 SEM

F ADC B

37

วธการตดสนผล1. Norm references

2. Criterion references

38

การกาหนด passing score

ในการตดสนโดยใช Absolute standard – criterion reference

กาหนดเกณฑไวลวงหนา เชนตองได 60% โดยไมมพVนฐานอJน

กาหนดการเรยนรแบบเปนระบบ ผเรยนตองมความรความสามารถในพฤตกรรมทJกาหนดไวเสยกอน คอตองผานprerequisit

การกาหนดเกณฑความสามารถขVนตJาทJคดวาถาผานเกณฑนVแลวสามารถศกษาตอได –minimal passing level

Passing score : The lowest level of

Performance that will be

considered acceptable

39

นกเรยนเกง

นกเรยนออน

ผลการตดสน

ผสอบทJออนอาจไดคะแนนสงกวา เกณฑผาน

ผสอบทJเกงไดคะแนนตJากวา เกณฑผาน

การตดสนผลผดพลาด

40

เกณฑผาน - Nedelsky’s- Angof’s- Ebel’s

การตดสน

1. ขอยกเวนมไดหรอไม2. ควรอนญาตใหคนสอบตกสอบซVาหรอไม3. ผสอบผานแลวควรสอบซVาหรอไม4. เหตการณทJไมคาดฝนเกดขVน5. ควรเปลJยนเกณฑผานในการสอบแตละครVงหรอไม6. ควรใชเกณฑคะแนนผานเหมอนกนในการสอบนกเรยน

หลายกลมหรอไม

ปญหาในการตดสนผล

41

1. เตรยมอธบายวาทาไมใชเกณฑนVน2. ประเมนหรอวเคราะหขอสอบด Validity และ

reliability3. ผตดสนผลควรศกษาเปาหมายการสอบ4. การตVงเกณฑผานควรเปดเผย และมหลายคน

ชวยกน5. ใหผสอบเขาใจเหตผลการสอบ ผลการตดสน

วาเพJออะไร

ขอเสนอแนะ

ขอเสนอแนะ(ตอ)

6. เกณฑการตดสนเปนอยางไร7. รายงานผลสอบอยางสรางสรรค - คะแนนผสอบ

- คะแนนหมวดวชาตางๆ8. การหาเกณฑผานควรใหเวลาใหเพยงพอ9. ผตดสนควรมคณสมบตเหมาะสม10. ตดตามดผลการตดสน

42

Thank you