擬題、評卷、回饋的一般原則 - education bureau€¦ · 擬題注意事項 宏觀層面:...

50
擬題、評卷、回饋的一般原則

Upload: others

Post on 06-Oct-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題、評卷、回饋的一般原則

Page 2: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

2

主題

1. 擬題的一般原則

2. 評改的一般原則

3. 回饋的一般原則

Page 3: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題的一般原則

3

Page 4: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

參與擬題工作的不同崗位

擬題需要不同角色參與,以文憑試為例,包括:

試卷主席

擬題員

審題員

考評局科目經理

審核員

校對員 4

Page 5: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題程序

檢視及構思 草擬試卷 審題

審核 校對

5

擬題員

試卷主席+ 科目經理+ 擬題員+ 審題員

審核員 試卷主席+ 科目經理+ 校對員

試卷主席+ 科目經理+ 擬題員

Page 6: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題注意事項

宏觀層面: 試卷體現課程及評估目標(以高中課程為例)

http://334.edb.hkedcity.net/curriculum.php

6

Page 7: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題注意事項

宏觀層面: 試卷體現課程及評估目標(以高中課程為例)

http://334.edb.hkedcity.net/curriculum.php

7

Page 8: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題注意事項

宏觀層面: 試卷體現課程及評估目標(以高中課程為例)

http://334.edb.hkedcity.net/curriculum.php

8

Page 9: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題注意事項

宏觀層面:

試卷體現課程及評估目標(以文憑試評核為例)

http://www.hkeaa.edu.hk/tc/hkdse/assessment/a

ssessment_framework/

9

Page 11: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題注意事項

宏觀層面:

試卷體現課程及評估目標

涵蓋課程內容範圍合適(以高中課程為例)

11

Page 12: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題注意事項

宏觀層面:

試卷體現課程及評估目標

涵蓋課程內容範圍合適(以初中為例)

12

Page 13: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題注意事項

宏觀層面: 試卷體現課程及評估目標

涵蓋課程內容範圍合適

試卷整體難度達預設水平

「測驗的主要功效之一就是鑒別考生實際水平的高低,適宜難度可以加大考生得分的差異,從而提高測驗的鑒別力,項目難度的適宜值為0.5左右」

「越接近0.5,學生之間相互比較的次數就越多,試題的鑒別能力就越高」

「不能認為任何測驗項目都必須保持難度值等於0.5最好,如果每個項目的難度都等於0.5,測驗項目之間存在高度相關,即有50%的人所有題目全都答對,得滿分,另外50%的人所有題目全部答錯,得零分」

13

Page 14: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題注意事項

宏觀層面: 試卷體現課程及評估目標

涵蓋課程內容範圍合適

試卷整體難度達預設水平

「最好使測驗題的平均難度接近0.5,即在0.50.2之間,而不是要求每道題的難度值都等於0.5」

「項目難度不能一概而論,應由測驗目的確定,如果測驗的目的在於選出20%優異生,適宜難度應為0.2,如果要選出20%的差生補習,則適宜難度應為0.8」

「一般應防止被試得滿分,因為滿分的意義很不明確,我們無法了解被試的最高水平,為了解每一被試的最高水平,必須使題目的數量或難度達到一定程度」

摘錄自朱德全等主編《教育統計與測評技術》

14

Page 15: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題注意事項

宏觀層面:

試卷體現課程及評估目標

涵蓋課程內容範圍合適

試卷整體難度達預設水平

不同年份的試卷具延續性

在測試知識/理解及高階思維層面的不同試題間取得平衡

15

Page 16: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

擬題注意事項

微觀層面:

試題評核已訂定的預期學習成果

試題結構合理

試題清晰,不存歧義

盡量使試卷能分辨不同能力高下

試題長度及難度適中

分數分配及題目數量合適

評卷參考提供空間予閱卷員作出專業判斷

16

Page 17: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

評卷的一般原則

17

Page 18: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

筆試的評改程序

18

聘請閱卷員 評卷參考 樣本試卷

分配試卷 統一評卷

標準會議

閱卷員

會議

核卷

Page 19: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

評卷的質素控制

19

Page 20: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

選取樣本答卷

考試結束後,選取涵蓋不同水平表現及作答取向的樣本答卷

這些樣本答卷供統一評分尺度之用

20

Page 21: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

統一評卷標準會議

在會議上,試卷主席

了解考生於考試的實際表現

討論樣本試卷分數

同意評分原則及尺度

如有需要,修訂評卷參考

21

Page 22: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

閱卷員會議

試卷主席向閱卷員簡報個別題目的評核目標及要求

閱卷員試改樣本試卷,從而消除對評卷參考的不同詮釋

22

Page 23: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

核分

閱卷員所評改答卷由試卷主席抽樣核分

確保評分尺度一致

辨識評分尺度有否偏差

23

Page 24: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

監察評改質素

試卷主席會

檢視每一閱卷員評分統計數據 (包括評改速度、分數分布、與控制卷差異等)

細察閱卷員評改紀錄及選取已評改答卷核分

如有需要,聯絡閱卷員並進一步釐清評卷參考

24

Page 25: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

為校內評核設計評估量表

25

Page 26: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

使用評估量表的好處

減少教師評改時間,並節省為個別學生撰寫詳盡評語所需時間

有助教師更清楚辨認班內學生的強項與弱項

協助教師維持在不同時間或不同班别評改尺度一致

方便教師提供清晰回饋予學生改進學習

26

Page 27: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

設計評估量表的步驟

1. 辨清期望學生所需掌握的知識、技能及認知等

2. 設計評核任務

3. 決定以下數量:

評核範圍

表現水平

4. 撰寫水平表現描述

27

Page 28: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

不同的評估量表

28

Page 29: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

29

分析式

應用

適用於涉及不同評核範圍的評核任務

限制

把表現分割為各個個別範圍,或會忽視整體表現

格式

特點

評核考生於不同範圍的表現

總分由不同範圍的得分相加而成

每一範圍的每一等級均有表現描述

範圍

等級

等級

範圍

分數

分數

Page 30: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

30

整體式

應用

適用於需較快作出整體判斷的評核

限制

或較主觀

特點

沒有個別評核範圍

整體評核表現所屬等級

具體描述每一等級的表現特徵

整體表現的描述 格式

…..

……

…….

……….

等級

分數

Page 31: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

何時適用分析式評估量表

適用於需就不同題目維持評分尺度一致的評核

提供足夠回饋予學生

指明個別強項與弱項

31

Page 32: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

何時適用於整體式評估量表

評核任務並不設單一答案或固定回應

重點在整體質素、流暢程度或對特定內容/

技能的理解

32

Page 33: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

分析式評估量表(如文憑試英文科)

Paper 2 – Writing

33

Content Language Organization

Mark

s

Page 34: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

整體式評估量表(如文憑試中史科)

34

Page 35: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

回饋的一般原則

35

Page 36: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

提供回饋的目的 (就學生而言)

了解個別學生的學習狀況

了解個別學生的強項與弱項

了解下一個學習目標及如何達致此目標

改善學習(知識、態度、技能等)

加強學習效率,建立自信等

36

Page 37: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

定期檢視及修訂日常課堂教學(如學習目標、課程設計、課堂內容等)

評估教學效率 (如課程設計、組織、課堂效率、評估政策等)

改進表現管理

37

提供回饋的目的 (就教師而言)

Page 38: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

提供回饋的途徑

教師對學生的回饋

眉批學生作品

就學生的強項與弱項撰寫總結性評語

向全班說明他們的表現

就全班表現,提供書面的綜合性評價,並附上示例

就不同回應模式提供具體的評改指引,讓學生可就其強項與弱項與評改準則加以對比

38

Page 39: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

有用的回饋

學生作品特點的描述(做到了什麼/尚未做到什麼)

按評改準則及標準,提供評語,說明作品的某些特點如何提高或影響了作品的質素

建議改進的途徑

鼓勵性評語

39

http://www.flinders.edu.au/teaching/teaching-strategies/assessment/feedback/feedback-comments.cfm

Page 40: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

提供回饋的工具

清單

具評語的示例

評估量表

40

Page 41: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

清單

41 http://www.ncsu.edu/midlink/mm2002_rubric.kids.pdf

Page 43: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

評估量表

43

Page 45: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

考評局提供的回饋

質化:

試後教師研討會

說明各題要求及評改標準,提供改善建議

考生表現示例

說明不同等級的標準及要求http://www.hkeaa.edu.hk/DocLibrary/HKDSE/Subje

ct_Information/lib_st/Sample2012-ls.pdf

校本評核調分報告

學校統計報告(付費服務)

45

Page 46: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

學校統計報告 – 內容

內容

1.1 成績摘要

1.2 一般成績統計

1.3 最佳五科的成績表現

1.4 符合副學位課程入學要求/應徵有關公務員職位的成績統計

1.5 符合大學或院校入學要求的成績統計

2 甲類學科成績

3 網上評卷科目的項目分析

4 多項選擇題分析

Page 47: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

樣本 成績摘要 符合大學或院校入學要求的成績統計

網上評卷科目的項目分析 多項選擇題分析

甲類學科成績

Page 48: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

48

校內評估政策

討論並同意如何在「評核促進學習」Assessment for Learning與「評核所學」Assessment of Learning之間取得平衡;

根據課程計畫訂下評核目標

同意如何收集學生學習的證據

同意如何記錄及儲存評核結果,以及如何回饋以促進學生學習

Page 49: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

49

校內評估政策

根據評估政策,訂下年度評核計畫,從而使教師可:

辨認不足之處,並反映在日常評核活動,如會否透過回饋改進教學計畫,是否重視評核促進學習

檢視評核目標是否達到,而學生亦清楚評核目標

Page 50: 擬題、評卷、回饋的一般原則 - Education Bureau€¦ · 擬題注意事項 宏觀層面: 試卷體現課程及評估目標 涵蓋課程內容範圍合適 試卷整體難度達預設水平

50

校內評估政策

應定期檢視評估政策及其施行,從而使評核能經常提供有用及適時的回饋,供檢視課程及學與教過程