curriculum-based assessment (cba) 課程為本的評估home.ied.edu.hk/~psmcd/2012-13...

小學課程統籌主任培訓課程Curriculum-based Assessment (CBA)

課程為本的評估

第三講：運用評鑑數據改進學校課程

講者：顏明仁博士 (Dr NGAN Ming Yan)課程與教學學系

1

本講內容

1. 當代評估學生學習的趨向—善用數據

2. 實踐促進學習的評估原則與有效策略，例如善用評估數據，照顧學習差異等

3. 籌建校本評估政策和恰當處理BCA &TSA

課前閱讀 CEA@Islington Quality Statement on Assessment Practice (Primary)http://www.european-agency.org/agency-projects/assessment-resource-guide/documents/2008/10/CEA_Islington.ok.pdf/at_download/file

◎ NGAN Ming Yan 2013 2

善用評估結果


摘自2006將軍澳某校「校外評核報告」

2. 學校的自評工作學校重視自評工作，對自我評核抱持積極正面的態度，認同自評能促進學校發展。學校有系統地推動全校參與，安排教師參加由教育統籌局舉辦的研討會、工作坊及參與網上自學課程，並透過與屬會學校分享，於教師專業發展日舉行自評分享會等，讓全體教師掌握自評的理念和方法，能有效促進自評文化的建立。學校設立「學校改善小組」，協調及統當各組別的策劃及評核工作，並分析評核數據，整體檢視學校關注事項工作的進展及成效。小組成員來自不同組別，有助掌握、協調及檢視各項發展工作。

教育局強調◎ NGAN Ming Yan 2013 5

評核資料的運用 6

摘自嘉諾撒小學周年校務計劃書2006至2007年度

教育局強調


1. 當代評估學生學習的趨向現時是如何評估學生的？評估是什麼？要注意什麼？

讓我們一起熱身……


工作1

當代的評核工作要注意

學期初學期終結

期終考試

1. 利用進展性評核促進學習2. 教師在日常教學評核學生3. 利用評核結果回饋學與教4. 採用多元化的評核策略5. 讓學生參與評核 —— 自我評核6. 定期向家長匯報學生的學習態度

成果和進展


評估三角

認知

觀察詮釋

學習理論領域的知識和技巧

給學生的任務和情況，讓他們實習和顯示他們的知識和技巧。

給學生學習方法和工具，幫助他們理解所觀察到的，包括正式的和非正式的觀察。

National Research Council (2001). Knowing what students know: The science anddesign of educational assessment. National Academy Press: Washington:DC.

ObservationsInterpretation

Cognition


觀察Observations

詮釋Interpretation

認知 Cognition /表現 Performance

評估三角 Assessment Triangle整理自 Borich & Tombari (2004, p.2)；Pellegrino, Chudowsky & Glaser (2001)

1. 如何逐步培養其認知能力？

1. 正式和非正式2. 課堂的情境安排3. 學習任務安排

1. 找出意義2. 對學習者和

內容的決定做判斷


好的評估都與這三項元素聯繫

每一項評估:− 都是基於一個理論：就是人們如何學習，學習甚麼，和如何將

他們的知識與技巧隨時間而持續發展（與時並進）− 能夠使假設具體化，讓任務引導示範學生所知道和能夠做的− 都是基於假設，能夠解釋結果，從而獲得有意義的推論，明白

學生知道甚麼和能夠做甚麼

認知

觀察詮釋


規劃教學Planning Instruction

講授教學Delivering Instruction

評估學生學習成果Assessing PupilOutcomes

考慮1. 教育目標2. 教材3. 教學活動和策略4. 評估

考慮1. 學生特性（已有知識、先決技能和知識、工作習性和社化、特殊

需要，學習風格、文化／語言差異，弱能）2. 教師特性（內容知識、教學方法的偏愛、評估偏愛，物理限制）

3. 教學資源（官方課程，時間，教材和教學套、技術、同儕和行政支援，其他資源如空間、用具和設備）

（整理自 Airasian, 1997, pp.66 & 76；2005, p.60）◎ NGAN Ming Yan 2013 14

規劃教學Planning Instruction

講授教學Delivering Instruction

1. 診斷性評估2. 安置性測試3. 單元／教課節目標4. 詞彙

（譯自 Airasian, 1997, p.87; 2005）

1. 預覽提問2. 課節概覽3. 教學提議4. 教學提問5. 教學活動6. 圖表7. 海報、遊戲、實驗8. 視聽教材9. 總覽

1. 家課作業2. 作業、工作紙3. 增強活動4. 準備多份原稿5. 覆習練習。提問6. 評估操練

1. 單元、課節評估2. 定期、定量評估3. 授課畢時的評估

評估學生學習成果Assessing PupilOutcomes

5. 所需材料6. 帶引活動的意念7. 年度進行圖表


現今的評估重心改變為：

較不重視較重視1. 量化的評估2. 評估抽象知識3. 評估科學知識4. 評估學生在學習後還有甚

麼不知道5. 在學習後評估6. 總結性評估7. 由專家發展評估

1. 評估較重要的部分2. 評估豐富的、具結構性的

知識3. 評估科學的理解和推理4. 評估學生從學習中了解了

甚麼5. 在學習中和學習後評估6. 形成性評估7. 教師參與評估的發展

見顏明仁(2011，頁135)


重溫三種評估的方式• 對學習的評估 Assessment of Learning (AoL)～=總結性評估 Summative Assessment

• 促進學習的評估 Assessment for Learning (AfL)～=進展 (形成)性評估 Formative Assessment

• 評估即學習（學會學習的評估） Assessment as

Learning (AaL)

OF

FOR

AS

n依據數據作決策n以數據作為象徵

(symbolic) 和以此交待 (justify) 所作決策或支持之預設立場，對所做合理化

u回饋教學u促進學生學習的有效工具u與日常教學實踐和學習活動結合在一起


重溫 AoF, AfL, AsL 的關注點

關注點對教和學的提問使用的策略AoL對學習的評估

辨識學生成就水平

標準 (Standard)l 採用什麼標準？l 針對標準，如何發展有效

可信的測量工具？成就 (Achievement)l 學生學曉了什麼？l 在這時刻，學生已經到達

什麼標準？

總結性評核l 學年結束的考試l 單元結束時做測驗l 公開考試成績評核工具l 能分出高下的量表l 常模表

見顏明仁(2011，頁38)


AoF, AfL, AsL 的關注點 (續)關注點對教和學的提問使用的策略

AfL促進學習的評估

辨識學生於這時刻與欲追求達致的水平間的差距

目標 (Goal)l 目標是什麼？l 依據學習目標和經由評核取得的證

據，學生是否有需要修正，為什麼及要如何修正？

學習l 學生習得了什麼？l 對未來的學習，現時的學習量是否

足夠？為什麼是？為什麼不是？差距 (Gap)l 學習和成就之間存在差距，究竟是

什麼？在哪兒？為什麼？l 要拉近差距，教和學要如何改變？l 要如何給回饋，以支持下一步的學

習？資源l 要如何發動家長、伙伴、學科專家

和社會精英一起做支援學習的工作？l 如何去建造促進學習的評估文化？

進展性評核l 課堂提問和回饋l 同儕教學和小組工作l 單元內的工作紙l 對工作和策略，不予評定等級，只

作回饋評核工具l 中英數及各科，可以分出高下的量

表l 羅氏測量 (Rasch Measurement)l 學生問題表分析 (Student Problem

Chart)l 針對語文的閱讀分級系統，如Lexile

Framework資源l 全校參與l 把伙伴視作資源之一l 家長的有系統參與l 外界來自大學、政府及社會的專家l 網上或電腦評估與匯報發展l 教師和家長


AoF, AfL, AsL 的關注點 (續)關注點對教和學的提問使用的策略

AsL評估即學習

學生的元認知，動機、自評和互評

自主學習 (Self-directed Learning)l 要如何發展學生辨識和發展

學習目標的能力？l 如何建立對現在和未來學習

的規劃能力？l 要如何使學生產生(engender)

和得到持久和實在，追求學習特性的動機？

l 如何發展要求援手的能力？元認知 (Metacognition)l 要如何發展元認知和提升自

我警覺力？l 如何發展自我監察、自評和

自律的能力？l 如何發展去辨識學習目標和

成就差距，以及求精進、落實行動的能力？

評估即學習l 自我反省（self-refection）l 朗聲思維（think aloud）l 教師做榜樣l 對反省不予評等級，只作口

頭和書面回饋評核工具l 書面記錄（Book Log）和作

品集（journal）等資源l 家長、外界專家、政府及社

會的專家的有系統參與l 電子作品集（e- journal）發展l 教師和家長


從各研究中習得……

• 教學前，清楚理解 + 學習期望 (Wylie, Lyon, & Goe, 2009)

• 教學中，監察 (monitor) + 調整 (adjust) 進展 + 讓學生知悉自己的學習表現 (Siggins & Chappius, 2005; Wylie, Lyon, & Goe, 2009)

• 回饋與以下三者有關：認出要達致的目標、學生現時達到的水平、理解到如何把這兩者落差拉近 (Black & Wiliam, 1998)

Wylie, E. C., Lyon, J. L., & Goe, L. (2009). Teacher professional development focused on formative assessment: Changing teachers,changing schools. Princeton, NJ: Educational Testing System.Stiggins, & Chappius (2005). Putting testing in perspective: It’s for learning. Principal Leadership, 6(2), 16-20.Black, P., & Wiliam, D. (1998). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan, 80(2),139-148.


我們所面對的挑戰將會是……

問責和學習存在如何的關係？


校內領袖的角色朝向……

Henry, Stephanie Stewart (2011). Principals' use of Assessment Data to DriveStudent Academic Achievement. CA: California State University, Fullerton. DoctoralTheses.

打好份工 (Doing a job well)資源運用 (Resources)

教學策略 (Pedagogical Strategies)最好的做法 (Best Practices)

學生的學習成果(Student Learning Outcomes)

l 依成績來作學校改善l 找有意義的數據，依此設

定要達成的表現目標，分配資源，有意義地展示數據

教學領袖做決策時要考量的六項成因：1) 獲得數據; 2) 數據反映什麼; 3)依收據對課程作的調校;4) 課程設計，如開展干預或抽出未符理想表現學生；5) 進展性的回饋；6) 考核的準備


2. 實踐促進學習的評估原則與有效策略……促進學習的評估原則是……

與學生學習有何關係？


重溫促進學習的評估十原則

1. 應是教與學規劃的組成部分。

2. 須以學生如何學習為焦點。

3. 應是課堂教與學的重心。

4. 應是教師必須掌握的專業技能之一。

5. 應能顧及學生的情感並有建設性作用。

6. 須能增強學生的學習動機。

7. 應能加強學生邁向學習目標的決心和對所受評估的標準的理解。

8. 教師應積極指導學生如何改進。

9. 應能讓學生發展自我評估的才能。

10.應能確認所有學生的全部學習成就

ARG, 2002 ◎ NGAN Ming Yan 2013 25

原則 2採用多樣化的評估方法

原則 3選擇對學習有利的評估

方法

原則 4謀求同事通力合作

原則 6讓學生參與

原則 9以反饋輔導學生學習

原則 5持續

評估學生

原則 10分析和報告學生成績

原則 7以評估了解學生的學習

原則 8讓學生知道評估準則

學生的角色

教師的角色

原則 1

支援課堂實踐的「以評估促進學習」模式

張淑賢 (Berry, R.) (2007).《以評估促進學習》。 In 梁佩雲、張淑賢 (Berry, R.)編著 (2007)《導向學習的評估促－教育實務匯編》。香港：香港大學出版社。

Chapter 2


評估要回歸教室，就要注意：

1. 教師應該要試行找出學生不單習得了甚麼和未學習到甚麼，還應找出他們是如何習得和未能學到。

2. 教師要用直接和有效的方法評定較高水平的學習成果。

3. 教師要使用評估結果來改進教學決定、強化教材和教學策略。

4. 教師要讓學生在更為廣泛的情境中展示已習得甚麼。

1. Teachers must figure out notonly what is and is not learned,but also how it is and is notlearned.

2. Teachers must find ways toassess, as directly and accuratelyas possible, higher-leveleducational outcomes.

3. Teachers must use the results ofassessment to informinstructional decisions andenhance instructional materialsand strategies.

4. Teachers must require studentsto demonstrate what they havelearned in a wider variety ofcontexts.

參考自Gallagher (1998, p.5)


正式 + 非常規評估 Formal + Informal Assessments

觀察 Observations 提問 Questions

基本提問1. 評估中要取得甚麼 (WHAT)資訊？2. 這些資訊要如何 (HOW)蒐集？3. 這些資訊最終會如何 (HOW) 使用和

誰人(WHO) 會使用他？

學生有獨特性，不能常規化四種假設1. 人都各有學習經歷2. 人都能有建設性地結合舊經驗於

有意義的學習處境3. 人要受到尊重和在積極的人際交

往環境下始會學習4. 學習不會如編定的劇本般持續發

生。反之只在情境與人性相關及凸出意義下始會自然成長。

Journaling / Reflection logQuestioningPerformance profileObservational checklistsSelf-assessment

意念取自 Banks (2005, pp.94-113) ◎ NGAN Ming Yan 2013 28

教師會：

支持的環境Supportive Environment

消極的環境Negative Environment

1.以輕鬆和開放的態度與學生交往2.倡導學生與學生之間合作3.鼓勵自由交換想法4.定義清楚對學生的期望5.持續一貫展示追求班內學生有成6.給學生有效回饋7.對學生表現有積極的期望8.經常在班上巡視及與學生交往

1.為難在測驗或班上討論犯錯的學生

2.就學生的評估表現，指責學生

3.鼓勵學生在評估中，互相競爭

4.公然干涉或控制學生各方面的行為

5.對學生請求有不當的反應

創造一個積極環境 (Creating a Positive Environment)

意念取自 Banks (2005, pp.279-280)◎ NGAN Ming Yan 2013 29

在教室中要做到

評估方法或策略[蒐集學生成就和表現資料用以改進學生學習]

評等第之一但不視作常規的(Informal)

溝通方法或策略[讓學生和家長及相關人士知悉在學習歷程中有什麼已經達到和下一步要怎樣走]

進展性

總結性

評鑑方法或策略[對質素，價值或寶貴的反應做判決]

評等弟並視為正式的 (formal)

1. 學生剖析 (profile)2. 個人溝通3. 個人學習計劃4. 學習檔案5. 學生自我反省/反思6. 慶祝學習 (celebration

of learning)7. 學生領導的會議

(student-led conference)

成績表

意念取自 Alberta Assessment Consortium Resource http:www.aac.ab.ca/aboutqa.htm l◎ NGAN Ming Yan 2013

30

分析評估數據……

貴校現時是如何分析評估數據？


進行工作 2

評鑑評核數據以改進課程的架構

考慮學生的學習需要

理想的學習成果

Desired LearningOutcomes

回饋和評鑑

評核

學習活動課程中的基本概念、技能和態度等

籌劃

實施

評鑑和改進


使用評估數據的障礙基本 (foundational)• 問責 (accountability) →

怕有錯失、不欲公開• 遵守政策要求 + 避免

處分←→增強學生學習

• 時間有限• 為改善學校或促進學

生學習，對校長認知評估數據的準備不足，接受的訓練不夠

技術 (technical)• 未能對學生作長時間

的跟進• 學生的展現的分數，

未能與入學時的能力、畢業和進入勞力市場成果對比

• 對教師未能提供學生的經歷和表現的指標

• 時間有限• 以數據來驅動改善學

校的不多

文化 (cultural)• 教師要心安、安才能

定，定才能進• 欠分析數據傳統或經

驗/ 對數據有錯誤的看法/

• 上有政策、下有對策• 多認為題項分析耗時/

認同以數據來改進學習者鮮

• 學得不好是學生責任，對教師自己……

改編自 Henry, S.S. (2011). Principals' use of Assessment Data to Drive Student Academic Achievement. CA:California State University, Fullerton. Doctoral Theses.


分析數據時不能忽視：

不能分開

學習的環境評核的環境

傳統的評核真正的評核實作評核


評估數據的類別

學生個人資料 (Demographic)學校處理或課程 (School processes/ progrm)學生學習或成就 (Student learning/ achievement)感知 (perceptions)

每年或大型的數據—總結性的 (Annual ,large-scale data - Summative)定期的數據— 用作總結或進展的 (Periodicdata, eg., school-wide benchmark exams – usesummatively or formatively)持續的教室數據—本質是進展性的(ongoing data – formative in nature)

估計學生進度、概念理解和能力

為學生表現和能否掌握，提供資料

學校改進


分析評核數據要基於：

1. 校本評核政策：多元化模式

2. 校本評核政策：評核標準

3. 校本評核政策：評核數據分析及理解

評核回饋要能做到：

1. 修訂教學策略

2. 針對學生弱點，設計學習活動，拉近差距


核心的評核提問：1. 測考試卷或評核活動的內容是否配合平時所教所學？

2. 有否透過測考工具以評核教師的教學？

3. 測考試卷或評核活動有沒有清楚的評核重點？

4. 除了打分外，評核有否反映學生的多元表現？

5. 評核後，有否做分析，以及找出學生的強項或學習困難之處？

6. 有否利用評核所得的發現來改善未來教學？


獲得資料的方法觀察學生－包括聆聽他們有關作業和理解的陳述理由

發問－以開放的問題、言詞，鼓勵學生探索他們的想法和理解

設定課業，要求學生運用哪些技巧或應用某些想法

要求學生透過繪圖、人工作品、活動、角色扮演、概念性繪圖、和書寫等與人作思想交流

…

Black & Wiliam, Beyond the Black Box◎ NGAN Ming Yan 2013 40

評鑑評核數據以改進課程需要的工具

量化工具

1. 試算表

2. SP表 (Student ProblemChart Analysis)

3. SPSS 或其他統計程式

4. Winsteps5. …….

仍要依賴教師做分析及提對策

教師、教師、教師

從評核中取得的數據只是一堆死物，它不具有意義。教師必須要分析數據及詮釋其背後的意象，從而找出促進學習、改進教學、以及優化課程的建議，教師才會越教越滿足。


工作 3

學習成果(知+能+態)學校課程:

知識內容共通能力學習態度

BasicCompetencies

HKATBCATSA

善用評核結果•評核為了改善教學

•「基本能力」是根據課程的要求，訂定學生在不同的學習範疇及學習階段必須掌握的能力和知識

•學生基礎已經穩固/優異，將注意力移離基本能力，

協助學生學得更好、更闊，以及經驗更多的學習活動

提升學習


認清弱項努力改進—BCA n TSA

• 切勿機械式地、片面地或獨立看待全港性系統評估的數據

• 全港性系統評估只是向教師反映教學成效，了解學生學習能力的一種補充資料

• 學校層面:校方必須將這結果與校內的其他資料結合參照，才能有效地解讀評核資料

• 教師層面:整體成績背後，會有相當的數據，顯示那些方面需要改善。教師能透過數據，深入了解學生的狀況，從而改進教學策略


3. 如何在學校課程和評估政策中恰當處理TSA

由校內到校外……


校內評核分析舉隅

運用評鑑數據改進學校課程以下例子部份乃修改或採自「小學學位教師(課程發展)培訓課程」2002至2005年網上資源

< http://www.edb.gov.hk/index.aspx?nodeID=3155&langno=2>以及教育局 XXX及某校同工於 2007於教育學院講學時之投影片


運用TSA 分析改進教學

運用公開評鑑數據改進學校課程以下例子部份乃修改或採自「小學學位教師(課程發展)培訓課程」2002至2005年網上資源



工作 6

校本評核(School-based Assessment)

• 紙筆 + 非紙筆評核

• 評核後的回饋

基本能力評估

TSA


有效使用基本能力評估資料以配合教與學

學生的情況？（分析ＴＳＡ資料）

學生有否概念和技巧

環境因素：方法與課

程

整理課程與適時管

理

教導學生概念與技巧

ＢＣＡ

在線試題立即回饋

評估促進學習

校內總結性評估（與分析ＴＳＡ資料相同）


• 分析評核資料

•從小至大

•多角度

•保持批判性

• 分析評核資料

•從小至大

•多角度

•保持批判性

通過分析數據以改進課程通過分析數據以改進課程


◎ NGAN Ming Yan 2013

可能的組織安排

81

分析評估數據來促進教與學分析評估數據來促進教與學

工作

1. 透過不同方法收集學生學習表現

2. 善用資料了解學生學習表現

跟進

1. 因應學生不同的能力表現，設置合適

的學習活動

2. 找出學生學習難點，調整學與教的策

略和方法，安排輔導或支援活動

工作

1. 透過不同方法收集學生學習表現

2. 善用資料了解學生學習表現

跟進

1. 因應學生不同的能力表現，設置合適

的學習活動

2. 找出學生學習難點，調整學與教的策

略和方法，安排輔導或支援活動


校內評核數據分析運用舉隅

再回看運用校內評鑑數據改進學校課程以下例子部份乃修改或採自「小學學位教師(課程發展)培訓課程」2002至2005年網上資源



工作 8

就促進學習而言，以下的分析有意義嗎？

再思考


參考香港學校的一些做法


如果有題項分析+

多運用 SPSS 或 WINSTEPS

要認清每一題是在考核什麼學習成果


建立和修正校內評核政策

運用評鑑數據改進學校課程以下例子部份乃修改或採自「小學學位教師(課程發展)培訓課程」2002至2005年網上資源



工作 9

工作10

若要發展校內評核政策，對以下人士，你會提出甚麼問題

• 班主任• 科主任• 輔導主任/ 特殊教育老師或主任• 課程統籌主任• 校長

135

curriculum-based assessment (cba) 課程為本的評估home.ied.edu.hk/~psmcd/2012-13...

Documents