學習評量五招搞定: 學習評量設計與成果驗證
TRANSCRIPT
1
1 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章
學習評量五招搞定:學習評量設計與成果驗證
從事訓練發展工作的挑戰之一是「訓練成果什麼?」
你將瞭解運用學習評量證明學生學習效果的方法。
文 / 賴廣瑜,工研院產業學院特聘講師
從事訓練發展工作的挑戰之一是「訓練成果什麼?」拿出學習滿意
度、訓練班級數量、培訓學生人數等資料證明成果,會被出資經費的業
主或主管打臉,問道:「那些資料能代表什麼,學生有什麼改變?回到工
作會做什麼?」即使端出學生成果作品證明培訓效益,仍會被進一步檢
視學生作品和實務工作的關聯性,能否證明學生能力與表現高低。
該如何驗證訓練成果,證明學習者能學到,也能做到? 以下提出運
用職能設計職能導向課程學習評量的「五要」原則,分別是「要設能力
項目」、「要達要求水準」、「要用多元評量」、「要是個人成果」及
「要有充足證據」,前述五項原則也是提案職能導向課程認證的要求。
1. 要設能力項目
職能導向課程學習評量的目的是「識別能力」!辨別學習者具備能
力,能夠執行一項工作任務,及其對應的行為表現、技能、知識與態度。
而評量就是收集證據的過程,過程中有利害關係人參與,判斷學習者是
否達到工作場所要求的能力要求的水準。
提案職能導向課程認證不只是提供學習單元的名稱和課程大綱,需
要說明學習內容和職能之間的必要性與關聯。以美容人員培訓為例,學
習者要學習顧客溝通、膚質分析、臉部清潔與基礎保養、彩妝設計等知
識和技能,原因是美容人員要完成「完成臉部彩妝」這項工作任務,該
2
2 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章
項工作任務要展現的工作行為包括:依據顧客需求與膚質設計合適彩
妝、選用合適工具完成化妝,為展現前述工作任務與行為,因此要具備
顧客溝通、膚質分析、臉部清潔與基礎保養、彩妝設計等知識和技能。
所以學習者要學習前述知識、技能,才能夠在行為上展現能力,並完成
工作要求任務,證明所學與工作密切相關。
2. 要達要求水準
規劃職能導向課程要有「以終為始」的概念,以達到該項工作任務
能力水準作為訓練目標調整依據,讓所學符合工作要求水準。職能資料
中以能力「級別」說明能力要求水準,有了職能級別詳細的分級定義與
行為描述,在規劃培訓課程時,能夠針對不同任務目標、經驗與資歷背
景的學習對象,規劃合適學習內容。才不會發生資深主管的管理訓練,
重複出現他們在數年前擔任新任主管訓練時就上過的內容。
實務挑戰是學員具備的知能和經驗條件不足,與職能要求水準差距
太大,在有限時間與資源下,無法短時間培訓到要求的能力水準。因此,
課程需要依據學習者能力現況、經驗與先備條件,降低水準,調整學習
內容、難易程度與學習順序,避免能力水準設得太高,學習者很努力也
無法達成職能要求的窘境。
以新娘秘書培訓為例,新娘秘書要有化妝、頭髮造型與指甲彩繪的
經驗基礎,若沒有相關經驗,需要降低能力要求水準,分階段學習,先
學習入門基本功夫,再進入新娘整體造型設計的學習。
3. 要用多元評量
職能導向課程是培養完成工作任務的能力,因此要跳脫評量知識紙
筆測驗的模式。依據要達到的能力和水準,設計多元評量方法,蒐集學
習者能力表現。而學習評量經常在學習過程與實施學習活動中,蒐集完
3
3 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章
成學習成果與驗證能力。可依據教學目標,靈活運用以下表格的評量方
法與評量工具,蒐集學習成果證據。
表 學習評量方法、工具與證據
評量方法 可應用之評量工具 成果證據
1 觀察法(直接觀
察、錄影)
受評者與評量者的說明、觀
察清單、紀錄表、攝/錄影工
具
照片、錄影帶、紀
錄表、評分(量)表
2 訪談或提問 受評者與評量者的說明、問
題或題庫、對應答案
錄音/影檔案、應答
紀錄、評分(量)表
3 作品(成果、產
出…)
受評者與評量者的說明、成
果期望、產出結果評量標準
表、完成時間要求
作品、檔案、過程
(時間)紀錄表、評
分(量)表
4 專題
受評者與評量者的說明、成
果期望、產出結果評量標準
表、完成時間要求
專題報告、檔案、
評分(量)表
5
結構化活動(操
作、拆解、組
合…)
受評者與評量者的說明、紀
錄工具與使用說明
檢核表、工作日
誌、紀錄
6 檔案評量 受評者與評量者的說明、檔
案
檔案、意見回饋
表、評分(量)表
7 第三方回饋 受評者與評量者的說明、觀
察清單、回饋範本或問題
第三方報告或紀
錄、評分(量)表
4
4 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章
8 考試、測驗
受評者與評量者的說明、測
驗或考試程序、測驗卷/考
卷、設計好的考題、答案卷、
評分方案
答案卷、成績統計
表
9 深度訪談、焦點
訪談
受評者與評量者的說明、問
題或題庫、對應答案
錄音/影檔案、應答
紀錄、評分(量)表
10 調查與問卷 受評者與評量者的說明、結
構化訪談量表、問卷
問卷填答表、統計
分析表
11 學習活動紀錄
受評者與評量者的說明、紀
錄/觀察項目與說明、攝/錄
影工具
照片、影片、文件、
檔案、紀錄文件
12 個案分析
受評者與評量者的說明、個
案資料、研討問題、對應答
案
口頭回答、書面報
告、評分(量)表
13 故障(或錯誤)發
現
受評者與評量者的說明、評
量者觀察清單、受評者檢查
清單
檢查清單中指出故
障或錯誤,說明故
障或錯誤的原因,
提出改正的方法、
評分(量)表
表:賴廣瑜編輯整理
4. 要是個人成果
學習成果證據是用來佐證個別學習者培訓後確實具備某項職能的
資訊、作品或證據,因此學習成果必須是「個人」成果,才能夠驗證個
人達到的能力水準。
5
5 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章
以美容人員培訓為例,要評量學習者能夠獨立完成顧客的臉部彩
妝,學習評量方法是在課程最後進行技術實作考試,每位學習者在限定
時間內,獨立完成指定主題的臉部彩妝。過程中運用的評量工具包括:
給學員的評量標準與評量程序說明書,給評量人員的評量說明、觀察檢
核表、成績紀錄表,同時錄影化妝的過程,證實是學習者親自產出的事
證。學習者個人的學習成果則是顧客臉部彩妝的錄影/攝影檔案,以及
評量人員觀察檢核表與回饋意見。透過系統化方法,完整蒐集個人學習
成果證據,證明訓練成效。
5. 要有充足證據
學習成果證據的形式很多元,須根據評量目的、情境,以及評量項
目選擇適切方法。學習成果除了純屬知識的課程外,皆要證明學習可移
轉至行為的改變。
學習成果證據要以「直接證據」為主,「間接證據」為輔。「直接證
據」是評量者可觀察或見證的事證,例如:現場筆試或課堂實作所產生
的學習成果。「間接證據」是可供評量者在事後檢視或查驗學習者的作
品或工作樣本,例如:學習者不是在教學現場完成的報告、作品。
蒐集學習成果證據要掌握幾項要點,首先是「有效性」,能夠有效
證明學習者的能力,其次是「充足的」,有足夠的資料與資訊證明學習
者具備能力,接著是「當前的」,是在現場可觀察到的表現與證據,最
後是「真實的」,能夠證明是學習者本人所為。
訓練規劃人員在發展職能導向課程時,如同拿著天平,一方面要掌
握職能要求,另一方面要權衡學習者能力現況,適當調整教學目標,教
學方法及學習評量方式,透過蒐集成果證據的過程,確認學習者有學
6
6 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章
會、能做到,建立其自信心和成就感。學習評量也是驗證培訓單位課程
有效性的尺標,檢驗培訓課程符合就業職場需求,確實能夠培養學習者
完成工作的能力與水準。
(本文刊登於《iCAP職能發展應用平台電子報》,2015年第一期)
延伸閱讀:學習成效評量的四大誤解,《iCAP 職能發展應用平台電子
報》,2014 年 12 月 10 日。
關於作者:賴廣瑜
現職工研院產業學院特聘講師、專案研究顧問,從事職能發展、教學
設計、團隊引導工作。廣邀至企業與學校授課分享,同時擔任勞動部
職能導向認證課程講師、勞動部勞動力發展署共同核心職能講師等。
部落格:http://echostudio.blogspot.tw/