學習評量五招搞定: 學習評量設計與成果驗證

6
1 1 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章 學習評量五招搞定:學習評量設計與成果驗證 從事訓練發展工作的挑戰之一是「訓練成果什麼?」 你將瞭解運用學習評量證明學生學習效果的方法。 文 / 賴廣瑜,工研院產業學院特聘講師 從事訓練發展工作的挑戰之一是「訓練成果什麼?」拿出學習滿意 度、訓練班級數量、培訓學生人數等資料證明成果,會被出資經費的業 主或主管打臉,問道:「那些資料能代表什麼,學生有什麼改變?回到工 作會做什麼?」即使端出學生成果作品證明培訓效益,仍會被進一步檢 視學生作品和實務工作的關聯性,能否證明學生能力與表現高低。 該如何驗證訓練成果,證明學習者能學到,也能做到? 以下提出運 用職能設計職能導向課程學習評量的「五要」原則,分別是「要設能力 項目」、「要達要求水準」、「要用多元評量」、「要是個人成果」及 「要有充足證據」,前述五項原則也是提案職能導向課程認證的要求。 1. 要設能力項目 職能導向課程學習評量的目的是「識別能力」!辨別學習者具備能 力,能夠執行一項工作任務,及其對應的行為表現、技能、知識與態度。 而評量就是收集證據的過程,過程中有利害關係人參與,判斷學習者是 否達到工作場所要求的能力要求的水準。 提案職能導向課程認證不只是提供學習單元的名稱和課程大綱,需 要說明學習內容和職能之間的必要性與關聯。以美容人員培訓為例,學 習者要學習顧客溝通、膚質分析、臉部清潔與基礎保養、彩妝設計等知 識和技能,原因是美容人員要完成「完成臉部彩妝」這項工作任務,該

Upload: -echo-lai

Post on 20-Aug-2015

166 views

Category:

Education


1 download

TRANSCRIPT

Page 1: 學習評量五招搞定: 學習評量設計與成果驗證

1

1 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章

學習評量五招搞定:學習評量設計與成果驗證

從事訓練發展工作的挑戰之一是「訓練成果什麼?」

你將瞭解運用學習評量證明學生學習效果的方法。

文 / 賴廣瑜,工研院產業學院特聘講師

從事訓練發展工作的挑戰之一是「訓練成果什麼?」拿出學習滿意

度、訓練班級數量、培訓學生人數等資料證明成果,會被出資經費的業

主或主管打臉,問道:「那些資料能代表什麼,學生有什麼改變?回到工

作會做什麼?」即使端出學生成果作品證明培訓效益,仍會被進一步檢

視學生作品和實務工作的關聯性,能否證明學生能力與表現高低。

該如何驗證訓練成果,證明學習者能學到,也能做到? 以下提出運

用職能設計職能導向課程學習評量的「五要」原則,分別是「要設能力

項目」、「要達要求水準」、「要用多元評量」、「要是個人成果」及

「要有充足證據」,前述五項原則也是提案職能導向課程認證的要求。

1. 要設能力項目

職能導向課程學習評量的目的是「識別能力」!辨別學習者具備能

力,能夠執行一項工作任務,及其對應的行為表現、技能、知識與態度。

而評量就是收集證據的過程,過程中有利害關係人參與,判斷學習者是

否達到工作場所要求的能力要求的水準。

提案職能導向課程認證不只是提供學習單元的名稱和課程大綱,需

要說明學習內容和職能之間的必要性與關聯。以美容人員培訓為例,學

習者要學習顧客溝通、膚質分析、臉部清潔與基礎保養、彩妝設計等知

識和技能,原因是美容人員要完成「完成臉部彩妝」這項工作任務,該

Page 2: 學習評量五招搞定: 學習評量設計與成果驗證

2

2 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章

項工作任務要展現的工作行為包括:依據顧客需求與膚質設計合適彩

妝、選用合適工具完成化妝,為展現前述工作任務與行為,因此要具備

顧客溝通、膚質分析、臉部清潔與基礎保養、彩妝設計等知識和技能。

所以學習者要學習前述知識、技能,才能夠在行為上展現能力,並完成

工作要求任務,證明所學與工作密切相關。

2. 要達要求水準

規劃職能導向課程要有「以終為始」的概念,以達到該項工作任務

能力水準作為訓練目標調整依據,讓所學符合工作要求水準。職能資料

中以能力「級別」說明能力要求水準,有了職能級別詳細的分級定義與

行為描述,在規劃培訓課程時,能夠針對不同任務目標、經驗與資歷背

景的學習對象,規劃合適學習內容。才不會發生資深主管的管理訓練,

重複出現他們在數年前擔任新任主管訓練時就上過的內容。

實務挑戰是學員具備的知能和經驗條件不足,與職能要求水準差距

太大,在有限時間與資源下,無法短時間培訓到要求的能力水準。因此,

課程需要依據學習者能力現況、經驗與先備條件,降低水準,調整學習

內容、難易程度與學習順序,避免能力水準設得太高,學習者很努力也

無法達成職能要求的窘境。

以新娘秘書培訓為例,新娘秘書要有化妝、頭髮造型與指甲彩繪的

經驗基礎,若沒有相關經驗,需要降低能力要求水準,分階段學習,先

學習入門基本功夫,再進入新娘整體造型設計的學習。

3. 要用多元評量

職能導向課程是培養完成工作任務的能力,因此要跳脫評量知識紙

筆測驗的模式。依據要達到的能力和水準,設計多元評量方法,蒐集學

習者能力表現。而學習評量經常在學習過程與實施學習活動中,蒐集完

Page 3: 學習評量五招搞定: 學習評量設計與成果驗證

3

3 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章

成學習成果與驗證能力。可依據教學目標,靈活運用以下表格的評量方

法與評量工具,蒐集學習成果證據。

表 學習評量方法、工具與證據

評量方法 可應用之評量工具 成果證據

1 觀察法(直接觀

察、錄影)

受評者與評量者的說明、觀

察清單、紀錄表、攝/錄影工

照片、錄影帶、紀

錄表、評分(量)表

2 訪談或提問 受評者與評量者的說明、問

題或題庫、對應答案

錄音/影檔案、應答

紀錄、評分(量)表

3 作品(成果、產

出…)

受評者與評量者的說明、成

果期望、產出結果評量標準

表、完成時間要求

作品、檔案、過程

(時間)紀錄表、評

分(量)表

4 專題

受評者與評量者的說明、成

果期望、產出結果評量標準

表、完成時間要求

專題報告、檔案、

評分(量)表

5

結構化活動(操

作、拆解、組

合…)

受評者與評量者的說明、紀

錄工具與使用說明

檢核表、工作日

誌、紀錄

6 檔案評量 受評者與評量者的說明、檔

檔案、意見回饋

表、評分(量)表

7 第三方回饋 受評者與評量者的說明、觀

察清單、回饋範本或問題

第三方報告或紀

錄、評分(量)表

Page 4: 學習評量五招搞定: 學習評量設計與成果驗證

4

4 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章

8 考試、測驗

受評者與評量者的說明、測

驗或考試程序、測驗卷/考

卷、設計好的考題、答案卷、

評分方案

答案卷、成績統計

9 深度訪談、焦點

訪談

受評者與評量者的說明、問

題或題庫、對應答案

錄音/影檔案、應答

紀錄、評分(量)表

10 調查與問卷 受評者與評量者的說明、結

構化訪談量表、問卷

問卷填答表、統計

分析表

11 學習活動紀錄

受評者與評量者的說明、紀

錄/觀察項目與說明、攝/錄

影工具

照片、影片、文件、

檔案、紀錄文件

12 個案分析

受評者與評量者的說明、個

案資料、研討問題、對應答

口頭回答、書面報

告、評分(量)表

13 故障(或錯誤)發

受評者與評量者的說明、評

量者觀察清單、受評者檢查

清單

檢查清單中指出故

障或錯誤,說明故

障或錯誤的原因,

提出改正的方法、

評分(量)表

表:賴廣瑜編輯整理

4. 要是個人成果

學習成果證據是用來佐證個別學習者培訓後確實具備某項職能的

資訊、作品或證據,因此學習成果必須是「個人」成果,才能夠驗證個

人達到的能力水準。

Page 5: 學習評量五招搞定: 學習評量設計與成果驗證

5

5 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章

以美容人員培訓為例,要評量學習者能夠獨立完成顧客的臉部彩

妝,學習評量方法是在課程最後進行技術實作考試,每位學習者在限定

時間內,獨立完成指定主題的臉部彩妝。過程中運用的評量工具包括:

給學員的評量標準與評量程序說明書,給評量人員的評量說明、觀察檢

核表、成績紀錄表,同時錄影化妝的過程,證實是學習者親自產出的事

證。學習者個人的學習成果則是顧客臉部彩妝的錄影/攝影檔案,以及

評量人員觀察檢核表與回饋意見。透過系統化方法,完整蒐集個人學習

成果證據,證明訓練成效。

5. 要有充足證據

學習成果證據的形式很多元,須根據評量目的、情境,以及評量項

目選擇適切方法。學習成果除了純屬知識的課程外,皆要證明學習可移

轉至行為的改變。

學習成果證據要以「直接證據」為主,「間接證據」為輔。「直接證

據」是評量者可觀察或見證的事證,例如:現場筆試或課堂實作所產生

的學習成果。「間接證據」是可供評量者在事後檢視或查驗學習者的作

品或工作樣本,例如:學習者不是在教學現場完成的報告、作品。

蒐集學習成果證據要掌握幾項要點,首先是「有效性」,能夠有效

證明學習者的能力,其次是「充足的」,有足夠的資料與資訊證明學習

者具備能力,接著是「當前的」,是在現場可觀察到的表現與證據,最

後是「真實的」,能夠證明是學習者本人所為。

訓練規劃人員在發展職能導向課程時,如同拿著天平,一方面要掌

握職能要求,另一方面要權衡學習者能力現況,適當調整教學目標,教

學方法及學習評量方式,透過蒐集成果證據的過程,確認學習者有學

Page 6: 學習評量五招搞定: 學習評量設計與成果驗證

6

6 《iCAP 職能發展應用平台電子報》職能導向課程設計專欄文章

會、能做到,建立其自信心和成就感。學習評量也是驗證培訓單位課程

有效性的尺標,檢驗培訓課程符合就業職場需求,確實能夠培養學習者

完成工作的能力與水準。

(本文刊登於《iCAP職能發展應用平台電子報》,2015年第一期)

延伸閱讀:學習成效評量的四大誤解,《iCAP 職能發展應用平台電子

報》,2014 年 12 月 10 日。

關於作者:賴廣瑜

現職工研院產業學院特聘講師、專案研究顧問,從事職能發展、教學

設計、團隊引導工作。廣邀至企業與學校授課分享,同時擔任勞動部

職能導向認證課程講師、勞動部勞動力發展署共同核心職能講師等。

部落格:http://echostudio.blogspot.tw/