運用校務分析進行自我評...

運用校務分析進行自我評鑑與持續改進

1

104年12月17日王麗雲主任至輔大演講資料，引用請標註出處，以尊重講者智慧財產權

個人背景

公費留學教育評鑑學門

高等考試及格

國中英語教師

師大教育系學士碩士、哈佛大學教育碩士博士

2006Data Institute

臺灣高等教育整合資料庫計畫主持人

畢業生流向調查

高教師生調查(大一、大三、大專教師)

教師資料庫整合系統主持人

高教評鑑中心研究發展處處長

新北市國民中小學校務評鑑計畫主持人

問卷調查

知識管理平台

2


報告重點

校務研究

自我評鑑

校務研究與自我評鑑

3


校務研究4


敬請參考

《大專校院校務研究與資料庫應用》

5


何以致此？

如果學者專家這麼會研究，怎麼會讓高等教育變成這樣？

如果學者專家所來自的高等教育變成這樣，我們還能相信學者專家改變社會嗎？

如果教授自顧不暇，自身難救，能指望他們救學生嗎？

知識殿堂所知甚多，但缺乏自我認知與改變動機，生存基礎早已悄悄崩壞卻不自知

6


苦日子來了？！

高等教育機構經營的重點與挑戰，較以往更為複雜，各界的期望與責難也更甚以往。

本於資料與證據，作為高等教育機構決策與前瞻規劃的參考更為重要。

本應重視數據的高等教育，正遭受忽視數據的苦果。

data→information→knowledge→understanding

校務研究(institutional research)在許多國家已推動多年，大部份學校設有校務研究辦公室，成為高等教育機構內部智庫。

7


各國校務分析組織發展

美國：校務分析協會（Association for Institutional Research）

澳洲：Australasian Association for Institutional Research（AAIR)

歐洲：European Association for Institutional Research（EAIR)

非洲：Southern African Association for Institutional Research（SAAIR）

亞洲：South East Asia Association for Institutional Research（SEAAIR)

聰敏的、以資料與證據為本的辦學與校務經營，乃是卓越高等教育的表現。

8


資料與決定

資料≠決定

沒有校務資料，或不知道如何善用這些資料，決策者無法作成以證據為本、有益機構的決定

沒有資料→決定缺乏說服力，不易帶動組織齊心改革。

一個國小的故事

9


校務研究的意義與重要性

校務研究意義

校務研究（institutional research）

包括校務與研究兩部份

校務，乃是大專校院相關事務與活動。

研究乃是對某一議題提供系統性的答案。

10



校務研究意義

蒐集資料或進行有用或必要之研究，以(1)瞭解或解釋機構，(2)對於目前運作或未來規劃作出敏智的決定，(3)改善機構的效率與效能(Saupe & Montgemery, 1970，2)。

校務研究是描述大學或學院中發生的全部功能(教育、行政、支持)的所有活動。包括資料蒐集分析策略，以支持組織的決策(Coughlin, Hoey, & Hirano-Nakanishi, 2009)。

校務研究是透過資料蒐集、分析、報告、以及教職員探究(staff work)，以促進高等教育機構的運作與決定(Saupe & Montgemery, 1970，3)。

資料蒐集分析報告

11



校務研究意義

校務研究與社會科學研究有同有異。

相異之處

校務研究的應用性較強，關心個別學校，較關心問題的解決，研究問題的發現也較難推論到其他機構。

相同之處

研究取徑、資料蒐集方法、倫理守則等頗為一致，個別學校也可從高等教育研究成果獲益，個別學校的研究發現對於社會科學也會有重要貢獻

跨機構的校務研究與高等教育研究十分接近，自然也是社會科學的一環。

12



校務研究發展

起源甚早，大專校院對「硬資料」（hard information）的需求，從來就沒有斷過。

美國政府早在1869年開始蒐集大專校院資料。

正式制度化則早至1920年，知名大學開始設立校務研究辦公室。

1950s，這些組織的名稱正式稱為校務研究辦公室。

13



校務研究發展

調查資料庫的建立是重要里程碑

例如：美國教育部長期建立高等教育整合資料庫（Integrated Postsecondary Education Data System, IPEDS）

美國大專校院校務研究人員經常接受資料庫的教學訓練，以作為分析與瞭解學校運作狀況的依據

14



校務研究愈受重視的原因

校務研究受到重視，主要是基於下列兩個原因

（一）績效責任的興起

只要錢，不要責任的作法難為社會接受

（二）高等教育全球競爭興起

理性分析、爭取資源

前兩項因素都使得校務分析成為必要，高等教育機構除了需要傳統的校務研究外，更需要透過統計分析，進行議題研究，以促成以證據為基礎的決定，增加高等教育機構的競爭力。

15


• 校務研究對大專校院的貢獻

1. 準備運作報告（operational report）

內容包括註冊、學生補助、住宿、財務、人事、以及其他資料。

是組織運作的核心資料，常見的問題是校內各單位對資料的掌握情況不一致，校務研究者的工作是整合資料以便得到一致的數據，甚至要能設計學校的資訊系統。

校務研究的意義與重要性16


2. 準備分析與總結報告（analytic and

summary report）

必須具備明顯的問題意識，對於資料的解釋也必須小心。

碰到重大議題時，歷史性的資料通常不可少，方能有助於瞭解該項議題的變化。



3. 建立分析或模型研究資料（analytical or modeling studies）

有時必須回答一些因果性較強的問題

例如預測學生的註冊率，或是解釋影響教授升等的因素，或是瞭解博士生畢業時間的影響因素

透過現有資料建立模型，可以解釋與預測，以利組織規劃。




4. 設計管理資訊系統（management information system）

學校本身應該有資訊管理系統，作為校務分析的基礎，這些資料與資訊的蒐集、保存、保管、應用都應該有一套詳細的規劃，除了要求資訊正確，避免重覆蒐集之外，更重要的是要為這些資料加值，作為校務規劃與決策的基礎。

19


5. 特定議題研究

例如是否修雙主修的同學在就業上的表現會優於未修雙主修者？又如教師的教學與研究時間究竟應該如何分配，方能使其生產力最高（Toutkoushian, 2006）？

舉凡學校中行政、教師、學生、課程、方案等等的成果，都可以依據需要進行專題研究，研究的成果可以作為校務規劃或革新的參考。



6. 回應外界資訊需求

各界，特別是政府機構，經常會向學校索取資訊，校務研究的功能包括整合這些資訊的提供，回應外界對學校資訊的需求。



7.協助學校教職員工作

學校現有各處室或系所各在運作時，可能也都需要校務研究的協助，例如如何擬定教學卓越獎，如何判定分數貶值的現象等。



8. 研究支持教育發展

校內有些試辦方案或是新方案，這些方案本身辦理成效如何？是否應該中止、修正或繼續？都可以透過校務資料分析。

例如如果發現國際化作法推動後，學生外語能力或自信心確有提升，便可以認定該方案的確在提升國際化能力上有幫助。



9. 外在環境調查

校務研究的另一個焦點是顧客調查，例如僱主調查，瞭解僱主對人才培育的期望（Saupe, 1990）



校務研究對大專校院的貢獻

一份完成的校務研究內容則包括了報告、研究規劃與政策分析、財務研究、註冊管理研究、學生調查、教員調查、學術研究、以及其他計畫工作（Delaney, 1997, 4）

25


報告：機構統計報告、對內與對外行政報告等。這類的報告，都是長期報導機構發展的重要資訊。

學界也提出其他監督高等教育發展的指標，透過永續性指標的評估，作為監督高等教育機構發展的依據。

研究、規劃與政策分析：規劃與政策分析研究、預測、長期研究、市場研究等。

校務研究對大專校院的貢獻26


財務研究：成本分析、財政分析、財務預測等。

註冊管理研究：入學、財務補助、留讀情況等（Bailey, 2006）。

學生調查：在校生與畢業生調查。

教員調查：教員評鑑、教員工作量研究、薪資分析等。例如改進教原表現的方法，決定教員適當的獎勵方式、各系教員缺額的安排等等（Ferren, A. S. & Aylesworth, 2001）。



學術研究：學程檢討、學程評鑑、安置測驗評量、結果評量等。

其他計畫：如空間利用研究、轉學研究等。

上述主題國內各校其實多多少少都有進行，但是在完整性與深度上可能因各校人力不同而有差異。



綜上，校務研究對大專校院經營的功能包括了問題界定、行動研究、政策分析（Saupe, 1990）。

上述工作，也形塑了校務研究者的角色，包括了資訊規劃者（information architect），改變能動者（change agent），以及選擇的顧問（consultant choice）（Delaney, 1997）。



校務分析對其他機構的貢獻

其他單位也需要這些資料作為規劃的參考

以美國而言，因體認到在2010年前，有42%的新增工作都是由大學畢業生從事，對於這部份的人力因而特別關心。

如果高等教育機構所培育出人力的素質與數量，不能符合新興職缺的需求，勢必影響到經濟的發展，高等教育機構的功能也會受到部份質疑（Toutkoushian, 2005）。

30


Toutkoushian（2005）指出，教育市場與勞動力市場並不相同，高等教育人力供給經常落後勞動力市場至少四年，如果沒有長期且即時的資料供學生、學校、產業之間作參考，兩者之間的落差必然會造成，損失。

如果能夠將人力供與需的預估資料清楚地掌握，透過長期及各方資料的累積，獲得更好的參數進行預測，減少兩個市場間的磨擦損失，將會是各界之福。

校務分析對其他機構的貢獻31



校務分析對其他機構的貢獻

我國經濟部工業局每年都會進行人力供需的推估，其中人力供給面的情況部份便仰賴臺灣高等教育資料庫中畢業生流向的資料，以建立推估參數。

32


校務研究與高等教育改進

一、協助學校作成校務發展決定簡單的資料蒐集與分析，就可能使得學校的決定

完全轉向。

比方說康乃爾大學文理學院原本計畫關閉其社會學系。（Ehrenberg, 2005）。

33


二、提供證據，解決政策爭議，改善決策

Ehrenberg（2005）曾經舉一例說明校務分析中的特定議題研究如何協助擬定高等教育重大決策。

美國招收外國博士班生的例子。

校務研究與高等教育改進34


自我評鑑35


幾個混淆的自我評鑑概念

自辦外部評鑑

為因應外部要求而辦理之自我評鑑

自我評鑑

36


自我評鑑

類型實例特色譬喻

組織自我管理與發展措施

教師評鑑、教學評鑑

為組織目的而辦理

人人為我

為外部要求或目的而辦的評鑑、外部評鑑前先行評鑑(預評)

系所評鑑前的自我評鑑

外部評鑑的練習賽，配合外部評鑑目的辦理

我為人人

37


自辦外部評鑑屬於那一類呢？

組織發展及管理措施？

為外部要求或目的而辦的評鑑？

答案是：看自己

無論答案為何，反省分析(Reflective Analysis)仍是關鍵

38


自我評鑑之優缺點

自我評鑑類型優點缺點

組織管理與發展措施

扣合組織發展需求

除非是有強烈自律或自我管理需求，否則辦理動機弱組織辦理能力不一辦理動機不一(改進、決定、整頓、整肅……..)客觀性受質疑、自省能力不一

為外部要求或目的而辦的評鑑、外部評鑑前先行評鑑(預評)

扣合外部發展需求客觀性較高

外部目標不見得切合組織發展需求組織辦理能力不一以通過外部要求為主要目的

39


理論上、理想上

為組織發展與管理辦理的評鑑，應該要大於為應付外部評鑑所辦理的預評，展現組織全方位求精進的意圖。

AACSB夠嗎？IEET夠嗎？

40


自我評鑑目的

決定改進

認可品保

績效責任

外

41


自辦外部評鑑

101年7月17日公布「教育部認定大學校院自我評鑑結果審查作業原則」

符合下列條件者，得自辦外部評鑑

（一）獲教育部發展國際一流大學及頂尖研究中心計畫各梯次補助者。

（二）獲教育部邁向頂尖大學計畫補助者。

（三）獲教育部四年以上獎勵大學校院教學卓越計畫補助且獲補助金額總計達新臺幣二億元以上者

42


自辦外部評鑑多了什麼？

自辦外部評鑑

自我品保

自我定位

自我改進

客觀公正

績效責任

適當揭露

價值判斷

決定改進

專業作為

43


做好自辦外部評鑑的重要原則

自主(self-directed)

共識(consensus)

能動(capacity-building)

客觀公正(objectivity)

公開(openness)

責任(responsibility)

專業(professionalism)

標準(standard)

應用(utilization)

自

外

評

44

終極目標

每一所大學都是一自我品保之單位

45


大學自主、自我管理、以據為策

自我改善機制成為高教評鑑新興重點(項目五)

自我改善需以資訊為本（evidence-based），方能有好的決策。

有價值的資訊來自：

好的目標

好的問題

好的資料

好的分析

好的決策

4

6

46


47


An honest self-assessment is key to

improvement.(Green & Olson, 2008: 39)

The first step to improving anything,

especially yourself, is to know where you

are currently at. (Jerry Bruckner)

48


自我評鑑如何做？觀看模式

評鑑是一種觀看(A Look model for university-

based evaluation)

往回看：過去評鑑告訴我們的改了沒？

往內看：自己現在的表現如何？

往外看：和我們想比的對象(reference point)比

起來，我們表現如何？

往前看：未來的環境中，機構、老師、學生該怎

麼辦？

49


「四看」是大學自我評鑑的重要精神

為自己評，不是為別人而評。

50


自我評鑑的精神

組織自主(institution-led)

提升為主(enhancement-led)

51


如何能讓自我評鑑有效?1.歷程可信賴

不信任，評鑑破功！

內部和外部利害關係人都信任評鑑(當作一回事或當作在演戲)

能讓教職員生了解評鑑的目的(so what?)

強調團隊合作，獲得高層(大老)的支持

評鑑者與被評鑑者能充份溝通(事後輔導座談)

多請學生參與評鑑或提供評鑑相關資料

52


如何能讓自我評鑑有效?2.品質與學術結構是一致的

評大學不同於評企業！不要因為評鑑喪失大學精神！求真！求創新！(期中預警、Office Hour)

以學術價值為核心，管理大學品質，不要跑到枝微末節處。評鑑是一學術歷程，是專業學習與校務研究的機會。更是「同業公會」溝通的機會。學門要怎麼收穫，就怎麼栽。

透過評鑑讓老師有機會反省其專業作為。

學門分類恰當，有深度的檢查和討論。

有彈性，瞭解不同學科文化和作為的差異。

透過評鑑改進學生學習經驗

53


如何能讓自我評鑑有效?3.提供適當的訓練和支持

提供品保與提升相關的資訊和輔導。

鼓勵並支持個別成員或團隊發展自我評鑑分析技巧

確定評鑑委員獲得充份的資訊，訓練與支持，能夠做好評鑑工作

若有學生，應訓練評鑑委員與學生合作

必要時尋求外部機構協助(其他大學、高教評鑑中心)

54


如何能讓自我評鑑有效?4.歷程中不斷，提供可靠資訊與外部參考點

提供全面、相關、正確、標準化的管理資訊(校級該蒐集整理的資訊)

利用管理資訊提供證據為本的評鑑

利用相關表現指標

55


如何能讓自我評鑑有效?5.有密合的回饋路徑

能瞭解什麼有效？什麼無效？那裏需要改變？

自我評鑑的結果能用在組織策略規劃上，如果無法提供回饋，評鑑亦無效

不能有所作為的，就不用蒐集資料(資料蒐集的恰當性)

評鑑需有助組織提升。

56


辦好自我評鑑的要素

投入(Engagement)：教、職、生

培能(developing skills)

證據為本(evidence-based review)：不是作文比賽，不是資料堆積。

學術領導(academic leadership)

57


辦好自我評鑑的要素：投入(拉人下水)

老師、學生、甚至校友都要一起來

系主任或所長一個人越認真，評鑑越無效(或許較會過)

把評鑑當作內部成員一起省思，凝聚共識的機會

常常外面的朋友比裏面的朋友多，常常和外面人講話的機會比裏面多，怎樣透過評鑑讓大家聚起來，動起來。

58


辦好自我評鑑的要素：培能

透過教育訓練，讓學校及班制成員瞭解評鑑的目的、評鑑的指標與規準、評鑑過程、評鑑結果應用方式等

評鑑委員亦要培能，瞭解評鑑的目的、評鑑的指標與規準、評鑑資料蒐集方法(訪談技巧、觀察技術、調查研究概念、量化資料詮釋方式等)、評鑑過程、評鑑結果應用方式等

59


辦好自我評鑑的要素：證據為本

證據既然能成為證據，必然是真實或客觀的

證據是有必要的，不然就是作文比賽

證據不只是給別人看的，證據是自己拿來反省的

準備關鍵證據，不是鋪天蓋地的證據

資料成為證據前，需要詮釋

60


問題：大一學生認為本系不是想唸的科系

尋找更多資訊

大三學生滿意度相當高

訊息矛盾，訪談大一學生

學生表示不清楚本系課程師資發展

分析原因

• 大一課程絕大部分為通識或共同課程，本系課程開設不多，對本系課程與師資接觸有限。

• 大一導師多生活輔導，缺生涯輔導。• 宣傳不足，學生對本系進路不了解。

• 調整課程順序與架構，增加大一本系課程。• 大一導師強化生涯與職涯輔導能力。• 編製新生手冊、新生入學輔導強化生涯與職涯輔導。強化對系上認識。

• 強化網頁宣傳，重視高中端招生說明。

66


67


校務研究與自我評鑑為一循環

圖二機構自我評鑑與校務研究之循環

自我評鑑校務研究校務

精進

行動

行動

68


評鑑只能告訴你好壞，卻不見得能告訴你怎麼做

自我

評鑑

校務

研究

學校

改進

69


校務研究與自我評鑑的關係

自我評鑑活動是校務研究的重要一環

有些學校這兩者放在同一辦公室，作為校務的研究與品保機制。

70


校務研究與自我評鑑的關係

兩者相似處

都有資料蒐集

也都涉及價值判斷

也都是學校自己要進行的活動

都是為學校改進

71


校務研究與自我評鑑的關係-相異處

校務研究

是常態性的活動

研究範圍有常態性也有機動性

資料蒐集量大

範圍較廣泛，有時不確定

重視診斷與策略性活動，有時涉及目標移轉

自我評鑑

原則上是週期性的活動

根據一套既定的標準進行價值判斷

範圍明確固定

為改進或/與決策服務

72


校務研究與自我評鑑關係

監督自我評鑑的辦理與品質保證措施

養成校內以據為策，自我品保的習慣

設立自我評鑑的目標(指標設定)

提供資料，作為評鑑參考(調查、數據蒐集)

根據評鑑結果作為校務決策參考(康乃爾大學社會系)

73


學用配合度vs薪資－大專69

非常

不符

合

不符

合符合

非常

符合

數學學類 22874.6 24775.4 28041.0 36237.5

0

5,000

10,000

15,000

20,000

25,000

30,000

35,000

40,000

45,000

50,000

數學學類

單位：新台幣

非常不

符合不符合符合

非常符

合

統計學類 23686.45 27991.13 28319.76 26672.82

0

5,000

10,000

15,000

20,000

25,000

30,000

35,000

40,000

45,000

50,000

統計學類

單位：新台幣


學用配合度vs薪資－碩士70

非常

不符

合

不符

合符合

非常

符合

數學學類33610.3339203.1242443.1045097.30

0

5,000

10,000

15,000

20,000

25,000

30,000

35,000

40,000

45,000

50,000

數學學類

非常不

符合不符合符合

非常符

合

統計學類 35065.45 38692.08 38785.82 37361.27

0

5,000

10,000

15,000

20,000

25,000

30,000

35,000

40,000

45,000

50,000

統計學類

單位：新台幣

單位：新台幣


校務研究常做的其他評鑑活動

在校務研究框架下，評鑑活動除了系所評鑑、校務評鑑外，還包括方案評鑑。

76


校務研究中的方案評鑑

學校經常投資大量經費與人力辦理特定方案，以達成政策目標。

但是這些方案到底是否達成原先所設定的目標？或只是灑錢、放煙火、分資源？

77


方案評鑑常問的問題

方案目標為何？方案理論基礎為何？

方案執行情況為何？(方案真得被執行了嗎？強度為何？內容為何？還是方案從未發生？)

方案的成效如何？有無產生未預期的結果？

方案的效率如何？有沒有更好的方式可以達到類似的效果？

根據方案的結果應該做何決定？

78


79


學測爭議(清大v.s.台大)

反對延後學測

清大甄選擬拉至7成

15年數據分析，繁星推薦、個人申請學生成績反較優異

甄選入學的學生在高中時代多元學習、參加社團、探索興趣，時間管理與心性比其他學生優異。反觀指考生，高三下學期只是不斷重複小考、讀教科書，反而欠缺培養其他能力的機會，上大學後適應力反而弱。

那些說指考為了保障弱勢生的人應該拿出科學數據證明。

高三被撕裂台大：

個人申請9成不知志向

繁星跟申請先挑人，當然會收到最好的學生

個人申請的學生仍有高達9成不知道興趣所在，「才會有這麼多學生一註冊就休學」

80


學測爭議

高中校長：只考高一、高二，學測延後沒意義

高中確實出現「一間教室，兩個世界」的情況

學測延後並非等同學習完整。

網民若台大相關的分析是事實，很簡單 : 減

少繁星和個人申請的名額，因為不適合該校。若清大相關的分析是事實，很簡單 : 增加繁星和個人申請的名額，因為較適合該校。

是喔那先考指考你清大要三成放在指考七成放在後面的甄試那請便，想搶學生就明講不要搞一堆假理由，到時看你會不會搶著改指考七成

講了半天就是想收成績好的學生哪有以學生為本?

大學自主我們尊重啦，清大愛要有多少推甄是他的自主權，但是請清大公開承諾，不要搞假面試，不要搞和台大同一天面試綁學生，不要要求學生面試一整天都要在學生參觀校園。要求：面試至少要每人單獨面試20-30分鐘，至少要有3-5位教授，而且全程錄影。

81


新聞分析

給媒體拍拍手

均衡報導、網民空間

給大學拍拍手

科學數據、長期追蹤觀察、關心教育、自主管理

給高中校長拍拍手

問對問題

給網民拍拍手

關心教育、思辨力強

82


結語

校務研究為本，評鑑工作只是其中一環。

校務研究與評鑑工作都以決策或改進為目的。

好的資料與好的資料詮釋是關鍵

做好校務研究與評鑑工作，專業性與獨立性至為重要，才能取信校內，凝聚共識且帶來改進。

校務研究只能處理學校的問題，大學還應該更積極處理社會及文化的問題(ex: 升學選校)。

83


84


運用校務分析進行自我評...

Documents