教育プログラム評価とPCM

(Project Cycle Management)

大西弘高東京大学医学教育国際協力研究センター

岐阜大学MEDC客員教授

Deming Cycle 継続的な質管理，質改善

Plan

Do

Check

Act

カリキュラム開発 6-step Approach (Kern)

1. 問題の定式化と全般的ニーズアセスメント（医療・公衆衛生）

2. 対象学習者のニーズアセスメント

3. 一般目標と個別目標

4. 教育方略（内容＋方法）

5. 実施（人・物・金・時間のリソース，組 織 内 政治・・・）

6. 学習者評価とプログラム評価

●

●

●

●

●

●

例：新医師臨床研修制度

プログラム評価のあり方 単に良い・悪いと一元的に決められる評価など，きっとほとんどない

現状の改善，失敗からの学習，次回に活かす・・・

誰が，何を，誰のために，何のために，どのように，どのような枠組みにて，どの程度のコストで，どの程度まで評価すればよいのか　

プログラム プログラム評価の文脈

何かの目的（ゴール）を達成するために，人が中心となって行う活動全般

政策評価の文脈 あるアウトカム目標を実現するための施策，事業の集合体

プログラム評価の定義（ Program Evaluation）

Scriven (1967) 方法論的な活動により，実績データを目標値と照らし合わせること

Scriven(1991) 明確化および正当化された基準により，物事（つまりプログラム）の価値を判断すること

以前よりはプログラムの valueを重視する定義が増えている印象

何を評価するか プロセス（ process）

工程（ operation） 機能（ function）

アウトカム・結果（ outcome） 効果（ effectiveness） アウトプット（ output） インパクト（ impact） 自律発展性（ sustainability）

プログラム評価の目的 形成的評価（ formative

evaluation） 目的：プログラムの発展と改善

総括的評価（ summative evaluation） 目的：アカウンタビリティ

価値判断や意思決定のための評価 評価を通じた知識の習得や付加 宣伝活動のための評価

内部と外部の目 外部からの評価・分析

内部の政治から中立 一部の情報へはアクセスが困難

内部からの評価・分析 情報は豊富 評価が学習につながる 重要な側面が死角になる／隠蔽されることがある

評価の焦点のレベル

組織変革

患者の利益

行動変容

知識やスキルの獲得

態度や認識の変容

学習者の反応（満足度など）

Kirkpatrickの４段階 Level 4

Level 3

Level 2

Level 1

Think-Pair-Share 何か評価したい教育プログラムを想定

その教育プログラムにおけるLevel3， 4の目標が何であるかを考えてみる

デザイン，実施，推論の対応

デザイン

実施研究テーマ 研究計画 実際の研究

予定されたサンプル集団

研究結果研究範囲での真理

普遍的真理推論 推論

内的妥当性

目的とする現象

予定された観察因子 実際の測定

外的妥当性

実際の研究参加者目標母集団

誤差 誤差

( 木原監訳．医学的研究のデザイン． p35)

量的データによる評価の課題 対照群を設けること（教育しない群ができる），ランダム割り付けすることは倫理的に OK ？

対照群は人口動態学的要因，心理学的要因に関して実験群と同等か

全国展開するプログラムには比較群無し

真の実験デザインを選択すること自体が困難

倫理的懸念を避けるデザイン

ランダム化比較事前事後テスト E O1 - - X - - O2R C O1 - - - - - O2

※対照群の学生は教育介入を受けられない

交代介入による比較事前事後テストデザイン E O1 - - X - - O2 - - - - - O3 R C O1 - - - - - O2 - - X - - O3

広義の準実験デザインの工夫例 複数指標による１群事前事後テストデザイン

O1A　 O1B　 X　O2A　 O2B

O1AとO1Bに有意差がなく， O2Aと O2Bにも有意差がない

O1AとO1Bの平均とO2AとO2Bの平均との間には有意差がある

Xが差をもたらしたと推測可能

履歴効果，成熟効果，測定効果，テスト効果は，いずれもゼロではないが，単なる事前事後テストデザインよりははるかによい

準実験デザインの工夫例 複数回の事前テストによる不等価統制

群事前事後テストデザイン

介入群において，介入後の傾きの変化が大きい

E O1 O2 X O3

C O1 O2 O3

O1 O2 O3

E

C

データの性質量的データ 仮説検証 科学的モデルの利用 標準化され，客観的で（信頼性のある），再現性を持つ，一般化可能性のある結果の強調

ランク付けが可能

質的データ より自然な状況で 研究者自身を道具として利用可能

分厚い記述 社会プロセスへの焦点 多種のデータ収集方法の利用

研究目的ならばどちらかだけを使うことが多いが，評価目的なら両方上手く用いるべき

科学的側面と実用的側面 Donald Campbell (1969)

政策やプログラムに関する決定は，社会状況を改善するための方法を検証する継続的な社会実験から引き出されるべき

Lee Cronbach (1982) 評価も科学的研究と同様の科学的手続はとるが，評価の目的は科学的研究から明確に区別されるべき．利害関係者のニーズ充足を志向すべき．

研究と評価の違い

研究 評価

探求の焦点 考察 決定

結果の一般性 高 低

重要性の基準 真実 価値

カリキュラム評価論 行動目標的アプローチ（ Tyler RW） ゴール・フリー評価（ Scriven M） 羅生門モデル（ Atkin JM）

評価アプローチの観点

Objectives-oriented

Management-oriented

Consumer-oriented

Expertise-oriented

Adversary-oriented

Participants-oriented

Utilitarian Evaluation

Intuitional-pluralist

Evaluation

• Stake’s Countenance Model

• Transactional Ev

• Illuminative Ev• Democratic Ev• Naturalistic Ev• Responsive Ev

• Owen’s model

• Judicial Ev

• Formal/ informal Professional Review

• Ad Hoc Panel/ individual Review

• Educational Connoisseurship and Criticism

• Scriven’s model (goal free Ev)• Tylerian Ev

Approach• Logical method------------------------• Stufflebeam’s

CIPP Ev Model

マネジメント志向型評価～ CIPP評価モデル（ Stufflebeam）～

Context：計画を評価．ニーズ調査 Input：システムを評価．リソース調

査 Process：実施段階を評価．開始後の問題点や改善点を調査

Product：アウトカムを評価．当初計画と比較し見直しを図る

Project Cycle Management 計画，実施，評価の３つのプロセスからなるプロジェクトのライフサイクルを， PDM（ Project Design Matrix）を用いて運営管理する方法

PDMを見れば，プロジェクトの概念構成が一目で分かる

評価はマネジメント志向型

PDM: Project Design Matrixプロジェクト要

約指標（客観的に提示可能なもの）

（データ）入手手段

（満たすべき）外部条件

上位目標（インパクトレベル）

プロジェクト目標（アウトカムレベル）

アウトプット

活動 インプット

前提条件

上位目標 ラオス国において医師に対する臨床研修の質が改善される

ﾌﾟﾛｼﾞｪｸﾄ目標

セタティラート病院において医学部学生の臨床実習及び医学部卒業後 2年以内の医師の卒後早期臨床研修の質が改善される

ｱｳﾄﾌﾟｯﾄ 1.セタティラート病院の教育病院としての臨床研修に関する知見が拡充される

2.セタティラート病院において研修管理体制が改善される3.臨床研修指導担当医の能力が強化される

活動 1-1. ベースライン調査を実施1-2. 教科書や参考書を導入1-3. 研修センターの建設と実習活動

1-4. 診療録の内容や管理方法を改善

1-5. 症例呈示のための学習教材作成

2-1. 病院の臨床研修の理念を設定2-2. 研修管理委員会 (TMC)を設置2-3. TMCを開催する2-4. TMCの議事を蓄積する2-5. MTUの機能を向上する2-6. 図書館の運営を改善する

2-7. 内部モニタリングを設定する2-8. 保健省人材育成ワーキンググループでプロジェクト成果を反映

3-1. TOTカリキュラムを策定3-2. TOTのための指導教材作成3-3. 教育病院で TOT研修を実施3-4. 医学教育セミナー開催3-5. 指導医モニタリングの基準設定

3-6. 指導医をモニタリング3-7. ニュースレター、ポスターによる教育普及

PDMの例（ラオス）

プロジェクト要約

上位目標（インパクト）

新しい医学教育システムがアフガニスタンで標準となる

プロジェクト目標（アウトカム）

カブール医科大学で総合医育成の新しい医学教育モデルが導入される

アウトプット

1. 総合医育成教育の質改善2. 医学教育センターの機能強化

活動 1-1 FDの実施1-2 教材作成1-3 新しい教育方法の導入1-4 評価システムの策定1-5 教育の実施2-1 情報収集システムの構築2-2 医学教育ニュースの発行2-3 EDCのスタッフ育成 2-4 評価への認識の向上2-5 FDの計画，実施，運営

1. 基本政策が不変2. 政府が総合医を重視

1. 権力側が卒前教育を重視2. 保健省と教育省・カブール医科大学の連携が上手くいく

1. 頭脳流出が起こらない2. 医学教育センターの教員や職員が仕事を継続

政治の安定

その他の前提条件

重要な外部条件

プロジェクト終了時評価の例（アフガン）

PDMと評価の順序・方向性プロジェクト要

約指標（客観的に提示可能なもの）

（データ）入手手段

（満たすべき）外部条件

上位目標（ ）ｲﾝﾊﾟｸﾄﾚﾍﾞﾙ

目標ﾌﾟﾛｼﾞｪｸﾄ（ ）ｱｳﾄｶﾑﾚﾍﾞﾙアウトプット

活動インプット

前提条件If

AndThenIf And

ThenIf And

If AndThen

Then

ロジックモデル プログラムマネジメントの一環としてプログラムを可視化するツール

因果関係の流れを示したチャート図において各要因が if-thenでつながる（ Kellogg Foundation, 2001）

投入input

活動activity

結果output

成果outcome

インパクト

impact

投入 (input): 資源 プログラムに直接的・間接的に関わる

もの ヒト → スタッフ，運営委員等 モノ → 物品，設備等 カネ → 資源にかける費用 場所 → 施設 時間 → 会議や運営にかける時間 情報 → 資源，運営に必要な情報

活動 (activity): 方略 プログラムの中身

講義，小グループ活動などの教育 医療サービスの提供そのもの カンファレンスや回診など混在したもの

結果 (output) プログラムによって直接的にもたらされる目標 活動の期間や回数　

患者心理に関する小グループ学習が 10回実施される

倫理ケアカンファレンスが週 1回のペースで継続される

プログラムが果たした機能や役割　 患者心理への配慮に関する認識が高まる 倫理的ケアの分析方法を身に付ける

成果 (outcome, impact) プログラムによる受益者・利用者レベルの変化 患者や社会

倫理的なケアの問題の指摘が減少する，または内容に客観的な変化が表れる

組織運営 倫理ケアカンファレンスが組織に根づき，継続される

Kirkpatrickの 4 段階とPCMの評価レベル

Impact

Outcome

Output

Output反応

変容

組織変革

患者の利益

行動変容

知識やスキルの獲得

態度や認識の変容

学習者の反応（満足度など）

明確な目標が謳われていない組織・プログラムの評価 プログラム評価を考える場合，まずはアウトカムや組織の理念，次いでアウトプットという順で評価の方向性を考慮する

評価の前に，組織・プログラムの管理レベルの人たちに仮想のロジックモデルを示した上で評価のエビデンスを探っていく

質的な情報を紡ぐことを重視し，量的な情報はその客観化のために加える印象