理論・実践編「中間評価ガイドで実践をシミュレーション」 ·...

理論編・実践編「中間評価ガイドで

実践をシミュレーション」2019年7月12日

国際医療福祉大学大学院教授埴岡健一

乃木坂スクールin赤坂～役立つツール「ロジックモデル」を活用して～

政策現場のニーズ• ある行政担当者からのご相談

2

特別ゲスト

イントロ

3

4医療計画の見直し等に関する検討会（2018年9月28日）資料から

われわれはどこにいるのか？4月12日スライドから

本コースのロジックモデル

地域医療の住民アウトカムの均てん化

医療計画等のPDCAマネジメントの均てん化

ガイドが策定され、実践される

「医療計画等評価ガイドライン案」の作成

初期アウトカム

中間アウトカム

最終アウトカム

活動アウトプット

5

今年の焦点は「本当の評価」の準備4月12日スライドから

1次計画 2次計画 3次計画 4次計画

2次計画

3次計画

4次計画

3次後半

中間評価

中間評価

中間評価

最終評価

・これまでの中間評価は形骸化・中間といいながら後半がなかった・評価がアウトプット評価でアウトカム評価でなかった・今回の6年計画の中間評価ではアウトカム評価をし、後半の改訂につなげることが重要・ロジックモデルと指標を整備しつつある県は、良い位置取りにある

6

なぜ、中間評価？4月12日スライドから

医療計画（がん計画）中間評価の地域差も懸念• 各都道府県計画の記載の仕方を確認してみよう• （例）「計画の中間年となる2020年に中間評価を、最終年となる2023年に総括的評価を行う予定です」（大阪府）

7

4月12日スライドから

逆にいえば「均てん化」の好機

8

①セオリー（論理）評価〔計画の目的と対策の関係（ロジックモデル）が論理整合的か評価〕②プロセス（実施）評価〔決められたことが実行されているか評価〕③インパクト（影響）評価〔アウトカム（目的）へのアウトプット（対策）の効果・貢献を評価〕④コストベネフィット（費用対効果）評価〔インパクトを費用で割った数値を評価〕

4つの「評価」方法

施策や事業を実施したことにより生じた結果（アウトプット）が、成果（アウトカム）に対してどれだけの影響（インパクト）をもたらしたかという関連性を念頭に置きつつ、施策や事業の評価を１年ごとに行い、見直しを含めた改善を行う。出所：疾病・事業及び在宅医療に係る医療体制について（平成29年3月31日厚生労働省医政局地域医療計画課長通知（平成29年7月31日一部改正））

4月12日スライドから

ｄ

ｄ

ｄ

ｄ

分野アウトカム中間アウトカムアウトプットインプット

セオリー評価

プロセス評価

インパクト評価

費用対効果評価

つながりが妥当と考えられるか

決めたことが進められているか

アウトプットがアウトカムを動かしたか

効果が費用に見合っているか

ロジックモデル

4つの評価

★

☆

★

☆

○

○

○

○

○

○

凡例★=アウトカム指標☆=プロセス指標◎=ストラクチャー指標○=費用 ◎

◎

◎

◎

◎

◎

投入した資源働きかける側の変化働きかけた相手に起きる変化

インパクト

ロジックモデルが存在することが評価の前提となる

これからの評価

これまでの評価（もどき）

単なるアウトプットの進捗確認や

一部の指標の計測観察

4月12日スライドから（一部改訂） 9

本日のゴール• （本当に）中間評価作業ができるようになる準備が整う

10

目指すべき「評価」• 適切で、実行可能で、意欲を高め、実際に改善につながる評価

11

「正しい」「できる」「元気が出る」

これまでの評価• 中間評価もどき（ほぼ、アウトプットのストラクチャーだけ）

• むずかしい（数県ぐらいしかついていけない）• 作業のための作業、意味があるのか分からない（終われば忘れる苦行、成果が見えない）

12

これからの評価• グローバルスタンダードで（厚労省通知にも合う）（ロジックモデルに基づいている）

• 一定の手順で、ある程度の労力をかければできると想定できる（ガイダンスがある）

• 患者アウトカム向上を加速することが実感できる（指標のフィードバックがある）

13

どうすればできる？○基本を理解すれば、5つ道具がサポートする①冊子（ガイドブック）②拡大ロジックモデル（地図）③評価作業シート（採録＆進捗管理シート）④情報源リスト（指標、情報ソース表）⑤カレンダー（進行管理ガントチャート）

14

15

①中間評価ガイドブック

がん計画用。同様に、医療計画用も想定できる

16

②ロジックモデル（評価軸付）

17

③評価作業シート

19

④評価のための情報源リスト

がん計画用。医療計画用には厚労省から都道府県に提供されているデータブックなどがある

20

⑤評価作業カレンダー

ガイドを読む

21

22Special Thanks to: がん政策サミット事務局

出典：誰にでもできる!がん計画中間評価ガイドブック

23出典：誰にでもできる!がん計画中間評価ガイドブック

30

ロジックモデル　ブランクシート指標指標指標

1 1

2 2 1

3 3 1

4 4

5 5 2

6 6

7 7

8 8 3

9 9 2

10 10

11 11 4

12 12

D投入資源インプット A分野アウトカムB中間アウトカムC個別施策アウトプット

ロジックモデルシート（インプット欄付）

この列を追加しました

33

③評価作業シート


41

指標指標指標

1 1

2 2 1

3 3 1

4 4

5 5 2

6 6

7 7

8 8 3

9 9 2

10 10

11 11 4

12 12

D投入資源インプット C個別施策アウトプット B中間アウトカム A分野アウトカム指標指標指標

1 1

2 2 1

3 3 1

4 4

5 5 2

6 6

7 7

8 8 3

9 9 2

10 10

11 11 4

12 12

D投入資源インプット C個別施策アウトプット B中間アウトカム A分野アウトカム

指標指標指標

1 1

2 2 1

3 3 1

4 4

5 5 2

6 6

7 7

8 8 3

9 9 2

10 10

11 11 4

12 12


いいとこ取りロジックモデル自県の現状

改訂後

セオリー評価でのロジックモデル改訂作業のイメージ。空白欄で、必要なところを補足する（ミドリ色が埋められている欄）

政策評価のバイブル

出典：多賀出版HP http://www.taga-shuppan.co.jp/books/books.php?id=523

資料（リソース）

61

62

国の計画をロジックモデルに落とした資料（早期発見）（抜粋）

https://cpsum.org/pdf/3rdnationlplan_LM2018_1.pdf

63

都道府県計画をロジックモデルに落とした資料（県単位で全分野を集めたもの）

https://cpsum.org/logicmodel_pref

64

都道府県計画をロジックモデルに落とした資料（分野別に全県を集めたもの）

https://cpsum.org/logicmodel_field

65

分野施策初期ｱｳﾄｶﾑ指標目標値中間アウトカム分野アウトカム指標目標値

25 滋賀県 1.がんの予防（2）がんの早期発見・がん検診

県民は、がん検診について正しい知識を得て受診に努め、精密検査が必要になったときは必ず受診します。あわせて、がん検診が行われていないがん、がん検診の対象年齢でなくてもがんに罹患する可能性があることを念頭におき、体に変調のあったときは適切に受診し、がんの早期発見に努めます。

がん検診受診率が向上する

がん検診受診率胃がん検診50%肺がん検診50%大腸がん検診　50%乳がん検診50%子宮頸がん検診　50%

県、市町および企業はがん検診の重要性について啓発に努めます。

がん検診精密検査受診率が向上する

がん検診精密検査受診率

胃がん検診100%肺がん検診100%大腸がん検診　100%乳がん検診100%子宮頸がん検診　100%

県と関係機関は、がん検診を実施していないがんについても早期発見のための啓発に努めます。

がん検診における不利益が減少する

陽性反応適中度がん発見率

各がん検診許容値

県は、健康づくりに関する包括連携締結した企業と協力して、がんおよびがん検診の啓発に取り組みます。

職域におけるがん検診の精度が高まる

職域がん検診の精度管理状況

がん検診精度管理の向上、がん検診対象者の管理、がん検診精密検査受診率の把握

滋賀県薬剤師会は、滋賀県医師会や国民健康保険団体連合会と連携し、がん検診の啓発に取り組みます。

滋賀県臨床技師会は、臨床検査の紹介や検査体験事業を行い、がん検診の啓発に取り組みます。

都道府県計画をロジックモデルに落とした資料滋賀県（早期発見・がん検診）（抜粋）

https://cpsum.org/logicmodel_field

66

いいとこ取りロジックモデル（緩和ケア分野）（抜粋）

https://cpsum.org/pdf/summit/16/16sum_iitokoLM.pdf

67

各都道府県事業予算

https://cpsum.org/budget_prefecture.php

68https://cpsum.org/pdf/budget/31/19Bud_25shiga.pdf

69https://cpsum.org/pdf/budget/31/19Bud_25shiga.pdf

70

がん対策地域別データ集

https://cpsum.org/ccm

71

「見える化」グラフ集

https://public.tableau.com/profile/cancer.policy.summit#!/

72

国の患者体験調査

https://www.ncc.go.jp/jp/cis/divisions/health_s/project/survey/

https://www.ncc.go.jp/jp/cis/divisions/health_s/health_s/020/06health_s_03_cancer_control_all.pdf73

75

国の中間指標案

https://www.mhlw.go.jp/content/10901000/000524243.pdf

76https://www.mhlw.go.jp/content/10901000/000524243.pdf

質疑応答・考察

77

ロジックモデルの改訂が必要• セオリー評価にもとづき、ロジックモデルを改訂する

• いいとこどりロジックモデルを作成し参考にする

• 指標セットは、好事例県と国の指標集が参考にできる

78

Q

A

79

秋田大学提言書のロジックモデル（早期発見）

80

●秋田大学提言書早期発見部分のロジックモデルインプット

●アセスメントの向上 ●早期発見率の向上 ●死亡率の削減未推奨検診をなくす科学的根拠に基づいた検診 ☆ 早期診断割合の向上 ☆ 死亡率の減少 ☆

●マネジメントの向上質管理体制の構築精度向上 ☆

●検診率の向上個別勧奨、再勧奨再勧奨の実施受診率の向上 ☆

アウトプット初期アウトカム中間アウトカム最終アウトカム

秋田大学提言書のロジックモデル（早期発見）

81

●滋賀県がん計画早期発見部分のロジックモデルインプット

●アセスメントの向上 ●早期発見率の向上 ●死亡率の削減0 なし（空白） × （空白） ×

1 調査 ●マネジメントの向上2 精密検査広報精密検査率の向上 ☆3 精密検査情報の収集や提供不利益が減少する ×4 受診者への説明の強化職域での精度が高まる ☆5 精度管理の実施 ☆6 精度管理会議の開催7 検診実施機関からのデータ提供8 がん検診従事者講習会9 県から市への支援

1 がん検診の啓発 ●検診率の向上2 検診対象外がんの早期発見啓発受診率が向上する ☆3 包括連携締結企業と啓発4 薬剤師会による啓発5 臨床技師会による啓発6 報道機関による知識普及7 個別勧奨、再勧奨8 特定健診との同時実施9 保険者と協力した機会増やし

10 保険者、事業主による受診勧奨11 同・精密検査受診勧奨


滋賀県がん計画のロジックモデル（早期発見）

82

指標指標指標

1 1

2 2 1

3 3 1

4 4

5 5 2

6 6

7 7

8 8 3

9 9 2

10 10

11 11 4

12 12

D投入資源インプット C個別施策アウトプット B中間アウトカム A分野アウトカム指標指標指標

1 1

2 2 1

3 3 1

4 4

5 5 2

6 6

7 7

8 8 3

9 9 2

10 10

11 11 4

12 12


指標指標指標

1 1

2 2 1

3 3 1

4 4

5 5 2

6 6

7 7

8 8 3

9 9 2

10 10

11 11 4

12 12


いいとこ取りロジックモデル自県の現状

改訂後

セオリー評価でのロジックモデル改訂作業のイメージ。空白欄で、必要なところを補足する（ミドリ色が埋められている欄）

83

●個別施策の評価のためのロジックモデルインプット

●検診率の向上 ●早期発見率の向上 ●死亡率の削減個別勧奨、再勧奨再勧奨の実施受診率の向上 ☆ 早期診断割合の向上 ☆ 死亡率の減少 ☆


インパクト評価

コストパフォーマンス評価

セオリー評価

プロセス評価

分野のセオリー評価（ロジックモデル改訂）の後、個別施策の評価を行っていく

ロジックモデルと進捗管理シートが整合しない• ロジックモデルの分野分けを標準化• 評価作業シート（と施策シート）を基準に基盤となる進捗管理シートを作成しておく

84

Q

A

85

大津市ロジックモデル作成用シートにはすべてが

プレゼンター

プレゼンテーションのノート

丁寧に説明

https://www.mhlw.go.jp/file/05-Shingikai-12401000-Hokenkyoku-Soumuka/0000129404.pdf

旧フォーマット新フォーマット

86

https://www.mhlw.go.jp/file/05-Shingikai-12401000-Hokenkyoku-Soumuka/0000129404.pdf

旧フォーマット新フォーマット

87

88RH-PAC2 地域医療ビジョン／地域医療計画ガイドライン実践編【プロセス編ツールキット（推奨ツール集）】□推奨ツール 13 施策概要シート

RH-PACガイドライン施策シート

89

評価作業シート



「新フォーマット」と「RH-PACガイドライン」シートをいいとこ取りし、「評価作業シート」との互換性も考慮し、基盤となる進捗管理フォーマットを確立しておく

負担が大きい• 5つのツールを活用し、手戻りのない着実な作業

• 5つのツールを活用し、内外関係者の認識を共通化して進行

• ロジックモデルと評価作業シートを基準に各種の資料を一気通貫して作成（類似で整合性のない書類を多数発生させない）

91

Q

A

データラグなど指標データの問題

• ロジックモデル上の指標のアウトプット側とアウトカム側のデータであるという基本的理解

• 現時点での好事例をいいとこ取りしたベストではなくともベターなやり方であるとの共通理解

• データの限界を自覚・共有した上で、データの改善と進展を待ちながら進むことの共通認識

• 目標値とモニタリング値の区別。数値を議論してから評価することの共通認識

92

Q

A

医療計画の進捗管理の目的は？

• 苦行から“楽しみ”へ• 計画や評価は手段。目的は、地域のアウトカムの改善• 手段が目的化している状態（尻尾が犬を振り回している）からの脱出

• 各地のロジックモデルワークショップでは、自分たちで目標を考えなおすことによって、「やる気が出た」という声が多数

• 計画策定の目的はアウトカムの向上。評価の目的はアウトカムの改善。ワークショップや研修で原点を思い出して共有

93

Q

A

これまで政策現場の演者から聞かれたポイント（例）• 部長の理解と部長からの指示• 分担執筆者との意識合わせ（そのための研修、ワークショップ、個別折衝…）

• 会議体の座長、副座長の理解• 部会などと一緒に作ることで、実施の際に担ってもらえる

• いまあるデータを集めて関係者に議論してもらうことで意識が高まる

• 鍵となる指標は研究費で作ってもらう• …

94

ともに力を合わせて• 地域の政策現場の悩みはどれだけ軽減できるでしょうか

• 今後、さらに何を支援していけばいいでしょうか

• ゴールに向けて、ともに考え、進んでいきましょう

95

7月19日参加者

プレゼンテーション大会

96

次第

＊10演題、13分ずつの場合• 18:00 開始（30分はレク）• 18:30 前半「発表会」（4組、52分）• 19:30 ＜休憩15分＞• 19:45 後半「発表会」（6組、78分）• 21:05 参加者コメント、投票出し• 21:15 終了

（懇親会へ…21:30～）

97

理論・実践編 「中間評価ガイドで 実践をシミュレーション」 ·...

Documents

理論・実践編「中間評価ガイドで実践をシミュレーション」 ·...