Seminář IPN Metodika

k První dílčí zprávě:

Principy institucionálního hodnocení

Daniel Münich

MŠMT

www.metodika.reformy-msmt.cz

Masarykova kolej

29.10.2014

Komponenty institucionálního hodnocení

1

Institucionální hodnocení

Hodnocení výstupů a

výkonnosti oborů vůči

světu Hodnocení vstupů VaV

a využívání infrastruktur

VaV

Hodnocení řízení

instituce

Hodnocení rozvojového potenciálu a

záměrů instituce

Hodnocení mezinárodního

zapojení a pozice instituce

Hodnocení výsledků a

dopadů VaV

Odstíny modré odlišují míru

toho, jak o daném aspektu

informuje stávajícím systém

institucionálního hodnocení.

Základní atributy navrhovaného hodnocení

2

1. Zohlednění oborových specifik (výzkumu a výstupů)

2. Zohlednění postavení a účel VO v systému VaV

3. Hodnocení inst. jednotek (fakulty a ústavy)

4. Hodnocení výstupů, výsledků, dopadů, řízení, mezinárodního zapojení, využívání infrastruktur

5. Forma peer-review

a. mezinárodní

b. informované

c. formou distanční vs. s návštěvou

d. využívající zkušenosti z realizace Hodnocení 2014

6. Hodnocení 1x za ~5 let

7. Náklady max. 1 % národní inst. podpory za hodnocené období (srovnejme s dnešními 2,5% inst. podpory VaV dle par. 3, odst. (3), zákona 130/2002)

Zamýšlená struktura hodnocení I

3

Research unit (RU)

Individual researchers

Evaluated Unit (EvU)

Research Organisation

Research Institute / University Faculty

R&D Governance Bodies & Agencies

Scientific fields

National R&D System (International) Structure of Science

Disciplinary areas

Zamýšlená struktura hodnocení II

4

Research Unit 1

Evaluated Unit 1 Research Unit 2

Research Unit 3

Field 1

Field 2

Field 3

Research Unit 1

Evaluated Unit 2 Research Unit 2

Research Unit 3

Field 1

Field 2

Field 3

Research Unit Evaluated Unit

Research Unit 1

Research Unit 2

Field

Field 1

Field 2

Research organisation

Etc …

Research organisation

Evaluated Unit Research organisation

Case 1

Case 2

Case 3

Zamýšlená hodnotící kritéria

5

Assessment criteria Indicator categories

Institutional management and

development potential

Quality and adequacy of the physical

research environment & attractiveness to

the scientific community

Research strategy and (HR) management

Membership of the national and

global research community

International research presence and

collaboration

National research presence and

collaboration

Research performance Research productivity

Research capacity building

Overall research quality

Research excellence Peak quality of the scholarly outputs

Societal relevance

Value of the research activities for the

business & industry sector

Value of the research activities for other

societal actors, including government

Zamýšlená organizace hodnocení

6

Main Panels

Panels

Referees

Main Panel Chairs Main Panel Members

Panel Chairs Panel Members

Panel Secretariat

Specialist advisors - Sciences

Specialist advisors - Context

Referees

Evaluation management team Evaluation management board

Vazba na současný systém

7

1. Využití dat v IS VaV a zavedeného systému sběru

2. Sledování ukazatelů v období mezi hodnoceními

3. Využití zkušeností s fungováním prvků peer review

4. Obdoba využití indikátorů na formula funding, ale v menším rozsahu

Rozdílné úrovně řízení systému VaV

8

vláda, RVVI,

EU rámec

Poskytovatelé

Výzkumné a další organizace

Pracovníci a infrastruktury VaV

Strategie, financování, ex-post hodnocení záměrů

Financování, dohled, strategické řízení

Řízení (včetně lidských zdrojů), motivace

Motivace, efektivní využívání

Využití výsledků hodnocení (úrovně a účely)

9

Research Units

EvU and RO

Disciplinary areas Fields

Research excellence National policy makers

National R&D governance bodies

Research performance

Societal relevance

Institutional management

& development potential

Membership of the (world)

research community

Institutional research strategy

Institutional & HR management

Positioning at national level

Positioning at international level

Models of good practice

Positioning at

international level

National research

strategy

Alignment with RD&I

priorities

Strengths & weaknesses

Needs for policy

interventions

Needs for policy interventions

Positioning at the international level

Sectoral R&D strategy

Priority areas for performance contracts

Post IPN harmonogram (předpověď)

10

Příprava hodnocení (2016-2017)

• Legislativa

• Informační nástroje a informace (WoS, IS VaV)

• Hodnocení organizující pracoviště a hodnotitelé

Realizace hodnocení (~2018)

• Sebehodnotící zprávy VO

• Bibliometrické zprávy a další informace

• Práce panelů

Zpracování a využití výsledků (2019-20)

• Syntéza výsledků

• Zpětná vazba pro VO a součásti

• Informace pro strategické řízení na úrovni vlády/RVVI/poskytovatelů

Význam hodnocení pro řízení

11

Stanovení priorit VaV Řízení lidských zdrojů

VaV

Efektivní pořizování a využívání infrastruktur

VaV

Správně nastavené motivace ve VaV

Bez kvalitního hodnocení nebude kvalitního řízení

„…a práce kvapná málo platná“

Obsah IPN Metodika

12

IPN Metodika

Technopolis a spol.

Institucionální hodnocení

Malé pilotní ověření

Institucionální financování

Expertní tým IPN

Velké pilotní ověření

Návrh systému hodnocení

velkých infrastruktur

VaV

Principy hodnocení programů účelové podpory

Zásady hodnocení zapojení do

mezinárodních sítí

Studie proveditelnosti

hodnocení organizujícího

pracoviště

Osvěta a podpora

lidských zdrojů

Harmonogram IPN Metodika

13

1. Průběžná zpráva TP: návrh hodnocení

• Připomínky exp. týmu IPN (8. – 17.10. 2014)

• Proces veřejné konzultace (6. – 26.11. 2014)

• Veřejná konference (7. 1. 2015)

2. Průběžná zpráva TP: návrh financování

• Připomínky exp. týmu IPN (19.12. – 6.1. 2015)

• Proces veřejné konzultace (20.1. – 6.2. 2015)

• Veřejná konference (konec února 2015)

Závěrečná zpráva TP:+malé pilotní ověř.

• Připomínky exp. týmu IPN (19. – 30.3. 2015)

• Proces veřejné konzultace (15. – 29.4. 2015)

• Veřejná konference (květen 2015)

Závěrečná zpráva IPN (podzim 2015)

Rozdílné typy hodnocení ve VaV

14

Kultura hodnocení

(bez hodnocení není kvalitní

řízení)

Hodnocení institucí

Hodnocení programů účelové podpory

Hodnocení projektů účelové podpory

Hodnocení velkých

infrastruktur VaV

Hodnocení účasti v

mezinárodních sítích VaV

Hodnocení jednotlivců

Odstíny červené odlišují míru

toho, jak je daný aspekt

obsažen v IPN Metodika.