Efektivní systémhodnocení a financování

výzkumu, vývoje a inovacíIPN „Metodika“

Jitka Moravcová

Česká konference rektorů

Praha, 1.10.2012

VýchodiskaMezinárodní audit – obecná doporučení v oblasti řízeníVytvořit profesionální a depolitizovaný systém státní služby.Ustavit RVVI jako platformu pro budování konsensů a dlouhodobých strategií.Vytvořit společnou metodologii hodnocení, otevřený dialog, princip „kaskády“, důvěryhodnost.Zahájit ex-post hodnocení dopadů resortních a národních politik, aktualizace NP.Definovat aktivity, rozsah a způsob financování GA ČR a TA ČR.Opustit mechanistické hodnocení, špatné vodítko pro politiku. Využívání indikátorů a výkonnostních smluv jako nástrojů řízení VO a agentur by mělo být navázáno na širší proces „měkkého řízení“, který je založen na dialogu.

VýchodiskaMezinárodní audit – konkrétní závěry k metodice hodnoceníPozitivní stránkajednoduchá metodikajasný signál o vztahu výkonu VO a financováníznačná míra objektivnosti Negativní stránkaredukce složité činnosti ve VaVaI na jednoduché indikátorynerozlišuje mezi skupinami VO zřízených za různým účelemvede k účelovému chování VOkonzervuje stavpřenáší se až na úroveň VO a týmůpostavena na výsledcích minulého obdobínemá obdobu v evropských zemích (100% vztah k

financování)

Východiska

Mezinárodní audit výzkumu - doporučení

navázat institucionální podporu na výkon, ale vedle výkonu minulého brát do úvahy i budoucí rozvojvypracovat „smíšený“ způsob hodnocení VO (výkonnostní kritéria + „peer-review“)vypracovat různé modely financování podle druhu (role) VOzavést financování na víceleté bázi (v ustáleném stavu 4 roky)v budoucnu navázat financování na výkonnostní smlouvy přechod na nový systém by neměl být z roku na rok

dramatickýzavést bezpečnostní mechanismy s cílem zajistit, aby peer- review proces byl transparentní, spravedlivý a co nejobjektivnější, pokud bude zařazenstabilizovat systém a zavést předvídatelnější financování, což je základ pro skutečné plánování a institucionální rozvoj

Cíle projektu

nastolit takové mechanizmy, aby veřejná podpora přispívala k zvyšování excelence českého VaVaI, působila motivačně na všechny aktéry VaVaI a ve svých důsledcích podpořila růst konkurenceschopnosti ČR

zvýšit společenské povědomí o významu hodnocenínahradit stávající Metodiku efektivnějším a na

mezinárodní standardy kvality orientovaným hodnocením

vypracovat návrhy způsobu institucionálního financování, který transparentním způsobem promítne výkonnostní principy hodnocení

ověřit funkčnost nové Metodiky a financovánínavrhnout postup implementace, včetně návrhu

legislativních změn a postupu pro přechodné období

vychovat mladé odborníkyrealizovat studii proveditelnosti vzniku nezávislé

hodnotící instituce

Cíle projektuIndividuální projekt národní MŠMT, 1.2.2012-31.1.2014

Efektivní systém hodnocení a financování R&D&I systému.

Oborová metodika hodnocení využívající dobrou zahraniční praxi.

Nový systém institucionální podpory bez mechanického vztahu body-peníze. Kombinace dvou pilířů: formula budget a performance contracts.

Institucionální podpora optimálně na 5 let. Různé modely hodnocení a financování pro různé typy VO.Těsná spolupráce a koordinace s RVVI.Otevřená diskuse se všemi aktéry. Hodnocení jako nástroj pro rozvoj výzkumných organizací.Hodnocení jako nástroj pro kvalifikovaná politická

rozhodnutí.Hodnocení jako nástroj pro efektivní využívání veřejných

prostředků.Hodnocení jako nástroj pro podporu excelence.

Klíčové aktivity

01 Informační podpora (VŘ)nadstavbový software k mezinárodní databázianalýza zavedené struktury IS VaVaI

Návrh úpravy IS VaVaI pro účely OMHBibliometrické přehledy ve struktuře podle OMHPorovnání významnosti českých výsledků se zahraničím podle OMHKomplementarita IS a WoS, ScopusIdentifikace pracovišť

Klíčové aktivity

02 Systém hodnocení (VŘ)OMH (expertní panely, procesní pravidla, struktura informačních podkladů, struktura zveřejnění výsledků)hodnocení VO (indikátory podle typu VO, peer-review) praktické seznámení s praxí v zahraničíhodnocení poskytovatelůmalý pilotní projekt (hodnocení každého z typů VO)

Průběžná a závěrečná zpráva o plnění veřejné zakázkyNávrh oborových metodik hodnocení výsledků VaVaINávrh hodnocení institucí VaVaI pro účely institucionálního financováníNávrh hodnocení poskytovatelů podporyNávrh hodnocení programůVýsledek pilotního ověření návrhu hodnocení VO na vybraných institucích Studie dobré zahraniční praxe

Klíčové aktivity

03 Systém financování (VŘ)

formula funding (OMH, další indikátory, informované peer- review na základě indikátorové kostry příslušných databazí, které budou vypovídat o výsledcích dosažených VO v minulosti)performance based contract, ve kterém se bude posuzovat směr vývoje VO do budoucnosti a připravenost VO dostát závazkům

Průběžná a závěrečná zpráva o plnění veřejné zakázkyNávrh financování výzkumných institucí z veřejných prostředků

Klíčové aktivity

04 Velké pilotní ověření

formulace cíle a způsobu realizace hodnocení VVŠjednání s RVŠ, ČKR, jednotlivými VVŠkonzultace a připomínky rektorů a prorektorů pro VaVnávrh formulářů, indikátorů, ukazatelůvýkonnostní profil VVŠzpětná vazba VVŠ

pilotní ověření návrhu nové metodiky hodnocení na VVŠ

Klíčové aktivity

05 Harmonogram pro přechodné období a podklady pro legislativní změny

přechodné období 2013-2014, realizace 2015 (2016)spolupráce s RVVI, KHV, AV, RVŠ, ČKR, profesní sdružení, VO)hodnocení dopadů regulace ke všem klíčovým komponentám výsledkůúprava institucionálního uspořádání systému VaVaI po roce 2015

harmonogram postupných krokůdoporučené změny vnitřních předpisů VVŠ a VVIpříspěvek do věcného záměru zákona nahrazujícího zákon č.130/2002 Sb. a návrhy novel zákonů souvisejících

Klíčové aktivity

06 Institucionální zajištění hodnocení

otázka vzniku nezávislé hodnotící instituceúčel, mise, právní postavení, organizační struktura, personální obsazení, pravomoci a zodpovědnostivýchova mladých perspektivních kádrů kurz (scientometrie, bibliometrie, systém řízení VaVaI v ČR, řízení projektů, metody hodnocení)

Studie proveditelnosti vzniku nezávislé hodnotící organizaceStudijní materiály pro výchovu odborníků na hodnocení.Závěrečné práce kurzuHarmonogram postupných kroků

Klíčové aktivity

07 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí

koordinovaný postup při budování konsensuRVVI, KHVpolitici, klíčoví aktéřiodborná veřejnostsoukromý sektorkonference, workshopy, semináře, kulaté stoly

Závěry diskusí u kulatých stolůPresentace z konferencíDiskusní webové fórumNávrhy úprav OMH, hodnocení a financování VO

Rozpočet klíčových aktivit

01 Informační podpora21 621 tis. Kč

02 Systém hodnocení37 220 tis. Kč

03 Systém financování19 579 tis. Kč

04 Velké pilotní ověření10 170 tis. Kč

05 Harmonogram pro přechodné období a podklady pro legislativní změny

6 511 tis. Kč06 Institucionální zajištění hodnocení

5 192 tis. Kč07 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí

4 562 tis. KčCelkem 111 980 tis. Kč

Odborní garantiHlavní odborný garant

Prof. Ing. Jitka Moravcová, CSc.01 Informační podpora

Prof. Ing. Petr Ráb, DrSc.02 Systém hodnocení

Doc. Ing. Daniel Münich, Ph.D.03 Systém financování

RNDr. Jiří Rákosník, CSc.04 Velké pilotní ověření

Prof. Ing. Stanislava Hronová, CSc.05 Harmonogram pro přechodné období a podklady pro legislativní změny

RNDr. Jan Hrušák, CSc.06 Institucionální zajištění hodnocení

Mgr. Karel Šima, Ph.D.07 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí

Prof. Ing. Richard Hindls, CSc., dr.h.c.

Veřejná zakázka

Očekávaný harmonogram plnění zakázkyv rámci projektu IPN Metodika

Měsíc od začátku prací na zakázce ---> 1 2 3 4 5 6 7 8 9 10 11 12 13 14WP1 Určení struktur hodnocení 1WP2 Oborové metodiky hodnocení 1WP3 Procesní pravidla hodnocení 1WP4 Zásady hodnocení programů 2WP5 Vymezení pojmu „institucionální financování“ 2WP6 SWOT analýza inst. základny VaV a srovnání 2WP7 Návrh modelů pro FF a PBC 2WP8 Modelové ověřování dopadů nového systému 2WP9 Příprava a realizace malého pilotní hodnocení 3Monitorovací zprávyPředložení průběžných zprávWorkshopy s interními oponenty I I IVeřejné konference Procesy tří veřejných konzultací

WP = Work PackageČísla u WP označují pořadí veřejných konzultací, kam budou výsledky WP spadat

1 2 1,2,3

Veřejné projednávání

Ke dvěma dílčím zprávám (hodnocení, financování).

K závěrečné zprávě (včetně malého pilota).

Každá veřejná konzultace bude trvat 2 (3) měsíce:

předložení konceptu zprávy

interní expertní oponentura (experti a panelisté)

finální verze zprávy ke zveřejnění a připomínkám

vypořádání připomínek a konference ke zprávě

IPN Metodika

Srovnání hodnocených jednotek (HJ) v oboru v ČR (dnes není k dispozici)Srovnání kvality všech HJ vůči světovému standardu (dnes není k dispozici)Kvalitativní a kvantitativní zpětnou vazbu (dnes není k dispozici) pro:– vědce, týmy, katedry– řízení / management součástí VŠ– řízení / management VO – poskytovatele– RVVI a vládu (například stanovení priorit)– podnikatelské subjekty– zájemce o studium – veřejnost – daňové poplatníky– zahraniční subjekty

Hodnocení

Inspirace praxí Velké Británie, Holandska, Finska.Reflexe Dlouhodobých principů hodnocení a financování RVVI a Ipn Audit.Metoda: sada indikátorů (bibliometrie) informované peer-review podle oborových metodik nadresortní koordinace a dohled pouze 1 x za ~5 let cca 5 - 8 oborových panelů a cca 25-30 subpanelů

Hodnocené jednotky (HJ) přihlášené ke zhodnocení v oboru. HJ typicky v.v.i. nebo součásti VŠ (fakulty).Hodnocení organizující instituce.

Hodnocení

Průběh hodnocení

Ustavení (sub)panelů.Přihláška HJ do hodnocení v daném oboru. Zpracování sebeevaluační zprávy samotnou HJ.Zpracování bibliometrické zprávy pro HJ.Osobní návštěva subpanelu v HJ.Hodnotící zpráva panelu a stanovisko HJ.Syntéza výsledků na úroveň oborů, poskytovatelů, velkých infrastruktur.Zveřejnění výsledků.

Trvání a řízení projektu

statutární zástupce MŠMT (náměstek)dozorčí rada: statutární zástupce MŠMT, zástupci RVVI, ČKR, AV ČR, VŠ, RVŠ, Rada pro aplikovaný výzkum, GA ČR, TA ČRvýkonná rada: vrchní ředitel MŠMT, odborný garant

projektu, garanti klíčových aktivit

administrativa (manažer projektu, finanční manažer, administrativní pracovník)

Složení dozorčí rady

Akademie věd České republikyprof. Ing. Jiří Čtyroký, DrSc.

Asociace výzkumných organizací Ing. Josef Kašpar

Česká konference rektorůprof. RNDr. Zdeněk Němeček, DrSc.

Grantová agentura České republiky prof. RNDr. Bohuslav Gaš, CSc.

Ministerstvo průmyslu a obchoduIng. Martin Štícha

Ministerstvo školství, mládeže a tělovýchovyIng. Jana Říhová

Rada veřejných výzkumných instituci aplikovaného výzkumuprof. Ing. Karel Pospíšil, Ph.D, MBA

Rada vysokých školdoc. Ing. Jakub Fischer, Ph.D.

Technologická agentura České republikyprof. Ing. Petr Zuna, CSc., doc. Dr. Ing. Vladimír Kebo