návrh multikriteriální metodiky hodnocení 2013

Návrh multikriteriální Metodiky hodnocení 2013

Komentář k dokumentu

Jiří Chýla

6.2.2013 1Vědecká rada MFF UK

http://www-hep2.fzu.cz/~chyla/veda/Malek_komentar_MFF.ppt

http://www-hep2.fzu.cz/~chyla/veda/Malek_komentar_MFF.ppt

V čem se v Metodikou 2013 shodujeme

Vztah Metodiky 2013 a Ipn Efektivní metodika hodnocení a financování VaV

V čem se Metodika 2013 liší od Ipn Metodika

Proč považujeme Metodiku 2013 za slepou uličku

Co konkrétně je na Metodice 2013 zásadně chybné

Proč je Metodika 2013 neproveditelná

Zhoubný vliv kafemlejnku na vědeckou obec6.2.2013 2Vědecká rada MFF UK

V čem se v Metodikou 2013 shodujeme

Výchozí dokumenty

Závěrečná zpráva Mezinárodního Auditu VaV v ČR

Dlouhodobé principy hodnocení a financování schválené na 263. zasedání RVVI (DPHF)

MEMORANDUM o spolupráci mezi RVVI a MŠMT v rámci koordinace řešení Ipn „Efektivní systém hodnocení a financování výzkumu, vývoje a inovací“ a „Metodiky hodnocení výsledků VO a hodnocení výsledků ukončených programů 2013“ připravované Komisí pro hodnocení výsledků.


Vztah Metodiky 2013 a Ipn Metodika

je definován v DPHF:

Malé hodnocení: pro alokaci institucionální podpory do doby, než bude zavedeno velké hodnocení, zdokonalená forma stávajícího hodnocení. Metodika 2013 má ambice jím být.

Velké hodnocení: bude vycházet především z výsledků IPn. Bude realizováno jednou za 5-6 let a poskytne oporu pro alokaci institucionálních prostředků a informace o výkonnosti VO a oborů ve srovnání se světem.


Hlavní cíl projektu Ipn Metodika

navrhnout a pilotně ověřit systém

hodnocení výzkumných organizací formou informovaného peer-review dle oborových metodik hodnocení,

který by nahradil stávající Metodiku hodnocení výsledků výzkumných organizací

efektivnějším a na mezinárodní a oborové standardy kvality lépe orientovaným hodnocením.


Hlavní rozdíly mezi hodnocením dle Ipn Metodika a M2013

perioda: 5 let vs. 1 rok

předmět: VO vs. jednotlivé výsledky

dimenze: zahrnují i dopady výzkumu, předpoklady pro rozvoj, zhodnocení oborů vůči světu vs. nic

zajištění: nezávislá instituce vs. sekretariát RVVI

návrh metodik: veřejné konzultace vs. žádné

ověření metodik a hodnocení: pilotně vs. žádné

výsledek Ipn: bude zahrnovat návrh institucionál- ního financování vs. nic takového

• využití zahraničních zkušeností: ano (detailní a seznámení se s praxí ve vybraných zemích) vs. ne 6.2.2013 6Vědecká rada MFF UK

Proč považujeme Metodiku 2013 za slepou uličku

Metodika 2013 by měla smysl pokud by byla založena na principech, které vycházejí z Mezinárodního Auditu a odpovídají zadání Ipn Metodika a tak umožní plynulý přechod od Metodiky 2013 do hodnocení vyvinutého v IPn Metodika, popř. umožní částečné výsledky Ipn Metodika průběžně implementovat do Metodiky 2013.

Principy Metodiky 2013 jsou s tímto rámcem neslučitelné.


Základní principy Metodiky 2013

Oborové hodnocení jednotlivých výsledků

Rozdělení výsledků na základní a aplikované

Definice přípustných výsledků a jejich za- stoupení v jednotlivých oborech

Zavedení zásadně jiného způsobu hodnocení výsledků aplikovaného výzkumu

Zavedení pilíře „excelence“

jsou všechny v rozporu s Auditem, praxí ve světě i rámcem zadání IPn.


hodnocení „kvality“ vybraných výsledků

Oborové hodnocení jednotlivých výsledkův platné metodice

Oborově má smysl hodnotit výzkumné organizace, resp. jejich týmy, nikoliv jednotlivé výsledky, neboť software, prototyp a další nepublikační výstupy jetřeba hodnotit nikoliv jednotlivě, ale jako součástvýzkumného programu daného týmu, v jehož rámci byly vytvořeny.

Tak se to samozřejmě dělá všude ve světě.

Viz také další bod.


Rozdělení výsledků na základní a aplikované

podle kritéria publikační vs. nepublikační je absurdní neboť ignoruje všeobecně známé skutečnosti, že

publikace jsou standardními výsledky také aplikovaného výzkumu. Existují celé řady časopisů věnovaných aplikované fyzice, chemii, biologii apod.

Také obráceně, spousta software či prototypů experimentálních zařízení je vyvíjena jako integrální součást základního výzkumu a musí být proto jako součást výsledků základního výzkumu také hodnocena.


Vymezení přípustných typů výsledků a jejich procentního zastoupení v oboru

pro každý obor odborné a poradní orgány Rady určí relevantní typy výsledků, na ostatní typy nebude brán zřetel

pro tyto typy výsledků bude určen maximální procentní podíl na všech výsledcích daného oboru

pokud některý typ výsledku v příslušném oboru hranici překročí, bude bodová hodnota všech výsledků tohoto typu úměrně krácena

nemá nikde ve světě analogii!

Naopak, například v RAE pro všechny obory platí: all forms of publicly available assessable output will be acceptable.


Takhle si to stejní autoři představovali vneschválené Metodice 2012

Místo hodnocení

kvality škatulkování

Tabulka obsahuje47 Pišvejcovýchkonstant, jejichžhodnoty by mělaschvalovatvláda


6.2.2013 Vědecká rada MFF UK 13

Neproveditelný Podpilíř I. - Stručné zásady peer-review hodnocení knih a kapitol (B, C) a výsledků JREC

Půjde o peer-review hodnocení (hodnotiteli) ve struktuře panelů 12 oborových skupin (verifikační a hodnotící panely).

Neproveditelné podle harmonogramu během měsíce června neboť každoročně je produkováno

cca 2 tisíce knih a kapitol v knihách cca 6-7 tisíc článků Jrec

Nutný mimořádně kvalitní peer-review a důkladné pilotní ověření.

Hodnotící proces rozřadí výsledky do 3-4 kvalitativních skupin. Relativní bodové rozdíly mezi kvalitativními skupinami budou nastaveny cca v poměru 1:5:10:20 (založeno na zkušenostech z dosavadních verifikací).


Proces ustavování panelů bude přísně dbát na

(i)vyloučení konfliktu zájmů, (ii)vysokou odbornost hodnotitelů v daném oboru, (iii)posouzení každého výsledku několika hodnotiteli, (iv)koordinaci uplatňování kritérií napříč panely, (v)transparentnost.

Pravidla ustavování VHP a procesní řád budou schváleny RVVI.

Svěřit toto RVVI je zcela absurdní a cesta do pekel.

Tohle může provést jen nezávislá na hodnocení specializovaná agentura, typu HEFCE ve Velké Británii či AERES ve Francii.

Taková agentura u nás neexistuje a její vytvoření je součástí Ipn Metodika.


M2013: Metodika řeší překlenovací období mezi současným stavem a dobou, kdy bude vytvořen nový dokonalejší systém hodnocení založený na výsledcích analýz a projektů, které souběžně probíhají, základní principy metodiky se po tuto dobu nebudou měnit.

Poslední tvrzení není pravda! (viz další okno)

Překlenovací období by mělo trvat jen dva roky: Hodnocení 2014 (pro financovaní na rok 2015) a Hodnocení 2015 (pro financování na tok 2016), poté by měla být použita Metodika vyvinutá v rámci Ipn Metodika.

Má smysl zavádět na dva roky novou metodiku, která se i během těch dvou let má měnit?

Obecná poznámka k zavedení II a III. pilíře


Principy II. pilířeVO budou předkládat stanovený počet svých vybraných výsledků k tomuto posouzení a k srovnání s vybranými výsledky od ostatních institucí. Stanovení kvóty pro počet takto předkládaných výsledků se bude odvíjet od institucionální podpory dané VO, navrhuje se předkládat jeden výsledek na každých započatých 10 mil. Kč přijaté podpory

Příliš velká částka, podle níž nelze kvalitu VO posoudit.Odpovídá cca 900 výsledkům ze 100 tisíc.

V roce 2013 bude (pro rozpočet na rok 2015, JCh.) každé VO na indikátor excelence alokováno 10 % jejího celkového bodového skóre (hodnocení v tomto „nultém“ roce bude jen výsledkem postupů v ostatních pilířích).

To znamená, že II. pilíř bude ve skutečnosti provozován jen jeden rok v roce 2014 pro rozpočet na rok 2016.


V dalším roce se každé VO příslušná bodová část procentuálně zvýší nebo sníží (či nezmění) podle zařazení jejích vybraných výsledků do jednotlivých kategorií. Podobně se bude postupovat i v příštích letech.

Žádné „příští“ roky nebudou existovat.

Budou stanovena pravidla pro sestavení expertních komisí a pro jejich fungování, komise výsledky rozřadí do tříd s tím, že výsledky v nejvyšší třídě výrazně vynikají (excelují) nad průměr, podíl výsledků, které mohou být v nejvyšší třídě, bude omezen.

Tato "excelence nad průměr" je karikatura na skutečnou excelenci a je v rozporu s bodem 4) Memoranda

„je nezbytné, aby v mezidobí KHV navrhla M13 tak, aby se přiblížila cílům nové metodiky hodnocení“ neboť ta má podle Memoranda obsahovat „prvky hodnocení peer-review prováděné v souladu s nejlepší mezinárodní praxí“

Úrovně kvality výzkumu podle RAE/REFplatné pro všechny panely a všechny typy výsledků

Všude ve světě je srovnání se špičkou ve světě jedinou smysluplnou mírou „excelence“.

V RAE jsou jen za první tři stupně kvality finance. 6.2.2013 18Vědecká rada MFF UK


Pilíř III: Hodnocení patentů a nepublikačních výsledků aplikovaného výzkumu.

Na rozdíl od dosavadní praxe paušálního bodování všech výsledků nepublikačního charakteru zůstává paušální ohodnocení pouze druhu výsledku patent. Za ostatní výsledky se bude bodové skóre odvíjet podle finanční podpory jednak z projektů aplikované-ho výzkumu a jednak ze smluvního výzkumu.

Rozpor: nepublikační výsledky jsou přirozenými výs- tupy také základního výzkumu a nemusejí být sou- částí projektů, tj. pocházet z účelových prostředků.

S tím III. pilíř vůbec nepočítá.

Snaha měřit výkonnost VO v oblasti aplikovaného VaV objemem mzdových prostředků vynaložených na aplikovaný výzkum znamená

rezignovat na jejich vlastní hodnocení, nemá ve světě obdoby, je v praxi neproveditelná.

RAE: založen na zásadě, že všechny typy výsledků jsou posuzovány ze stejného hlediska, včetně aplikovaného a na praxi orientovaného výzkumu:

Panels will treat on an equal footing excellence in research across the spectrum of applied research, practice-based and basic/strategic research, wherever that research is conducted.


Otázka pro autory Metodiky 2013:



Zhoubný vliv kafemlejnku na vědeckou obec a její jednání: kafemlejnek jako návod jak

provádět „cost-effective“ výzkum podvádět


Hodnocení velkých mezinárodních kolaborací

Tyto zásady znamenají, že nejsnadnější a nejlevnější cesta k bodům a tedy i penězům je následující:

zapojit se malým počtem lidí vybrat si kolaboraci, kde není žádná jiná česká instituce.

Pro celkový počet autorů se čeští autoři se počítají s váhou 1, zahraniční s váhou 0,5

Body jsou rozděleny mezi české instituce v poměru počtu domácích autorů.

V případě, že podíl českých autorů klesne pod 10 %, rozděluje se mezi ně 10 % bodové hodnoty výsledku.


Účast MFF na experimentu ATLAS

Tento článek má cca 3000 autorů, z toho 24 z FZÚ 23 z ČVUT 17 z MFF UK

Experimentu ATLAS se účastníme již 20 let, stát do něj vložil za tu dobu cca 250 milionů, pracovali na něm desítky fyziků, techniků a doktorandů z MFF, kteří významně přispěli k vývoji, konstrukci a provozu detektoru a analýze výsledků.


Účast MFF na experimentu CMS

Za každou práci CMS dostane MFF 4krát více bodů a tedy i peněz, než za práci ATLAS!!!!


Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platná pro léta 2010 a 2011 a rok 2012)

Domácí tvůrce“ výsledku v RIV, je tvůrce, který výsledku dosáhl v rámci pracovněprávního nebo studijního vztahu k předkladateli, tj. k subjektu, který předkládá výsledek, příp. k organizační jednotce subjektu, která předkládá výsledek. Pracovně právní vztah se musí vztahovat k aktivitě výzkumu a vývoje, na základě které výsledek vznikl. Pro zařazení tvůrce výsledku mezi domácí tvůrce je rozhodující, zda tento pracovně právní nebo studijní vztah trval v době vytvoření výsledku, nikoli rok uplatnění. Pro zařazení tvůrce výsledku mezi domácí tvůrce je též nutnou podmínkou uváděná afiliace tvůrce v publikaci, ve které se afiliace uvádějí (vždy se vyžaduje u výsledků druhu J). Toto je také rozhodující pří řešení rozporů domácích tvůrců.


Podvod za 100 tisíc


Konferenční příspěvek Martina Spousty z ÚČJF

si přivlastnila Přírodovědecká fakulta Palackého univerzity v Olomouci

Lež, příspěvek ve sborníku není!

Podvod za 120 tisíc


Závěr Metodika 2012 je velmi špatným nástrojem pro hodnocení VaV, ale Metodika 2013 je ještě horší, neboť její domnělé přednosti znamenají ve skutečnosti

další podstatný odklon od doporučení Auditu, mezinárodních standardů i zadání Ipn Metodika.

Metodiku 2013 je třeba odmítnout a platnou metodiku na přechodné období neměnit.

Obě Metodiky mají zhoubný vliv na jednánívědecké obce.

Záloha


II. pilíř předstírané excelence

Z Principů Metodiky 2013 před 276. zasedáním RVI

Z vypořádání připomínky Tomáše Jungwirtha k tomuto principu


alias

hodnocení kvality vybraných výsledků

II. pilíř předstírané excelenceZ Principů Metodiky 2013 před 276. zasedáním RVI

Z vypořádání připomínky Tomáše Jungwirtha k tomuto principu

Stejně jako jednooký „exceluje“ nad slepými

Po úpravě schválené RVVI


hodnocení kvality vybraných výsledků

Jeden z výsledků aplikovanéhovýzkumu, který změnil svět

Základní práce v Kao, C.K. , Hockham, G.A. Dielectric-fibre Surface Waveguides for Optical Frequencies.

Proceedings of the Institution of Electrical Engineers-London (1966) 113, p. 1151.


Praktická neproveditelnost některých kroků


Základní výzkum: teoretická nebo experimentální práce prováděná zejména za účelem získání nových vědomostí o základních principech jevů nebo pozorovatelných skutečností, která není primárně zaměřena na uplatnění nebo využití v praxi.

Výstupem aplikovaného výzkumu proto nejsou jen patenty a licence, ale také původní vědecké práce publikované ve špičkových mezinárodních časopisech, včetně Nature a Science.

Aplikovaný výzkum: teoretická a experimentální práce zaměřená na získání nových poznatků a dovedností pro vývoj nových nebo podstatně zdokonalených výrobků, postupů nebo služeb.

Citace ze zákona 130/2002 Sb.:


Panels will treat on an equal footing excellence in research across the spectrum of applied research, practice-based and basic/strategic research, wherever that research is conducted.

Panel criteria encompass a range of indicators of excellence that are sufficiently broad to enable them to recognise the distinctive characteristics of applied research and practice-based research, and to ensure that they apply their quality benchmarks equitably.

Podobně je tomu v hodnocení prováděném ve Francii a jiných zemích a tak by to mělo být i u nás.


Závěry a doporučení Závěrečné zprávy mezinárodního auditu výzkumu, vývoje a inovací v České republice

5.1. ZávěryHodnocení v českém systému VaVaI funguje špatně. Použití Metodiky hodnocení (...) deformuje chování, snižuje stabilitu výzkumného systému (..) Obecně bere hodnocení v potaz nevhodné ukazatele. je přespříliš zaměřeno na výstupy a poskytuje málo informací o tom, zda jsou státní zásahy úspěšné a zda programy splňují vytčené cíle. V paxi hodnocení je třeba provést radikální změny (...)(s. 83)


5.2. Doporučení7. Metodika hodnocení není vhodná pro účely, jimž má sloužit. Přináší pokřivení struktury i chování a je překážkou mnohým aspektům rozvoje národního systému výzkumu a inovací. Metodika hodnocení by měla být nahrazena systémem výkonnostních smluv, které by zahrnovaly perspektivní i retrospektivní složky, podpořené kombinací objektivních indikátorů a hodnocením nezávislým mezinárodním hodnotitelským panelem.

8. Systém hodnocení VaV v ČR je široce zaměřen na počítaní výstupů na úkor pochopení politických intervencí a jejich dopadů. Poskytuje tedy informace, jejichž relevance je přinejmenším omezená. Hodnotící praxe by měla být od základu reformována s tím, že bude zaměřena na výsledky a dopady a bude přispívat k rozvoji politik a programů a k plánování. Kromě jiného bude zahrnovat implementaci „kaskádového principu“, jenž znamená, že úrovně řídící hierarchie používají nezávislou expertízu pro hodnocení nižších hierarchických úrovní, ale nehodnotí samy sebe.


návrh multikriteriální metodiky hodnocení 2013

Documents