Scientometrie

Účel scientometrie• Hodnocení kvantity a kvality vědecké

práce jedinců, vědeckých týmů, národní vědy

• Rozpoznávání trendů ve vědeckém výzkumu

Základní problém:

• Vědeckou hodnotu „objevu” nelze dopředu nijak určit, právě tak není možné objektivně zpětně určit přínos jednotlivých vědců k učinění určitého objevu.

Řešení:

Nutno většinou spoléhat na nepřímá měřítka a pomocná kritéria, o kterých je možné se domnívat, že budou alespoň do určité míry odrážet kvantitu a kvalitu vědecké práce.

Měřítka kvality vědecké práce

• Přímá měřítka– Výsledek evaluace (často velmi subjektivní)

• Nepřímá měřítka– Počet publikací– Počet ohlasů na jednotlivé práce– Počet získaných grantů– Známost ve světovém měřítku (kongresy, ceny,

výsledky anket, www)

Které z nepřímých měřítek zvolit?

• Technické hledisko (časová a finanční náročnost)

• Přesnost výsledků (korelace se skutečnou kvalitou)

• Společenská “nebezpečnost” (jaký typ chování členů vědecké komunitu budeme podporovat)

Typy vědeckých publikací

• Monografie, kapitoly ve sbornících• Učebnice• Přehledné články (review)• Původní práce v odborných časopisech• Abstrakty z konferencí (přednášky, plakátová

sdělení)• Popularizační literatura

Není článek jako článek• Rozsah článku, Full paper x short paper, research note,

letter to editor, corrigendum• Kvalita časopisu

– Přísnost recenzního řízení (podíl nepublikovaných rukopisů)– Zahrnutí do databází (WOS, SCI, BA, Medline - Pubmed)– Impakt JIF (Journal impact factor)– pozor na predatorské časopisy

• Elektronická verze (green (autoarchivace) vs. gold open access, PeerJ)

• Jazyk• Počet a pořadí spoluautorů

Ohlas (citační) článkůScience Citation Index (Institute for Scientific Information, Dr. Eugene Garfield). Social SCI, Arts and Humanities CI. Databáze od roku 1973 (1940). 3500 časopisů, (SCI Expanded - 5600, 16000 nových záznamů týdně).On line forma = Web of Science Core CollectionThompson Reuters – 7 databází včetně SCI.Pokrývá asi 10% všech časopisů ale 90% citací.2010: 42 488 092 záznamů od r. 1945, 36 965 týdně

Citační indexy

• Celkový počet citací (lifetime citation counts)• Citační index (impact ratio)• H-index (Hirsh index) počet článků (H)

citovaných alespoň H-krát• Impakt faktor časopisu• Index včasnosti (immediacy index) (ohlas v

roce vydání)• Citační poločas (cited half-life) počet let

dozadu pokrývající polovinu citací článků daného časopisu v daném roce)

Úskalí citační analýzy

• Mezioborové rozdíly v citačních zvyklostech (podíl článků necitovaných 5 let po vyjití: Biochemie, mol. Biol. 20%, Sociální vědy 75%, Humanitní vědy 95%)

• Metthewův efekt (úspěch přitahuje úspěch)• Autocitace (20%), Tit For Tat, efekt děda Vševěda• Citován může být článek i v negativní souvislosti• První písmeno jména autora údajně vysvětluje 33%

variability v citovanosti (už není pravda), 10% citací obsahuje chyby - nevýhoda složitých jmen.

Úskalí hodnocení impaktu časopisu (JIF)

• Zahrnuto pouze 10% časopisů, ne vždy těch nejkvalitnějších

• I v časopisech s nejvyššími JIF vycházejí články, které nikdo nikdy neodcituje (Nature 3,8%, Science 5,1%)

• V některých oborech má citační ohlas zpoždění a přitom JIF se počítá jako poměr počtu citací článků vyšlých v minulých 2 letech ku počtu článků publikovaných v daném časopise v uplynulých 2 letech (lze posoudit dle citačního poločasu)

• Technické důvody rozdílů v JIF (rychlost tisku, editoriály, letters to editor, monotematická čísla)

Journal Citation Reports ISI

Impaktní faktory časopisů

3 000

1 500

0<1 <2 <3<4<5 <6<7

Medián 0,6

Počet citací/článek/2 roky

1998 2005 2010

Cell 38,7 29,4 34,9Nature 28,8 29,3 36,1Science 24,4 30,9 31,4Am. J. Epidemiol. 3,7 5,1 5,7Biochem. J. 3,9 4,2 5,0Biological Chem. 2,6 2,6 3,6

Am. Zool. 2,3

Cell. Mol. Biol. 1,2 1,0 0,83Folia Parasitol. 0,71 1,1 1,5Folia Microbiol. 0,52 0,92 0,98Folia Zoologica 0,31 0,59 0,55Folia Geobot. 0,61 1,0 1,2Geology 2,1 3,0 4,0Am. J. Botany 2,1 2,6 3,1medián 0,89 1,04 1,27počet časopisů 5467 6088 8073

Median 1,3

Výhody současného systému hodnocení vědecké práce

• Technicky snadno proveditelné• Poskytuje objektivní a reprodukovatelné

výsledky, tyto výsledky pro větší soubory jedinců patrně slušně odrážejí kvalitu vědecké práce (hodnocení vědeckých týmů)

• Motivuje k dokončování a publikování výsledků

• Zvýhodňuje pilné

Nevýhody současného systému hodnocení vědecké práce

• Pokud je mechanicky používán k hodnocení jednotlivců, může být velmi zavádějící

• Motivuje nikoli k „honbě za poznáním”, ale k honbě za publikacemi

• Negativně ovlivňuje kvalitu publikací (rozkouskovávání, předčasné publikování nehotových výsledků, zamlžuje problematiku spoluautorství)

• Vede k nadprodukci vědeckých článků• Vede k poklesu kvality recenzních řízení a tedy i

kvality publikací• Motivuje k falšování (vylepšování) dat

Jak si zvýšit citační ohlas

• Publikovat v kvalitních časopisech (je třeba sledovat i indexy včasnosti)

• Pohlídat, aby kopie rukopisu byla co nejdříve na webu

• Rozeslat kopii článku pracovníkům v oboru• Jezdit na kongresy, spolupracovat s jinými

skupinami, publikovat přehledné články• Publikovat hodně, střídat časopisy

Závěry

• Lepší nějaké objektivní měřítko než žádné• Současný systém má mnoho nedostatků, je

však obtížné navrhnout nějaký lepší• Při hodnocení jednotlivců nutno kombinovat

různá měřítka (včetně evaluace autorem vybraných několika nejlepších publikací)

• Je dobře znát zásady současného systému hodnocení, ale je eticky nepřípustné mu příliš podřizovat styl práce