prezentácia_miroslav medveď

Hodnotenie spoločenských vied

pomocou WoK databáz

Miroslav MedveďAnalytik ARRA

Predpokladané problémy WoK databáz

1) Odlišné publikačné zvyklosti

2) Slabé pokrytie spoločenských vied vo WoK databázach

3) Lokálnosť výskumu

4) Preferencia angličtiny

Odlišné publikačné zvyklosti 1

• Drvivá väčšina výskumu v PRIR je publikovaná formou článkov, ale SPOL sa zameriavajú viac na knižné publikácie

• PRIR majú základné pojmy zadefinované, výskum prebieha v istých mantineloch (časopis ako vyjadrenie konsenzu)

• v SPOL sú aj čiastočne súperiace paradigmy (kniha ako prostriedok na pretlačenie svojej pozície)

• Články v SPOL tvoria 40-60% publikácií a cca 50% citácií• Ale v ekonómii, psychológii a práve sú články

jednoznačne najdôležitejším médiom• Dlhoročný trend rastu článkov a citácií v SPOL

časopisoch celkovo

Odlišné publikačné zvyklosti 2

• Spoločenské vedy majú menší počet citácií • Menej spoluautorov -> menej článkov -> menej citácií

• Priemer u PRIR je 4.7 a výrazne stúpa (50% za 20 rokov); priemer u SPOL (okrem psychológie) je 1.9 a stúpa len pozvoľne (36%) a iba polovica článkov má viac ako jedného autora

• Psychológia má ale v priemere až 3.2 autora na prácu a 60% rast

• Vyšší vek a menej referencií -> počet citácií rastie pomalšie• Priemerný vek referencií v biomedicíne je 7-8 rokov; v

sociológii až 12.5 roka• Ale ekonómia a psychológia má rovnaký priemerný vek

referencií ako napr. matematika či fyzika tuhých látok

Pokrytie SPOL vo WoK databázach 1

• 79% referencií v SCI bolo na iné články v SCI• Len 45% referencií v SSCI bolo na iné články v SSCI (2002)

• Fragmentácia ako výsledok interdisciplinarity: čím menší presah do iných disciplín v SPOL, tým menšia fragmentácia vnútri odboru a tým väčšie pokrytie WoK databázami

• Najmenej fragmentované a zároveň najstabilnejšie odbory SPOL sú ekonómia a psychológia, ktoré majú zároveň najvyššie pokrytie

• Od roku danej štúdie (2002) sa počet sledovaných SPOL časopisov vo WoK databázach zvýšil o takmer 50%, týždenne pribúda 3 000 nových záznamov a 60 000 nových referencií

Pokrytie SPOL vo WoK databázach 2

• Bradfordovo pravidlo: v každom vedeckom odbore je ‘core’ literatúra obsiahnutá v malom počte publikácií

• Z takmer 8 000 impaktovaných časopisov sa cez 50% odvolávalo na články z top 300 časopisov

• Až 90% citácií sa vzťahovalo na články z 3 000 časopisov

• Teoreticky pre sledovanie väčšiny vedeckej produkcie stačí sledovať malé množstvo najvýznamnejších časopisov

• Z najmenej fragmentovaných odborov je väčšina signifikantných časopisov sledovaná WoK dat.

Lokálnosť výskumu

• PRIR zamerané medzinárodne; SPOL majú aj silné regionálne zameranie bez medzinárodnej ašpirácie

• Aj výsledky lokálneho výskumu by mali byť dostupné medzinárodnej vedeckej komunite

• Badateľný trend odklonu od čisto regionálneho výskumu – práce sú viac publikované v medzinárodných časopisoch na úkor domácich

• Postupná homogenizácia v SPOL: globalizácia, rozširovanie internetu, nadnárodné financovanie so zameraním na medzinárodnú spoluprácu, dôraz na publikácie vo vysoko impaktovaných časopisoch

Preferencia angličtiny

• Jasná prevaha anglických článkov (WoK 90%) – môžu uniknúť niektoré publikácie

• Angličtina je svetový jazyk vedy – ak vedcovi záleží na tom aby jeho práce mali dosah, musí písať v angličtine

• Internacionalizácia vedy – väčšina vedcov je z neanglicky hovoriacich krajín, a predsa aj podľa najväčšej databázy periodík (Ulrich’s) je až 75% SPOL článkov v angličtine

• Väčšina európskych vedcov publikuje radšej v angličtine• Preferencia angličtiny – prirodzená snaha o pokrytie

najlepších časopisov

Angličtina na Slovensku

Slovakia Art Cit Cit/Art 10+CitSS Art 3366 5292 1.57 80SS Art in SK 1025 635 0.62 0SS Art in ENG 1990 4367 2.19 80

Hungary ArtSS Art 5466SS Art in ENG 5190SS Art in HUN 103

% SVK ENG Art 59.12% HUN ENG Art 94.95

• Slovenské SPOL články písané v angličtine majú priemernú citovanosť 2.19; SPOL články v slovenčine majú priemernú citovanosť len 0.62

• Všetkých 80 článkov s viac ako 10 citáciami je výlučne v angličtine

• Slovenská produkcia v angličtine je menej ako 60%, zatiaľ čo v Maďarsku je to až 95%

Porovnanie Slovenska so svetom a vybranými krajinami

• Ak existujú Slovensku podobné krajiny v ktorých je hodnotenie pomocou WoK databáz použiteľné, nie je dôvod hodnotiť Slovensko podľa iných kritérií

• Ak v porovnávaní Slovensko nebude dosahovať dostatočné výsledky ale ostatné krajiny áno, nie je to chyba databáz, ale znak toho, že možno daný odbor na Slovensku nie je kvalitný

• Vybrané krajiny: V4, Estónsko, Slovinsko, Ukrajina, Švédsko a Turecko

• Sledované údaje: priemerný počet citácií na prácu, H-index krajiny, top1, top10 a top100 článok

Fields 2001-2010Molecular Biology & Genetics 24.56Immunology 20.22Neuroscience & Behavior 18.26Biology & Biochemistry 15.85Microbiology 15.32Space Science 13.80Clinical Medicine 12.77Pharmacology & Toxicology 12.30Environment/Ecology 11.29Psychiatry/Psychology 11.10Chemistry 10.74All Fields Avg 10.48Geosciences 9.35Physics 8.14Plant & Animal Science 7.51Agricultural Sciences 7.39Materials Science 6.93Economics & Business 6.33Multidisciplinary 5.52Social Sciences, general 4.95Engineering 4.72Computer Science 3.75Mathematics 3.50

Základné tabuľky(svet)

2001-2010 Best Art 100th Art

Economy 883 239Social Sci 620 214Psychology 2037 399Mathemathics 2280 144Agriculture 699 194Sociology 1274 95

All Best Art Economy 1944Sociology 1274Psychology 3366

Ekonómia 1

• Svetovo porovnateľná napr. s vedami o materiáloch, mierne horšia citovanosť ako fyzika, ale takmer dvojnásobne lepšia ako matematika – ak hodnotíme matematiku bibliometricky, nemal by byť problém ani s ekonómiou

• Môže ale existovať problém špecifický pre post-komunistické krajiny (slabý výskum za komunizmu, chýbajúce elity) – ak sa dá väčšina postkomunistických krajín hodnotiť cez databázy WoK, musí to byť aplikovateľné aj na Slovensko (nemáme radikálne iné podmienky ako Maďarsko, Poľsko či Slovinsko)

• Výsledok – všetky sledované parametre – priemerná citovanosť, H-index, aj najlepšie články sú na tom niekoľkonásobne horšie ako vo väčšine sledovaných krajín

• Ostatné krajiny (až na dve) sa dajú hodnotiť pomocou WoK d.

Ekonómia 2

• Celkový citačný výkon Slovenska v ekonómii je na úrovni Thajska, Malajzie, Kene, Filipín, Etiópie, Kolumbie a Indonézie

• Čo sa týka priemernej citovanosti na prácu, tak je na tom Slovensko druhé najhoršie zo všetkých krajín

94-11Art Cit Cit/Art Top1 Top10 H-index

SK 1262 770 0.61 22 9 9CZE 2927 2665 0.91 123 28 18HUN 1033 2682 2.60 230 45 23POL 1340 4448 3.32 266 92 30SLO 679 1603 2.36 149 30 17EST 223 444 1.99 40 10 10SWE 5938 45136 7.60 537 193 77TUR 2444 9433 3.86 100 54 36UKR 613 316 0.52 20 11 10

Econ

Psychológia 1

• Celkovo je psychológia na úrovni chémie, farmácie a geovied, lepšie ako fyzika a približne trojnásobne lepšie ako matematika – zo svetového hľadiska žiadny problém

• Zo sledovaných krajín sme len tesne pred Ukrajinou, zhruba dvojnásobne zaostávame za Českom a Slovinskom, trojnásobne za Tureckom a Poľskom, a viac ako štvornásobne za Maďarskom

• Česko a Maďarsko majú cca desaťnásobne viac citované najlepšie práce

• Psychológia je pomocou databáz WoK hodnotiteľná úplne bez problémov

• Slovensko je vo svete na úrovni krajín ako Libanon, Thajsko, Kuvajt, Malajzia, Uganda a Pakistan

Psychológia 2



Psi

Sociológia 1

• Keďže sociológia nemá vlastnú ESI kategóriu, je porovnanie s ostatnými odbormi možné len odvodene – vychádza na tom horšie ako ekonómia, ale stále lepšie ako matematika či počítačové vedy

• Aj stá najlepšia práca svedčí o väčšej fragmentácii a menšom zastúpení sociológie ako odboru

• Čísla sa ale stále držia vysoko nad úrovňou humanitných vied a je zrejmé, že už boli položené isté konsenzuálne základy sociológie ako vedy

• Celkovo sa H-indexy krajín držia na jednociferných číslach a iba Švédsko dosiahlo viac ako 100 citácií na článok

• Je teda prekvapivé, že viacero sledovaných krajín dosahuje v sociológii lepšie priemerné výsledky ako v ekonómii

Sociológia 2



Socio

• Slovensko sa opäť medzi sledovanými krajinami drží v spodnej tretine, tesne pred Ukrajinou a Poľskom, viac ako trikrát horšie ako Slovinsko a Maďarsko

• Celkovo sa hodnotenie sociológie pomocou WoK databáz dá odporučiť, ale je potrebné prihliadnuť na vyššiu fragmentáciu odboru

Zhrnutie

• Po zvážení hlavných argumentov sa dá povedať, že minimálne na hodnotenie najmenej fragmentovaných SPOL odborov ktoré majú vlastnú ESI kategóriu (psychológia a ekonómia) je používanie databáz WoK bez väčších výhrad

• S istou dávkou opatrnosti by sa dali hodnotiť aj ďalšie vybrané odbory SPOL, napríklad sociológia

• Tiež sa ukázalo, že väčšina krajín podobných Slovensku má v sledovaných odboroch relatívne dobre merateľnú výkonnosť a nie je dôvod neaplikovať rovnaké hodnotenie aj na slovenskú vedu

• Ak pri hodnotení nevyšli za Slovensko žiadne solídne výsledky, nejedná sa o chybu WoK databáz, ale o reálne slabšie pokrytie týchto odborov na Slovensku

Poznámka na záver

Aj keď za posledných 20 rokov počet študentov SPOL

na Slovensku niekoľkonásobne stúpol (1988=14 800

študentov, 31% podiel --> 2008=68 800 študentov a 52,5%

podiel), vedecká produkcia vzrástla len nepatrne a žiadny

slovenský vedec nie je zaradený do 'Highly Cited Scientist’

Databázy. Napríklad z Maďarska sa v tejto databáze v

rámci 'Social Sciences, General' nachádza Andras P.

Schubert, čo dokazuje že ani v našich končinách nie je

nemožné dostať sa v spoločenských vedách medzi svetovú

elitu.

Ďakujem