… válaszra várva … (mire jó a frakcionált desztilláció?)

Zolnai László Papp Zoltán

Adománné Zolnai Dóra:

Atomki, 2012. szeptember 20.

Bevezetés (indikációk) 1) Hogyan fogják mérni az akadémiai átszervezés (és/vagy a

kutatóegyetemi pályázatok) eredményességét intézményi szinten?

► Sok száz, ezer publikációról, hivatkozásról van szó► Valószínűleg szerepet kapnak a tudománymetriai eszközök, nem mindegy, hogy ezek milyenek lesznek, feltehetően hajaznak az 1996-os MTA konszolidációnál alkalmazottra (tudománymetriai mutatók (indikátorok) lineáris kombinációja)(pl. akkor a nemzetközi együttműködésben elkövetett publikáció pozitív tett volt, aminek folyománya a jelenlegi helyzet)

2) Mire lesz jó az MTMT? (308 MFt, rossz? Pisztoly)Addig is fennáll a veszélye, hogy az MTMT nem teljes adatait fogják használni.

Közvetlen előzmények: A frakcionális mutatók szerzői és intézményi szinten való alkalmazásáról a Magyar Tudományban zajló vita A frakcionális mutatók feltüntetésének visszautasítása az MTMT által(mit szólnak az egyetemek?)

2...válaszra várva... Atomki, 2012. szeptember 20.

Kutatás és kutatásértékelés; szabályozási ciklus

Kutatási feltételek számbavétele, a kutatás tervezése Kutatási erőforrások igénybevétele, és a kutatás kivitelezése

Kutatási eredmények publikálása, majd hivatkozások

megjelenése Publikációs - hivatkozási listák kialakulása A publikációs - hivatkozási listákból származtatott

statisztikák, mutatók (indikátorok) létrehozása A szóban forgó kutatás eredményességének értékelése, a

tudománymetriai mutatókon kívüli szempontok figyelembe vétele

A kutatási feltételek változtatása, döntés a kutatás folytatásáról, támogatásáról, további irányairól

► Lényeg: A folyamatot releváns mutatókon keresztül szabályozzák


Publikációk szétosztási (leszámolási) módozatai(Gauffriau et al., 2008) 19-et sorol fel. Itt csak a 3 legfontosabb:

1) Egészben való szétosztás (minden résztvevő kap egy pontot (credit) minden szinten) (whole (integer) counting)

2) Az első résztvevő kap egy pontot minden szinten (first author counting)

3) Frakcionális egyenlő szétosztás (a szintenkénti résztvevők számával beosztott pontot kap minden résztvevő minden szinten)(whole normalized counting)(az általunk alkalmazott a szerzői egyenlő részesedésen alapul)

Megkülönböztethető: szerzők, intézmények(szervezeti egységek), országok, stb. szintje. Mindegyiken más a tét.

A szétosztás kiterjesztendő a hivatkozásokra, összesített impaktra, stb.

Magyarországon túlnyomórészt az egészben való szétosztást alkalmazzák („X. Y. publikációi”) (a frakcionálisan egyenlő szétosztást pl. az SzBK, BME belső használatra alkalmazza)

Az EU és USA gyakorlata is eltérő (miért? kooperativitás) 4...válaszra várva... Atomki, 2012. szeptember 20.

Egy tipikus cikkfejzet


Gyakorló feladat a szerzői részesedésen alapuló frakcionálisan egyenlő szétosztásra

Szereplő (aktor)

Pont (kredit)

(Első aktor szerint) (pont)

(Egészben való) (pont)

(Egészben való)

(pont)(CMS)

K. Varga 1/2 1 1

Y. Suzuki 1/2 0 1

Niigata University

4/6 1 1

RIKEN (Hirosawa)

1/6 0 1

Atomki (Debrecen)

1/6 0 1

Japán 5/6 1 1

Magyarország 1/6 0 1

Sokszorozási tény.

1-1-1 1-1-1 2-3-2 40-170-2300


Házi feladat:Egy „sokintézetes” cikkfejzet


A frakcionális szétosztás szükségessége; irodalom„The payoff in brownie points of publications or

citations must be divided among all the authors listed on the byline, and in the absence of evidence to the contrary it must be divided equally among them.” („A publikációk és hivatkozások után járó jó pontokat a fejzetben szereplő szerzők között kell szétosztani, mégpedig – ellentmondó tény hiányában – egyenlő arányban”) (Price, 1981).

Illetve, lásd a hazai hatályos szerzői jogi törvényt.


A frakcionális szétosztás szükségessége; hazai előjelek A sokszerzős publikációk tömeges megjelenése. Ennek az oka a

pályázati rendszer bevezetése, ami az USA-ban a 40-es években jelent meg (Price, 1981) (hazánkban 80-as évek közepe)

A publikációk non-additivitása („sokszorozódása”) minden aggregációs szinten(PSCI(2011): Atomki=253, RMKI600; 137, KFI+ ~170 int.)

Intézményi szinten tudományterületi sokszínűség kezelése?

Mobilitás (intézmények között, pl: D. B.: IF=877, C=5068)(tudományterületek között, pl.: T. K.: PA/R~250/250)

Az Atomki publikációi számának alakulása (az intézet kutatóinak száma a 1980-óta ~100 körül alakult)[10. dia]

Előfizetés helyett „publikációs díj”?


A frakcionális szétosztás szükségessége; hazai előjelek A sokszerzős publikációk tömeges megjelenése. Ennek az oka

a pályázati rendszer bevezetése, ami az USA-ban a 40-es években jelent meg (Price, 1981) (hazánkban 80-as évek közepe)




Előfizetés helyett „publikációs díj”?11

...válaszra várva... Atomki, 2012. szeptember 20.

A frakcionális szétosztás szükségessége; hazai előjelek A sokszerzős publikációk tömeges megjelenése. Ennek az oka

a pályázati rendszer bevezetése, ami az USA-ban a 40-es években jelent meg (Price, 1981) (hazánkban 80-as évek közepe)






A frakcionális szétosztás szükségessége; hazai előjelek A sokszerzős publikációk tömeges megjelenése. Ennek az oka a

pályázati rendszer bevezetése, ami az USA-ban a 40-es években jelent meg (Price, 1981) (hazánkban 80-as évek közepe)



Az Atomki publikációi számának alakulása (az intézet kutatóinak száma a 1980-óta ~100 körül alakult)[10.,12.,14. dia]



Az Atomki saját részének vizsgálata I.

Az Atomki-s összesített impakt faktor trendje az évek során monoton nő, elérte az ~1/kutató/év-et [17. dia]

Ezzel együtt az SCI hivatkozások intézeti saját része is nő (eltekintve a 10-12 éves felfutási időtől) [19. dia]. Ez azért fontos, mert az összesített impakt faktor helyett a hivatkozásokat illik figyelembe venni.

A növekedés túlnyomórészt nem a használt folyóiratok impakt faktorának növekedéséből ered [21. dia]

A növekedés nem az anyagi ösztönzés változásának a folyománya[23. dia]

Az ok egyértelműen az intézeti SCI publikációk számának és átlagos impakt faktorának növekedésében van [25. dia]



Az Atomki-s összesített impakt faktor trendje az évek során monoton nő, elérte az ~1/kutató/év-et (1982-es adat: 0,25) [17. dia]



A növekedés nem az anyagi ösztönzés változásának a folyománya[23. dia]







A növekedés nem az anyagi ösztönzés változásának a folyománya [21. dia]



Néhány fontosabb folyóirat impakt faktorának alakulása


Az Atomki összesített impaktja saját részének összetétele


Az Atomki saját részének vizsgálata II.

Ez utóbbinak gyökerei (rangsorolás nélkül):

nyelvtudás javulása,mobilitás növekedése,szabadabb témaválasztás,külföldi berendezések igénybevételi lehetősége,teljes szövegű folyóirat-adatbázisok

hozzáférhetősége,publikációs gyakorlat megszerzése,pályázati „nyomás”stb.


A részecskefizika szerepeAz Atomki produktumában egyre nagyobb szerepet

játszanak a részecskefizikai publikációk [39., 41. dia]Két csúcs: OPAL, L3 (LEP 2003-4), CMS (LHC 2011-

től)Az Atomki-s SCI publikációkat tekintve a

részecskefizikai és a nem-részecskefizikai publikációk 2011-ben közel ugyanannyian voltak

Az összesített impakt faktort vizsgálva a részecskefizika ma már jelentős túlsúlyban van

A részecskefizikai publikációkat tekintve az RMKI-nak~2x több van (IF(2011): Atomki=848, RMKI1880; =553)(ATLAS, ALICE, PHENIX,PHOBOS, NA49, stb.)


Konklúziók I. A nemzetközi irodalomban ~1995-re lezárultak a

frakcionális mutatók alkalmazásával kapcsolatos viták (Rinia et al., 1993):● Az egészben való szétosztás módszere minden szinten megbízhatatlanná válik a kooperativitás ( = teljes rész/saját rész) növekedésével.● Az egészben való szétosztáshoz képest az első szerzős és a frakcionális szétosztás realisztikusabb, és a frakcionális mutató bizonyos esetekben jól közelíthető az első szerzős szétosztás szerint kapott eredménnyel.● A sokszerzős publikációk egyéb, speciális szempontok szerinti elbírálását (ezeket a szempontokat illetően ld. (Zolnai, 2008) [35. dia]) le kell választani azok tudománymetriai értékelésétől, vagyis a más tudománypolitikai megfontolások ne legyenek hatással a tudománymetriai eredményekre (árnyékmechanizmusok?).


Szempontok a sokszerzős kutatások értékeléséhez (Zolnai, 2008)olyan fontos kutatások végzésének lehetősége, amelyet

a hazai infrastruktúra hiánya nem tesz lehetővé,az elvégzett kutatás alkotás jellege, minthogy a

kísérleti (részecske)fizikai kutatások manapság nagyarányú fejlesztő munkát jelentenek,

a nemzetközi kapcsolatok fejlesztésének lehetősége,a hazai technológiai kultúra fejlesztésének lehetősége,a várható eredmények jelentősége,a nagy kollaborációk működésének biztosítására

fordított szervezői tevékenységben szerzett tapasztalatok

területi megfontolásokaz adott kutatás PR értékestb.


Konklúziók II. Fontos, hogy az egyes aktorok tevékenységét csak a hozzájuk

(közelitőleg) tartozó teljesítmény figyelembe vételével értékeljük. Nagy eredmény, hogy sok év után eldőlt az „intézeti publikáció” mibenléte (MTMT). Következmények?!

Számításba kell venni a publikációk szerző, intézmény és ország számát.►Ezért hazai intézmények kutatásértékelésénél elkerülhetetlen a frakcionális mutatók alkalmazása.

Tudománymetria Elvárt értékelés! A kutatásértékelés keveredik azzal a (jogos?) elvárással, hogy minden aktor szeretne elismeréshez jutni, kb. azonos munkabefektetéssel. A tudománymetria ezt képtelen kielégíteni, viszont az tudománytalan (és etikátlan), hogy a tudománymetriát úgy alakítsuk, hogy eleget tegyen ennek az elvárásnak!

Az Atomkinak előbb-utóbb állást kell foglalni a frakcionális mutatók alkalmazásának a kérdésében►Probléma: független részecskefizikai hivatkozások begyűjtése


Köszönöm:•társszerzőimnek a befektetett munkát, •a hallgatóság türelmét és figyelmét.


Egy üzletember ne legyen mohó!

(P. Howard: Vesztegzár a Grand Hotelben)

...válaszra várva... Atomki, 2012. szeptember 20. 47

Relevancia és megbízhatóság


Megbízhatóság

Mikroszint

Mezoszint

Makroszint

Rele

vanci

a

A frakcionálisan egyenlő szétosztás lehetőségei Szereplő (aktor)

↓Szerzői alapon (pont)

Intézményi alapon (pont)

Ország alapon (pont)

K. Varga 1/2 5/6 7/8

Y. Suzuki 1/2 1/6 1/8

Niigata University 4/6 1/3 1/4

RIKEN (Hirosawa) 1/6 1/3 1/4

Atomki (Debrecen)

1/6 1/3 1/2

Japán 5/6 2/3 1/2

Magyarország 1/6 1/3 1/2


Szétosztási sokszorozódás


Forrás: Németh Tamás: 183. közgyűlési beszámoló

Mat. és

term. tud.(MTA)

ATOMKI RMKI KKI

Év ↓

IF IF SCI pub

.

<IF>

IF SCI pub

.

<IF>

IF SCI pub

.

<IF>

2010

3174,3

327,70

142 2,31

985,30

401 2,46

543,39

176 3,09

2011

4814,4

810,38

237 3,42

1840,33

575 3,20

529,16

190 2,79

2011-2010 %

1640,1

51,6

7

482,6

147,27

95 1,11

855,03

86,78

174

0,74

-14,2

3

-2,62

14 -0,28...válaszra várva... Atomki, 2012.

szeptember 20. 51


Observation of a new boson at a mass of 125 GeV with the CMS experiment at the LHC ✩.CMS Collaboration (2899 authors)CERN, Switzerland

Physics Letters B 716 (2012) 1:30–61 (17 September 2012)

Chatrchyan S…..

G. Bencze, C. Hajdu, P. Hidas, D. Horvath19, F. Sikler, V. Veszpremi, G. Vesztergombi20, P. ZalanKFKI Research Institute for Particle and Nuclear Physics, Budapest, Hungary

N. Beni, S. Czellar, A. Fenyvesi, J. Molnar, J. Palinkas, Z. SzillasiInstitute of Nuclear Research ATOMKI, Debrecen, Hungary

J. Karancsi, P. Raics, Z.L. Trocsanyi, B. Ujvari, G. ZiliziUniversity of Debrecen, Debrecen, Hungary

Megjegyzések a publikációkhoz:

• A WoK-ból az APHA-ba beírt publikációk mintegy 25 %-a tölthető fel az MTMT-be (vörös színnel). Ilyenkor fellép a duplum szűrés szükségessége, aminek a jelenlegi verzióban kb. 50 %-os a hatásfoka. A maradékot kézzel kell szűrni.• Az MTMT-be a publikációk felét lehet rögzíteni.• Az MTA a publikációk 86 %-ról kér éves beszámolót.• Meggondolandó az „Egyéb publikációk” (többségében Annual Reportok) APHA-ba való rögzítése.

53

Megjegyzések a hívatkozásokhoz:

• Technikai okok miatt valószínűleg aaz ábrázoltnál több részecskefizikai, és kevesebb SCI hivatkozás van.

• A WoK-ból az APHA-ba beírt hivatkozások mintegy 75 %-a tölthető fel az MTMT-be (vörös színnel). Ilyenkor fellép a duplum szűrés szükségessége, aminek a jelenlegi verzióban kb. 50 %-os a hatásfoka. A maradékot kézzel kell szűrni.

54

… válaszra várva … (mire jó a frakcionált desztilláció?)

Documents