merész gergő: tudománymetriai adatok elemzése
DESCRIPTION
Merész Gergő: Tudománymetriai adatok elemzéseTRANSCRIPT
Tudománymetriai adatok elemzése a publikálási aktivitás és a társszerzői
hálózatok feltérképezésében
Merész Gergő
Merész GergőHungarian Natural Language Processing Meetup
2014. szeptember 25.
Miért pont tudománymetria?
• A biomedikális kutatásokon belül nem kifejezetten túlkutatott terület
• A rendelkezésre álló adatvagyon folyamatosan gyarapszik– Mennyiségében („közlési nyomás”)
– Minőségében (validitás – folyóiratok lefedettsége)
• Minimálisan finomított elemzési technikákkal széleskörben érthető, érdekes információ nyerhető ki
Mi az, ami hiányozhat?
• Elemzési kapacitás
– Az adatmennyiség szempontjából nem opció további humánerő bevonása
• A tudományterületek határainak áttörése
– Azonos, mindenki számára átlátható módszertannal
• Frissesség
– Az irodalmi hivatkozás önmagában kevéssé érdekes; inkább technikai célokat szolgál
– Kutatók „önkutatása” – saját magunkat lapogatjuk
Milyen adatok / eszközök állnak rendelkezésre?
• PubMed adatbázis
– Integrált, tudományos irodalmi adatbázis
– Egységes formátum (Medline), strukturált rekordok
• R statisztikai szoftver és csomagjai
– Rugalmas fejlesztési környezet
– Munkaigényes lehet
– Ingyenes
• Egyéb
– Inputok, amelyek a kérdésfeltevést közvetlenül segítik
Esettanulmányok
• #1: Egy tudományos testületbe történő beválasztás vajon növeli-e az illető publikációs aktivitását?
– Epidemiológiai módszertan alkalmazásával vizsgálható
• #2: Egy szakmai szerveződésben ki kivel szokott közös közleményt jegyezni?
– Hálózatkutatás módszertanával vizsgálható
(Ami közös: egyszerű nyelvfelismerő technikák alkalmazása szükséges)
Esettanulmány #1
• Frisch, IZA, John Bates Clark díjak hatása a közgazdászok publikálási aktivitására (Bricogne, 2014)– A díjak hatása nem egyértelmű a publikációk
mennyiségére, minőségére vonatkozóan– Igazolták, hogy valamilyen módon figyelemmel kell
kísérni a publikációk számának „természetes” növekedését az idő múlásával
• Mi a helyzet, ha valaki az International Society for Pharmacoeconomics and Outcomes Research (ISPOR) vezetőségébe kerül?
Elemzésünk lépései
• Adott volt a korábbi ISPOR Board of Directors tagok listája, és az időszak, amikor betöltötték a tisztséget
• Minden korábbi taghoz a tagságának megfelelő idejű „szűrési” és „követési” időszakot rendeltünk– Ezzel egy ún. historikus case-only vizsgálati
elrendezést hoztunk létre
• Ezután következhetett az adatgyűjtés
Elemzés folyamata
Keresőkifejezés összeállítása (tag neve és időablak)
Kapcsolódás a PubMed APIhoz / kifejezés küldése
Kapott XML fájlok mezőinek felbontása
adattáblákra
A közlemények összesítése az
adott időszaknak megfelelően
Kimeneti paraméter
pontbecslése
Értelmezés
Pontbecslés
• Szükséges volt egy olyan kimeneti paraméter becslése, amivel leírható a közlemények publikálásának időbeli „sűrűsödése”– A mutató neve: incidencia sűrűség hányados (ISH)
– Becslési módszertan: Poisson-regresszió (korrekció miatt)
• A következő képzelhető el: ha két év alatt összesen négy közlemény jelenik meg ugyanazon kutató neve alatt, a kapott IS-érték 2 közlemény / év lesz. Ha a rákövetkező két évben az illető kutató 10 közleményt közöl, erre az időszakra az IS-értéke 5 közlemény / év lesz, a két időszak hányados-mutatója pedig 5/2 = 2.5 lesz.
Eredmények
„Megelőző” időszak „Igazgatóság” időszaka „Követési” időszak
Átlagos éves publikációszám
2.62 / közlemény / év 3.97 / közlemény / év 4.32 / közlemény / év
ISH
---1.59
(ref. „megelőző” időszak)1.01
(ref. igazgatósági időszak)
MellékeredményekA közlemények 22.91%-ában (legmagasabb) a
kutatott személy az első szerző
Statisztikailag szignifikánsan több közlemény az előző időszakhoz képest
Átlagosan a legtöbb (5.94) társszerző itt!
Mit mondhatunk ez alapján?
• Ebben a testületben az újonnan beválasztott tagok
– A megelőző években „katalizálták” a közleményeiket
– Tagként látványosan keresettebbé váltak
– ...új „társszerző-barátokra” tettek szert (miután kifutották magukat tagként)
Esettanulmány #2
• A hazai tudományos közösségek aktivitásának mérése ritka, az erről folyó vita is inkább elméleti síkon „saját megítélés” alapján zajlik
• A META (Magyar Egészség-gazdaságtani Társaság) közösségében térképeztük fel a publikációs aktivitást és társszerzői hálózatokat
• Ez a vizsgálat minőségében tért el az előző példától
– Dinamikus populáció, nem adott egyedek csoportja
Eredmények– Tag / nem tag társszerző szerint
• Pontok mérete arányos a fellelhető publikációk számával
• Viszonylag kevés hub társszerző
• Eltérő méretű társszerzői hálózatok épültek ki
• A publikációs aktivitás a tagság bővülésével nőtt (inkább extenzív jellegű)
• Eltérő szerkezetű szerzői hálózatai vannak az eddigi elnököknek
Miért jöttünk el az NLP meetupra?
• Szerettünk volna bemutatkozni
• Lelkesek vagyunk
• Mentorokat keresünk!
– Ingyen dolgozunk jelenleg
– Kutatási ötletekre várunk
Hivatkozások
Jean-Charles Bricongne: Do prizes in economics affect productivity?LIEPP Working Paper, April 2014, nº24.
Elérhető: http://www.sciencespo.fr/liepp/sites/sciencespo.fr.liepp/files/WP-24-Bricongnes-LIEPP.pdf
[utoljára megtekintve: 2014. 09.25]
G Merész, G Gyurcsán, B Salfer: Easy come, hardly go: epidemiological methods toevaluate the effect of ISPOR Board of Directors memebership on publication activity.ISPOR 17th Annual European Congress, Poster, Amsterdam, The Netherlands,November, 2014.
Merész G, Földesi Cs, Nagyistók Sz, Vincziczki ÁZ. A Magyar Egészség-gazdaságtaniTársaság tagságának publikációs aktivitása. VIII. IME – META Országos Egészség-gazdaságtani Továbbképzés és Konferencia, előadás és poszter, Budapest, 2014. június18-19.