la valutazione della ricerca: quali strumenti?
TRANSCRIPT
La valutazione della ricerca. Quali strumenti?
Alberto Baccini (Unisi)
Valutare la ricerca?Milano, 30 settembre 2011
Alberto Baccini, Valutare la ricerca scientifica
Alberto Baccini, Valutare la ricerca scientifica
Valutare la ricerca?
La ricerca come bene pubblico Modelli di finanziamento della ricerca
Il modello tradizionale Academic earmarks Finanziare la ricerca «migliore»
Trasparenza: separare decisione politica da valutazione Il finanziamento ed i suoi meccanismi sono incentivi
per i ricercatori La scelta degli strumenti dipende dall’obiettivo della
valutazione
Alberto Baccini, Valutare la ricerca scientifica
Lo «scontro» sulla valutazione Impact Factor, H-index e derivati sono spesso usati
come una clava per scardinare le baronie nazionali. Altri negano che gli indicatori bibliometrici abbiano
qualsiasi significato ed utilità. Specialmente per le scienze umane.
Le misure bibliometriche sintetizzano informazioni sulla qualità e l’impatto della ricerca basate sulla peer review, secondo le pratiche condivise da secoli nella comunità accademica internazionale.
Il loro uso “accorto e consapevole” è utile per le decisioni sul finanziamento della ricerca.
Alberto Baccini, Valutare la ricerca scientifica
Qualità, importanza, impatto
Per qualità di un contributo scientifico si intende il riconoscimento che la ricerca è stata ben condotta in riferimento agli standard prevalenti (originalità, rilevanza, rigore metodologico…) in un certo momento del tempo. Un articolo pubblicato su una rivista che usa la peer review è di qualità Indicatori bibliometrici di produzione di qualità
Per impatto si intende il riconoscimento tributato ad contributo scientifico dalla comunità dei pari attraverso le citazioni in un dato intervallo temporale. Un articolo molto citato è un articolo con un elevato impatto nella comuità scientifica Indicatori bibliometrici citazionali
Per importanza di un contributo scientifico si intende la capacità di un contributo scientifico di influenzare nel lungo periodo le ricerche condotte da altri, di produrre conoscenza utilizzata da altri nel proprio lavoro, di aprire la strada a nuove vie per lo sviluppo della scienza Ricerca dimenticata e belle addormentate
Alberto Baccini, Valutare la ricerca scientifica
Ma gli archivi bibliografici e citazionali contengono tutte le informazioni rilevanti? ISI, Scopus, Google Scholar Archivi disciplinari (EconLit, PubMed ,
…) Non esistono discipline cui per la loro
natura speciale non possano essere applicati indicatori bibliometrici
Per alcune discipline al momento gli indicatori bibliometrici sono scarsamente affidabili
Alberto Baccini, Valutare la ricerca scientifica
Adeguatezza del grado di copertura
Alberto Baccini, Valutare la ricerca scientifica
Misure della produzione scientifica
Scopus Scholar
Umberto Eco 6 >1000
A.L. Barabasi 169 793
H. Moed 78 >1000
(26 settembre 2011)
Alberto Baccini, Valutare la ricerca scientifica
Le citazioni visibili
Alberto Baccini, Valutare la ricerca scientifica
Le citazioni visibili nelle varie discipline
Alberto Baccini, Valutare la ricerca scientifica
E’ opportuno adottare strumenti speciali (per alcune scienze sociali ed umane)? Ranking delle riviste/editori (Pontille-Torny 2010)
ERIH (European Reference Index for the Humanities) AERES list (Agence d’Evaluation de la Recherche e de
l’Enseignement Superieur) Australian ranking (Vanclay 2011)
Statistiche di produzione basate su cataloghi delle biblioteche (Torres-Salinas-Moed 2009)
Diffusione di un libro ha la stessa funzione della citazione (?)
Revisione dei pari Il controllo accademico nelle discipline al riparo dalla
scienza internazionale (Civr; Prin 2009)
Alberto Baccini, Valutare la ricerca scientifica
Revisione dei pari o bibliometria? In linea di principio nel caso di valutazioni che
riguardano grandi aggregati, la revisione diretta dei pari è da preferirsi solo se si ritiene che potersi avvalere di informazioni ex post migliori la qualità della valutazione Il VQR e le discipline umanistiche Il VTR e le discipline al riparo dalla “scienza
internazionale” La produzione mediana (per le commissioni di
concorso) La trasparenza dei dati (database controllabili)
Alberto Baccini, Valutare la ricerca scientifica
Conclusioni
La valutazione è necessaria I suoi strumenti sono da usare con estrema cautela L’autonomia della comunità scientifica deve essere
strenuamente difesa L’introduzione di meccanismi di valutazione rischia di
distorcere i comportamenti dei ricercatori in modi inopportuni
Il controllo esercitato per evitare errori di tipo I nelle procedure di valutazione, comporta un rischio elevato di incorrere in errori di tipo II (i diamanti rosa di Gillies 2008)
I processi di valutazione devono essere improntati alla massima trasparenza