Francesco Sylos Labini

Centro Enrico Fermi & Istituto dei Sistemi Complessi, CNR, Roma

& ….

Valutazione e bibliometria

2

Contro la valutazione ?

3

4

Contro la valutazione ?

5

Contro la valutazione ?

Contro la bibliometria?

7

Contro la valutazione ?

Contro la bibliometria?

F: Il feticcio bibliometrico

VQR: gli indicatori bibliometrici In particolare verranno considerati:• l’Impact Factor di Journal Citation Reports di Thomson Reuters (IF) della rivista nell’anno di pubblicazione;• il numero di citazioni ricevute dal prodotto fino al 31 dicembre 2011http://www.anvur.org/sites/anvur-miur/files/gev_documenti/gev02_criteri_21_05.pdf

VQR: gli indicatori bibliometrici In particolare verranno considerati:• l’Impact Factor di Journal Citation Reports di Thomson Reuters (IF) della rivista nell’anno di pubblicazione;• il numero di citazioni ricevute dal prodotto fino al 31 dicembre 2011http://www.anvur.org/sites/anvur-miur/files/gev_documenti/gev02_criteri_21_05.pdf

Report on the pilot exercise to develop bibliometric indicators for the REF

Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF

http://www.hefce.ac.uk/pubs/year/2009/200939/

Solo gli apprendisti stregoni credono nelle ricette magiche

•Competenza scientifica

•Studio delle esperienze internazionali

•Un’agenzia di valutazione tecnicamente ed eticamente adeguata

http://ricercatorialberi.blogspot.com 13

Valutazione: strumenti bibliometrici

• Rapporto dell'accademia delle scienze francese esprime con chiarezza tutti i limiti di questo tipo di analisi

• E' uno strumento utile che però deve essere affiancata alla valutazione analitica e di merito dei lavori scientifici.

• Può servire, quando ci sono molti candidati, a fare una rapida panoramica senza che essa costituisca un elemento decisivo della valutazione.

• Non si applica a ricercatori giovani

• Non può prescindere da una valutazione di merito sul contributo del singolo autore nei lavori a più autori.

• Non può essere usata per confrontare ricercatori di discipline diverse.

• Bisogna capire la dinamica (storica)

14

Valutazione: strumenti bibliometrici

15

16

17

18

19

Ike Atkare

20

Valutazione: strumenti bibliometrici

“Before we develop a pseudoscience of citation analysis, we should remind ourselves that what matters absolutely is the scientific content of a paper and that nothing will substitute for either

knowing it or reading it. We should also recognize that citation often tells us more about the sociology

of than about the science itself”

Sydney Brenner “Citation Science”

Science 3 July 1998: Vol. 281 no. 5373 p. 53

21

Problema chiave

Se una ipotetica commissione che avesse dovuto

decidere del finanziamento di un “progetto” al

tempo T0 che poi ha portato al “Nobel” al tempo

T1>T0, ed avesse applicato un dato criterio (ad

esempio metrico) avrebbe preso la decisione

giusta?

22

Prevedere il futuro …..

Problema chiave

23

Analisi dei criteri di valutazione da un punto di vista storico

Problema chiave

24

•Top 5%

•Spazio alle fluttuazioni (30-60%)

•Finanziamento a pioggia (100%)

Strategie per la divisione della torta

La competizione è il motore della ricerca ?

27

Strategie per la divisione della torta

La competizione è il motore della ricerca ?

Ideologia

realtà

“…. Nella ricerca conta solo l' eccellenza: ciò che non è eccellente non lascia traccia nella Storia.”

(Francesco Giavazzi, 22.11.2004, Corriere della Sera)

30

The two papers in Science 2004 and Nature 2005 are the most cited papers on graphene … The Science paper has also been acknowledged as “one of the most cited recent papers in the field of Physics”.

2010

Davvero?

E in Italia …

•FIRB numero di domande presentate è 3.000-4.000, probabilità di successo del 2% per ogni progetto (nel 2008 2,8%).

Per superare la pre-selezione nel 2010 è stato necessario avere 60/60

•Quanto costa il tempo per preparare progetti che al 98% non verranno finanziati

•European Research Council (Erc) : nel 2009 9,4% dei progetti presentati: 3 volte maggiore rispetto a quella italiana

32

http://lanl.arxiv.org/abs/1008.1586

33

http://lanl.arxiv.org/abs/1008.1586

34

35

Mentre la “domanda della regina” è stata la cartina di tornasole per mostrare che ci fosse un problema fondamentale nell’attuale ricerca economica, nello stesso periodo i cui questa domanda è stata posta è stato reso pubblico il risultato della valutazione per le discipline economiche in Inghilterra.

Il risultato è stato sorprendente: l’economia come disciplina non ha ottenuto solo un buon piazzamento, ma ha avuto la migliore valutazione accademica di tutte le discipline in Inghilterra

E’ chiaro infatti che ci sia un problema fondamentale con l’attuale corso della disciplina economica se la più grande crisi globale mai avvenuta dal 1929 è esplosa lasciando la maggior parte degli economisti sorpresi.

“Com’è possibile che una valutazione così errata sia potuta accadere?”

• In the natural sciences, outside revolutionary periods, all the scientists accept the same paradigm.

Valutazione

• In the social sciences, however, social scientists are divided into competing schools. Each school has its own paradigm, but these paradigms are often very different from each other.

• The contrast is between a single paradigm and a multi-paradigm situation.

412002

42

43

Distretto 13: un GEV da Oscar

Distretto 13: un GEV da Oscar Giannino6 “primi firmatari” +2 firmatari del manifesto di“Fermare il declino”

Siamo noi la libertà, siamo noi la California

48

49

Supponiamo di avere un sistema di separazione dai diamanti ordinari dei diamanti rosa che hanno un valore, diciamo, mille volte superiore ai primi. Supponiamo che questo sistema funzioni in modo molto efficiente nell’eliminare diamanti difettosi senza valore, ma abbia anche un difetto fondamentale: ogni tanto invece di eliminare il diamante imperfetto, elimina i diamanti rosa. Si può ben suppore che una volta scoperto questo difetto i produttori di diamanti smetterebbero subito di usarlo. Un’organizzazione sbagliata della ricerca può avere lo stesso difetto: buttare via il diamante rosa, i ricercatori che si ostinano a lavorare su ricerche di minoranza, magari impopolari per il momento, ma che sono destinati a produrre brillanti risultati in futuro”.

•Campi con diversi paradigmi

•Campi in cui i soggetti non sono “universali” (o globali)

•Campi interdisciplinari

•Campi applicativi

Aspetti critici (ed irrisolti)