Download - BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca
![Page 1: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/1.jpg)
![Page 2: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/2.jpg)
Burocrati Bibliometrici. La via italiana alla
valutazione dell’università e della ricerca
Alberto Baccini (DEPS Unisi e www.roars.it)
«Miti e riti della valutazione nell’università italiana»
Dip. studi internazionali, giuridici e storico-politici
Milano 13 giugno 2014
![Page 3: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/3.jpg)
Alberto Baccini, VQR di area13
Il cattivo disegno delle istituzioni …
Struttura napoleonica:
controllo ministeriale centralizzato Bleiklie, Ivar and Svein Michelsen. 2013. "Comparing He Policies in Europe." Higher Education, 65(1), 113-33
L’illusione delle istituzioni di first best
introduzione di elementi di modello competitivo
autonomia come primo passo per la competizione
riforma della governance (Gelmini)
valutazione oggettiva (ANVUR)
distribuzione premiale delle risorse
![Page 4: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/4.jpg)
Alberto Baccini, VQR di area13
… ha dato luogo ad un sistema sbilanciato
Ministro
Agenzia plenipotenziaria di valutazione (ANVUR):
tutte le attività di valutazione della ricerca
«assicurazione della qualità» della didattica
performance della macchina amministrativa delle università (decreto FARE)
Finanziamento alla ricerca multicentrico non coordinato
«The absence of a research funding agency creates a critical unbalance in
the governance of the R&D system, with the government decentralize
evaluation, but not the power to design research priorities, to address new,
explorative, research themes, and to set up innovative strategic funding
instruments.» [Reale, EGOS colloquium 2012]
![Page 5: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/5.jpg)
Alberto Baccini, VQR di area13
…governato di fatto da una élite
Il sistema attuale attribuisce indirettamente alla politica e ad una ristretta élite
«organica» ad ANVUR, un potere enorme e senza contrappesi su università e
ricerca
«The new rules are able to modify the composition of the actors influencing the
knowledge production in universities, with the reinforcement of those individuals
more involved in peer reviewing and bibliometric activities, and groups more capable
to colonize the disciplinary peer review committees. It is uncertain the extent to which
the mentioned transformation of individual professional habits would produce the
effect of reinforcing the universities, reducing their characters of loosely-coupled
organizations, or just re‐adjust the internal power distribution, without altering the
organizational characteristics.» (Reale 2012)
![Page 6: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/6.jpg)
Alberto Baccini, VQR di area13
Nessuno ha valutato i costi e benefici della
valutazione
“In primo luogo, il costo della valutazione (il termine “costo” va inteso in
senso lato, sì da includere tutte le conseguenze negative e tutti i costi diretti e
indiretti) necessario per consentire un’adeguata rendicontazione della spesa
pubblica (accountability) non dovrebbe mai rappresentare più di una quota
minimale del costo delle attività da valutare (per esempio meno dell’1%). In
secondo luogo, e più nello specifico, il costo totale dovrebbe essere inferiore
ai benefici prodotti da questa più accurata rendicontazione”. (Ben Martin
2012)
«Non vi sono evidenze adeguate che stabiliscano se sia meglio dare più risorse
a pochi scienziati oppure distribuire finanziamenti più piccoli a un maggior
numero di ricercatori. […] noi dovremo trovare il modo di stabilire quale
approccio funzioni meglio. E’ uno scandalo che miliardi di dollari siano spesi
per ricerca senza sapere quale sia il migliore modo per distribuire i
finanziamenti» John P.A. Ioannidis, Nature (2011)
![Page 7: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/7.jpg)
Alberto Baccini, VQR di area13
I Burocrati Bibliometrici della VQR
Valutazione universale
Valutazione bibliometrica accurata del singolo
prodotto di ricerca
Valutazione accurata del singolo ricercatore
Oggettività del processo di valutazione
Garantita da una élite di scienziati
Ed ora visto che lo strumento esiste lo applichiamo:
dottorati, università per chiamate etc.
![Page 8: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/8.jpg)
Alberto Baccini, VQR di area13
I problemi della VQR: assenza di fairness nella composizione dei
GEV
http://www.roars.it/online/gli-esperti-di-valutazione-allitaliana/
![Page 9: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/9.jpg)
Alberto Baccini, VQR di area13
BB: almeno 48 bibliometrie diverse
Fonte: A. Baccini, «Napoléon et l’évaluation bibliométrique de la recherche : le cas de l’Italie », Colloque Bibliométrie et indicateurs
de la recherche: enjeux et perspectives, Toulouse, 11 giugno 2013
![Page 10: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/10.jpg)
Alberto Baccini, VQR di area13
BB: i dati VQR non comparabili tra aree
diverse
Fo
nte
: ra
pp
ort
o f
inal
e p. 7
![Page 11: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/11.jpg)
Alberto Baccini, VQR di area13
![Page 12: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/12.jpg)
Alberto Baccini, VQR di area13
![Page 13: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/13.jpg)
Alberto Baccini, VQR di area13
Comparabilità dei risultati: RAE vs. VQR
![Page 14: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/14.jpg)
Alberto Baccini, VQR di area13
RAE national comparative data
![Page 15: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/15.jpg)
Alberto Baccini, VQR di area13
BB: peer review e bibliometria misurano la
qualità della ricerca
E sono quindi intercambiabili
![Page 16: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/16.jpg)
Alberto Baccini, VQR di area13
BB: c’è concordanza più che adeguata tra bibliometria e
peer review. (Peccato non sia vero)
htt
p:/
/w
ww
.ro
ars.
it/o
nlin
e/lo
-str
ano
-cas
o-d
elle
-
con
cord
anze
-del
la-v
qr/
![Page 17: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/17.jpg)
Alberto Baccini, VQR di area13
Non c’è concordanza tra peer review e
bibliometrica per cui
![Page 18: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/18.jpg)
Alberto Baccini, VQR di area13
Quota peer review e voto medio in Area13
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
P12
P07
P13
P11P09
P08
S04S05
P10P04
S03
P06S06
P02S01
P01
S02
P05
% peer review
Vo
to m
edio
Corr=-0,777
![Page 19: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/19.jpg)
Alberto Baccini, VQR di area13
Confronto tra prodotti eccellenti nella VTR e
nella VQR
![Page 20: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/20.jpg)
Alberto Baccini, VQR di area13
BB: I quadrati magici bibliometrici della VQR
![Page 21: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/21.jpg)
Alberto Baccini, VQR di area13
40%
25%
14%
21%
22%
21%
13%
44%
«Vincere facile»
Ingegneria Industriale e
dell’Informazione
Scienze
Mediche
![Page 22: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/22.jpg)
Alberto Baccini, VQR di area13
![Page 23: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/23.jpg)
Alberto Baccini, VQR di area13
Le regole stabilite dai burocrati bibliometrici
per la VQR…
… sono in conflitto con le strutture di autoregolazione
della scienza
La variabile osservata dal valutatore diventa l’obiettivo
da perseguire per il ricercatore
Con conseguenti comportamenti opportunistici: la loro
incidenza è tanto maggiore quanto minore la diffusione
dell’etica della ricerca nella comunità scientifica
Gli effetti della VQR e dell’ASN non tarderanno a
manifestarsi:
![Page 24: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/24.jpg)
Alberto Baccini, VQR di area13
Una nomenclatura delle conseguenze negative prevedibili
Unintended effects
1. peggioramento delle performance citazionali indotto dall’adozione di liste di
riviste;
2. riduzione della ricerca di interesse locale (eucalipto);
Mainstreaming (economics; malattie rare)
Salami slicing
Retraction
Predatory publishing http://scholarlyoa.com/2013/03/07/report-details-predatory-practices-of-two-bosnian-journals/
Ghost authorship http://www.sciencemag.org/content/342/6162/1019.full
IF boosting http://blogs.nature.com/news/2013/06/new-record-66-journals-banned-for-boosting-impact-factor-with-self-
citations.html
http://admin-apps.webofknowledge.com/JCR/static_html/notices/notices.htm#editorial_information
![Page 25: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/25.jpg)
Alberto Baccini, VQR di area13
http://am.ascb.org/dora/
9596 sottoscrittori individuali; 409 organizzazioni
![Page 26: BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'università e della ricerca](https://reader033.vdocuments.pub/reader033/viewer/2022052908/559713281a28ab47108b4725/html5/thumbnails/26.jpg)
Alberto Baccini, VQR di area13