Affrontare la sfida della valutazione bibliometrica per una rivista scientifica digitale

Pierluigi Feliciati pierluigi.feliciati@unimc.it

Workshop Le riviste digitali e la valutazione bibliometrica: le risorse di UniMC UniMC, Dipartimento SFBCT – 1 aprile 2016

Cosa è l’editoria scientifica?

Cosa è una rivista scientifica?

Strumento di selezione qualitativa Strumento di disseminazione

dell’informazione e delle scoperte Strumento di memoria del pensiero e

della scienza

Periodico contenente articoli, saggi o rubriche di vari autori, sia con carattere d'informazione e cultura generale, sia rivolto a specifici interessi di studio.

una pubblicazione scientifica secondo il CNR (1)

la pubblicazione si autodichiara emanazione di un ente, organismo, associazione con finalità istituzionale scientifica, oppure viene pubblicata da membri appartenenti alla comunità scientifica di riferimento di enti, organismi, associazioni scientifiche. Presenta elementi identificativi che ne individuano univocamente la fisionomia editoriale: denominazione esplicita dell’ente autore o dell’editore commerciale; indirizzo postale o localizzazione territoriale dell’ente o dell’editore; recapiti della redazione o del comitato scientifico;

la pubblicazione esibisce eventuali dichiarazioni di conformità alle leggi nazionali vigenti sull’editoria; eventuali dichiarazioni di conformità alla politica documentaria dell'ente di riferimento o di conformità a codici etici nazionali o internazionali di trasparenza o affidabilità scientifica [p.e. dichiarazione di open access, peer-review, licenze d'uso, ecc.];

una pubblicazione scientifica secondo il CNR (2)

i contenuti della pubblicazione sono palesemente predisposti ed indirizzati per l'aggiornamento scientifico del pubblico di studiosi o ricercatori;

i testi o contenuti sono corredati con elementi paratestuali (introduzioni metodologiche, presentazioni, editoriali, indici, note di contenuto, note bibliografiche, bibliografie, abstracts, riassunti, parole chiave (in una o più lingue), codici di classificazione disciplinari, codici bibliografici identificativi, codici di classificazione istituzionali o delle aree di ricerca, ecc.);

una rivista scientifica online secondo ANVUR

1. pubblicazione effettiva del seriale (pubblicato e consultabile alla URL indicata dal richiedente);

2. contenuto intellettuale trattato editorialmente (sono esclusi, ad esempio, i siti web contenenti solo link o solo raccolte di testi estratti da altri siti web senza alcuna revisione editoriale);

3. dati bibliografici identificativi chiaramente rintracciabili sulla pubblicazione:

titolo identificativo del periodico o della collana, costante in tutte le uscite;

luogo di pubblicazione; denominazione di editore o di responsabile intellettuale; data di pubblicazione; periodicità o cadenza di aggiornamento.

una rivista scientifica online secondo ANVUR (2)

Inoltre, per i periodici con finalità di studio o scientifiche, si considera pubblicato un numero - formalmente identificabile e citabile grazie alla propria numerazione e datazione - che contenga al suo interno:

non meno di cinque articoli, esclusi eventuali editoriali, premesse, prefazioni, indici, abstracts, poster, piano dell’opera, bibliografia, eventi, ecc.;

non si considerano come primo numero effettivamente pubblicati eventuali uscite di prova (p.e.: numero zero; anno zero numero uno; anno uno numero zero; numeri in bozza/prova/draft; sample issues; fascicoli di natura monografica - anche contenenti atti di convegni, seminari, ecc. - la cui numerazione non rientri nella sequenza numerica generale dei fascicoli del periodico; ecc.).

Oltre alle riviste solo elettroniche/digitali, possono esistere anche versioni web di riviste di cui si è scelto di rendere disponibile una doppia versione, cartacea e digitale

Di norma la periodicità è sincronica tra cartaceo e digitale, anche se si possono attivare politiche di accesso particolari, sfalsando ad esempio l'accesso libero alla versione digitale dopo un certo periodo (embargo) dedicato alla distribuzione (commerciale o per distribuzione controllata, ad esempio ai soli abbonati) della versione cartacea

Oppure, si possono stampare solo le copie dei fascicoli dedicati agli abbonati, o su richiesta all’editore (on demand)

Tra cartaceo e digitale

Possono esserci anche siti web i cui contenuti siano dedicati a pubblicizzare, a raccogliere paper proposals, oppure a rendere note le regole editoriali, le norme di sottomissione, lo staff editoriale e gli sponsor, iniziative speciali etc. di riviste cartacee.

Siti web informativi, più o meno interattivi e responsive, insomma

Tra cartaceo e digitale

Infine, sempre più spesso, le riviste scientifiche sono concepite solo per il canale web e basate su un sistema di gestione dei contenuti (CMS), più o meno complesso e più o meno dedicato (come OJS)

In questo caso tutto il flusso di lavoro, dalla raccolta delle proposte alla pubblicazione, avviene via web, consentendo anche redazioni distribuite, maggiore coinvolgimento diretto di comitato scientifico e revisori e infine politiche di preservation e di riuso/indicizzazione

Tra cartaceo e digitale

Un editore La registrazione al tribunale Un direttore responsabile giornalista Un codice ISSN Una policy chiara di accesso, di raccolta dei

contenuti, di diritti degli autori e di gestione dei contenuti

Una piattaforma di gestione e pubblicazione certo, anche un titolo, una comunità di riferimento e un bel po' di impegno organizzativo...

Requisiti di una rivista digitale

Gli stakeholders e il flusso creativo

Rivi

sta

scie

ntifi

ca

La crucialità della policy

Trattiamo separatamente i tre aspetti fondamentali della policy di una buon rivista digitale: accesso, gestione, qualità/valutazione dei contenuti

Non si deve MAI prescindere dalla definizione e comunicazione di una policy, ovvero delle regole su cui basare tutte le attività necessarie per il lancio, lo sviluppo e il mantenimento del periodico online. Chiamiamola se preferite flusso editoriale, oppure modello organizzativo

Policy: opzioni di accesso

Rivista ad accesso controllato Una rivista digitale può essere resa disponibile

limitandone l'accesso ai lettori tramite uno o più dei filtri di protezione disponibili, attivabili a livelli diversi: il sito, i fascicoli, gli abstract, gli articoli...

Si può prevedere un accesso per abbonamento (a titolo oneroso) oppure anche dietro pagamento dei diritti di accesso/download anche di un solo numero (issue) o addirittura di un solo articolo (item)

Policy: opzioni di accesso

Rivista ad accesso controllato La gestione di abbonamenti e in genere di tutti i

pagamenti per l'accesso ai contenuti online (o la stampa cartacea) richiede, ad esempio: un conto corrente/postale su cui ricevere gli accrediti

(e una policy per monitorarne i movimenti e garantire in tempi brevi il servizio)

un intermediario finanziario (banca online) + un conto corrente bancario

una carta di credito per gestire le transazioni in entrata tramite un intermediario (es. PayPal)

Policy: opzioni di accesso

Rivista ad accesso controllato Una rivista digitale può essere resa disponibile

anche consentendone l'accesso ai lettori solo dopo una certa data

Si possono costruire cioè politiche di accesso particolari, ibride, sfalsando ad esempio l'accesso libero alla versione digitale solo dopo un certo periodo dedicato alla distribuzione agli abbonati o della versione cartacea, se presente

Per far tutto ciò, è comunque necessario un CMS avanzato (come OJS)

Policy: opzioni di accesso

Rivista ad accesso aperto Open Access to Knowledge in the Sciences and Humanities: Berlin Declaration (2003), hanno aderito 266 organizzazioni, in gran parte istituzioni universitarie, di 34 paesi

per promuovere Internet quale strumento funzionale alla conoscenza scientifica generale di base e alla speculazione umana

per indicare le misure che le figure dominanti nelle politiche di ricerca, le istituzioni scientifiche, i finanziatori, le biblioteche, gli archivi ed i musei devono tenere in considerazione.

Policy: opzioni di accesso

Rivista ad accesso aperto Sono contributi ad accesso aperto le pubblicazioni di risultati originali della ricerca scientifica, i dati grezzi e i metadati, le fonti, le rappresentazioni digitali grafiche e di immagini e i materiali multimediali scientifici. ... il passaggio all’accesso aperto modifica la

disseminazione della conoscenza nei suoi aspetti legali e finanziari.

Si mira a trovare soluzioni che sostengano futuri sviluppi degli attuali inquadramenti legali e finanziari, al fine di facilitare l’accesso e l’uso e riuso ottimale.

Accesso aperto: vantaggi

Per gli autori La principale motivazione di pubblicare un articolo in

accesso aperto è l'impatto potenziato che ne deriva Un articolo Open Access viene infatti realizzato anche

per essere impiegato e citato. I ricercatori vengono pagati da finanziatori di ricerca e/o dalle loro università per fare ricerche e diffonderle.

L'articolo finale è la prova che essi hanno effettuato un lavoro e non un guadagno commerciale. Più l'articolo è utilizzato, citato e applicato, meglio è per le ricerche, per la carriera del ricercatore e per l’ente che lo paga.

Accesso aperto: vantaggi

Per i finanziatori delle ricerche e le università che vogliono assicurarsi che le ricerche, sulle quali depositano fondi o che sostengono in diversi modi, abbiano il miglior impatto possibile per la ricerca (vedi valutazione bibliometrica, di cui diremo qualcosa)

Il libero accesso è importante anche per il pubblico, prima di tutto perché gran parte della ricerca scientifica è finanziata dai contribuenti o dai consumatori.

Anche coloro che non leggono direttamente gli articoli scientifici beneficiano (indirettamente) degli effetti dell'Open Access, ad esempio per il necessario aggiornamento continuo ai professionisti cui ci rivolgiamo (es. i medici di base, chi ci installa un impianto, etc.)

Accesso aperto: vantaggi

Si passa dal modello economico author pays, tradizionalmente molto diffuso e senz’altro tuttora predominante per le monografie e le pubblicazioni non accademiche

al modello institutions pay, in cui le istituzioni accademiche, e non i singoli ricercatori, intervengono a sostenere i costi di pubblicazione dei risultati delle ricerche

Si tratta di un investimento, non di un supporto a fondo perduto, il cui ritorno è l’autorevolezza e la conseguente attrattività

Accesso aperto: vantaggi

Infine, per le redazioni delle riviste va detto che spostare l'impulso editoriale dalle scelte della redazione alla spontanea volontà/necessità del ricercatore di rendere note le sue ricerche consente di: Filtrare di più, non andare a caccia di contenuti Pretendere dagli autori maggiore attenzione alle

regole formali e alla tempistica Promuovere la rivista quasi “automaticamente”

attraverso l'indicizzazione dei papers e delle citazioni Permettere valutazioni analitiche e d’insieme

(bibliometria)

Accesso aperto: vantaggi

Inoltre si devono considerare: Gli incentivi generati dall’attenzione sul nome

dell’autore, dell’istituzione di ricerca, dell’archivio, del motore di ricerca

La promozione delle pubblicazioni scientifiche passa dagli editori a nuovi intermediari (e.g., motori di ricerca, archivi istituzionali, indicizzatori, feed aggregators, etc.)

Il vantaggio citazionale automatizzato accresce la visibilità (e valutabilità) delle ricerche

Policy: il processo di pubblicazione

Può essere suddiviso in diverse fasi: Raccolta contenuti Selezione/valutazione contenuti Predisposizione contenuti e numeri Pubblicazione

Queste fasi necessitano di una attenta policy di gestione, che impatterà fortemente su sostenibilità e valutazione della rivista.

Policy: il processo di pubblicazione

Tutti i cittadini sono, in diversi periodi della loro vita privata e professionale, oggetto di valutazione e, al tempo stesso, valutatori. In ambito universitario, dalla misurazione dipende la nascita, continuazione o sopravvivenza di istituzioni culturali pubbliche – ma anche private. Si viene misurati per quanto «produciamo», con quale frequenza, in quali sedi e contesti, in quali lingue, mentre talvolta si stenta a cogliere l’aspetto qualitativo dei prodotti.

(Simona Turbanti)

Una cultura della valutazione?

La bibliometria è una disciplina che utilizza tecniche matematiche e statistiche per analizzare i modelli di distribuzione delle pubblicazioni scientifiche e per verificarne l’impatto all'interno delle comunità.

Questa disciplina, nella sua forma attuale che comprende l'analisi bibliometrica, è recente, visto che si è sviluppata in conseguenza della disponibilità online di banche dati.

La bibliometria si inserisce all'interno dell'ambito di studi più ampio, definito scientometria, ossia la disciplina per la misura e l'analisi della scienza.

Bibliometria: luci e ombre

Nel XIX secolo si definisce in modo maturo un metodo di valutazione delle pubblicazioni scientifiche, adottando il metodo della peer review (revisione tra pari), fino a poco più di 50 anni fa il solo modo di giudicarne la qualità.

L’adozione di metodi quantitativi (anni ’50 del 900) porta con sé la definizione della disciplina bibliometrica, che risale ad Alan Pritchard nel 1969, benché il termine fosse comparso nelle opere di Paul Otlet già negli anni Trenta.

Bibliometria: luci e ombre

Il processo di peer review è una valutazione di tipo qualitativo

La valutazione bibliometrica è invece quantitativa: Si basa sull’analisi delle citazioni e sugli

indici citazionali, calcolati in modo semi-automatico sulla base di banche dati e di risorse digitali accessibili su internet

Bibliometria: luci e ombre

Le riviste digitali, per essere valutate oggettivamente, oltre a possedere i requisiti organizzativi e di autorevolezza che abbiamo citato prima, devono garantire requisiti tecnici: Identificativi e struttura rivista/issue/item Formalismi (regole editoriali) standard Metadati bibliografici standard Repository aperto all’harvesting dei metadati Separazione tecnica testo da reference (oltre al

testo in versione stampabile)

Bibliometria: luci e ombre

Gli indicatori bibliometrici appartengono a tre generazioni diverse: Prima generazione: Indicatori di base, facili da ottenere da fonti attestate disponibili da decenni: Numero di pubblicazioni. Numero di citazioni, metriche dell'impatto della rivista.

Seconda generazione: Indicatori relativi o normalizzati per area disciplinare: Media di citazione relativa o normalizzata per area disciplinare.

Terza generazione: Indicatori basati sull'analisi avanzata dei network (journal rank, indicatori del «prestigio» sociale)

Paola Galimberti, Quality and quantity: HSS research evaluation in Italy. JLIS.it, Vol. 3, Nº. 1, 2012

Bibliometria: luci e ombre

Su Nature, ad Aprile 2015, è uscito il Leiden Manifesto for research metrics, che si apre così: «Come scientometristi, scienziati sociali e amministratori della ricerca, abbiamo osservato con crescente preoccupazione il pervasivo uso scorretto degli indicatori nella valutazione delle performance scientifiche»

Propone 10 punti destinati a chi utilizza le metriche per scopi valutativi, per garatirne un uso corretto e consapevole

Bibliometria: luci e ombre

1. la valutazione quantitativa deve supportare il giudizio qualitativo esperto; 2. Si devono misurare le prestazioni in rapporto alla missione di ricerca dell’istituzione, del gruppo o del ricercatore; 3. Si deve salvaguardare l’eccellenza nella specifica ricerca locale; 4. Si deve mantenere aperto, trasparente e semplice il processo di raccolta dei dati e quello di analisi;

Il Leiden Manifesto (1)

5. Si deve consentire ai valutati di verificare i dati e l’analisi; 6. Si deve tenere conto delle differenze tra aree disciplinari nelle pratiche di pubblicazione e citazione; 7. Si deve basare la valutazione dei singoli ricercatori su un giudizio qualitativo del loro “portafoglio” scientifico; 8. Si devono evitare finta concretezza e falsa precisione;

Il Leiden Manifesto (2)

9. Si devono riconoscere gli effetti sistemici della valutazione e degli indicatori; 10. Si deve verificare regolarmente la qualità degli indicatori e aggiornarli.

Il Leiden Manifesto (3)

In sintesi, si ribadiscono il portato etico, l’impatto sociale ed economico e la delicatezza delle operazioni di valutazione, da affrontare affiancando metodi quantitativi con la valutazio e di esperti. Si punta a costruire «un giudizio fondato su basi umanamente oggettive, tenendo sempre presente che ogni giudizio implica, di per sé, un margine più o meno ampio di soggettività» (S. Turbanti)

Il Leiden Manifesto

In Italia, oggi, sono diverse le autorità cui si deve rispondere per affermare la serietà e autorevolezza scientifica di una rivista. Vediamole in sintesi: ANVUR ( da cui dipende VQR, SUA-RD, ASN… e che

pubblica gli elenchi ufficiali delle riviste scientifiche e di quelle di Classe A per i singoli SSD)

Società scientifiche (che dettano i criteri per l'accreditamento delle riviste nei vari àmbiti disciplinari)

Banche dati scientifiche private cui è stato attributo un potere di accreditamento: vedremo WoS e SCOPUS

Google scholar

Banche dati scientifiche di ambito Open Access

Chi misura le riviste?

Il Gruppo di Lavoro riviste e libri scientifici ANVUR utilizza questi descrittori «ciascuno dei quali, individualmente preso, non costituisce condizione necessaria e sufficiente alla qualificazione»:

a) Soggetto promotore della rivista; b) Direttore della rivista; c) Comitato editoriale; d) Comitato scientifico; e) Periodicità regolare non superiore all’anno; f) Pubblico di riferimento; g) Formato degli articoli; h) Presenza della peer review.

http://www.anvur.org/attachments/article/254/RegClassificazione11_11_2~.pdf Il dettaglio dei descrittori si trova nel Documento di accompagnamento (agg. 11 novembre 2015) http://www.anvur.org/attachments/article/254/RegDocumentodiAccompagnam~.pdf

Classificazione ANVUR

Come forse saprete, esistono in Italia molte società scientifiche che raggruppano studiosi di stessi settori scientifico-disciplinari (o di loro ulteriori sotto-divisioni). Il loro ruolo - al di là della retorica - è governare il settore, stabilendo le regole per accedervi e per fare carriera. Tra queste regole, recentemente emergono i requisiti di scientificità e di Classe A per le riviste, che si sovrappongono a quelli ANVUR. Ad esempio, possono essere richiesti in più:

a) la presenza di un comitato di co-direttori b) caratteristiche specifiche del comitato scientifico c) la pubblicazione di un codice etico d) un particolare formato o elementi identificativi dei

contributi ... I requisiti aggiuntivi delle società scientifiche

L'editore Thomson Reuters (nato dalla fusione di altri editori) dopo aver acquisito ISI, fornisce il calcolo globale dell'Impact Factor, indice di valutazione delle riviste scientifiche in base al numero medio di citazioni ricevute in un anno. Il suo database Web of Science è accessibile solo a pagamento o per istituzioni registrate e concede un codice identificativo solo alle pubblicazioni che sceglie di includere in una delle sue collezioni (Core, Emerging Sources e altre). Per capire quali sono i Journal Selection Criteria, comunque applicati in modo non trasparente, si può consultare questo video ufficiale su YouTube https://youtu.be/WIRbKydivrw?list=PLM1kuGdwRdGmuLNfYwjtj0cqt1tn6jljV

Web of Science / già ISI Web of Knowledge (Thomson Reuters)

In competizione con WoS, Elsevier, un altro gigante dell'editoria scientifica internazionale, ha lanciato SCOPUS «the largest abstract and citation database of peer-reviewed literature: scientific journals, books and conference proceedings.» Dichiarano di avere il 50% di dati in più rispetto ai concorrenti. Non sono indicizzate tutte le pubblicazioni, ma solo quelle di alcuni editori

SCOPUS (Elsevier)

Google Scholar (aka Schoogle)

Rispetto alla visibilità dei contenuti online, non dobbiamo mai dimenticare che sono oscurati nel Deep Web i searchable databases e i siti web coperti da password! I motori di ricerca dedicati a indicizzare il deep web sono stati per ora poco efficaci.

Schoogle,https://scholar.google.it/, dedicato ai risultati della produzione scientifica accessibile gratuitamente in rete, è stato lanciato nel 2004, contemporaneamente a Scopus

Pro's: include materiale monografico, didattico, presentazioni, etc.; è gratuito

Con's: ignote copertura e fonti dell'analisi citazionale; servono molte ore di lavoro per l’analisi e il filtro dei risultati; mancano strumenti/filtri di disambiguazione degli autori omonimi

Google Scholar (2)

Strumenti di Schoogle: Google scholar citations (vedi un esempio) Google scholar metrics (vedi un esempio) Google scholar support for libraries (vedi qui) E' stato lanciato inoltre da ricercatori australiani, poi acquisito da un'azienda inglese, un software client (gratuito) che effettua ricerca e analisi del DB di Google Scholar, da poco anche di Microsoft Academic, Publish or Perish: Harzing, A.W. (2007) Publish or Perish, http://www.harzing.com/pop.htm Anche qui, uno strumento di ausilio ma non privo di problemi.

Publish or Perish?

Author impact analisys

Journal impact analisys

I servizi di indicizzazione Open Access

Si rammenti che i progetti europei H2020, FP7 o ERC sono tenuti a pubblicare i propri risultati in OA! Quindi, alcuni servizi sono stati finanziati dalla commissione UE.

Esistono servizi pubblici di indicizzazione e banche dati/registri delle riviste e delle risorse scientifiche digitali OA. Per entrarci, i requisiti sono trasparenti e “tecnici”. Sono tanti, quindi qui cito solo i principali: DOAJ https://doaj.org/

ScienceDirect http://www.sciencedirect.com/science/jrnlallbooks/all/open-access

OpenAIRE https://www.openaire.eu/