Il dibattito internazionale ha evidenziato che le regole dell’attuale sistema di valutazione della ricerca rischiano di determinare effetti collaterali sulla qualità e sull'integrità della ricerca. La possibile corsa al cosiddetto "publish or perish”  rischia di ridurre l'importanza dei processi intermedi a vantaggio esclusivamente del risultato finale, premiando soprattutto la quantità delle pubblicazioni e il numero di articoli su riviste che rispettano determinati criteri, quali il Journal Impact Factor, l'H-Index e altri indicatori bibliometrici quantitativi.

Questi fenomeni hanno evidenziato la necessità di un'azione di riforma concreta, che nel corso del 2021 si è sostanziata nella stesura promossa dalla Commissione Europea dell’ “Agreement on Reforming Research Assessment”. L’iniziativa, portata avanti attraverso una lunga e complessa genesi da numerosi soggetti, ha portato alla stesura di un testo, sottoscritto alla fine del 2022 da oltre 350 istituzioni, che mira ad un cambiamento reale di prospettiva nei vari paesi europei ma anche nel mondo. Tale processo verrà portato avanti da COARA (Coalition for Advancing Research Assessment).

Per inquadrare la mission dell’accordo può essere utile leggere le conclusionidel Consiglio d’Europa (giugno 2022) (dalle slides della prof. Francesca Di Donato Zenodo: DOI: 10.5281/zenodo.7257500)

“l'evoluzione dei sistemi di valutazione della ricerca in Europa dovrebbe orientarsi ai seguenti principi, rispettando al tempo stesso l'autonomia delle istituzioni di ricerca e la libertà della ricerca scientifica, oltre che la diversità dei contesti nazionali e disciplinari, e tenendo conto della loro coerenza con le iniziative internazionali: 

a. passare a un approccio  più  equilibrato  tra  la  valutazione  quantitativa  e  quella  qualitativa della ricerca rafforzando gli indicatori qualitativi della valutazione della ricerca e intensificando al contempo l'uso responsabile degli indicatori quantitativi;

b. riconoscere i risultati e i processi di ricerca e innovazione in tutte le loro forme, compresi, tra  l'altro,  set  di  dati,  software,  codici, metodologie,  protocolli  e  brevetti,  e  non  solo  le pubblicazioni;  SOTTOLINEA che i dati dovrebbero essere reperibili, accessibili, interoperabili e riutilizzabili, in linea con i principi FAIR; 

c.  prendere  in  considerazione diversi  percorsi  di  carriera  e  tutte  le  attività  di  ricerca  e innovazione, compresi il tutoraggio, i ruoli di leadership, l'imprenditorialità, la gestione dei dati, l'insegnamento, la  valorizzazione  delle  conoscenze,  la  cooperazione  tra  industria  e  mondo accademico, il sostegno all'elaborazione di politiche basate su dati concreti, l'interazione con la società, compresi la citizen science e l'impegno pubblico; 

d.  prendere in considerazione le specificità  delle  varie  discipline  di  ricerca,  l'intera  gamma delle attività  di  ricerca, da quella di base a quella applicata, le  fasi  della  carriera  nel  settore della ricerca e le missioni degli istituti di ricerca; 

e. garantire che etica e integrità siano ritenute della massima priorità e non siano compromesse da contro-incentivi; 

f. garantire la diversità e la parità di genere e promuovere attivamente il coinvolgimento delle donne nella scienza.”

Di seguito vengono rappresentati i principali passi compiuti per la stesura del testo dell’Accordo, la nascita della Coalition for Advancing Research Assessment (COARA) e le prospettive future.

Visualizza il pdf accessibile

L’accordo (Agreement on Reforming Research Assessment), basato principalmente sulla massimizzazione della qualità e dell'impatto della ricerca promosso dalla Coalizione COARA (Coalition for Advancing Research Assessment), mira a:

• riconoscere la diversità dei contributi e delle carriere nella ricerca secondo le esigenze e la natura della ricerca;

• basare la valutazione della ricerca principalmente sulla valutazione qualitativa per cui la peer-review è centrale, supportata da un uso responsabile degli indicatori quantitativi;

• abbandonare gli usi inappropriati nella valutazione della ricerca metriche basate su riviste e pubblicazioni, in particolare gli usi inappropriati di Journal Impact Factor (JIF) e h-index;

• evitare l'uso di graduatorie di organismi di ricerca nella valutazione della ricerca.

L’accordo stabilisce una direzione comune per la riforma della valutazione della ricerca, fondata su 10 impegni, nel rispetto dell'autonomia delle organizzazioni (dalle pagine 4-6 dell’Agreement on Reforming Research Assessment). 

L’Agreement on Reforming Research Assessment, a partire da principi su cui basare la valutazione, prevede dieci impegni a carico dei firmatari. I primi quattro, ritenuti fondamentali, promuovono il riconoscimento di risultati, pratiche e attività che indirizzi la valutazione della ricerca verso il progressivo abbandono degli indicatori quantitativi, soprattutto se inappropriato. I restanti sei impegni sono di sostegno alla collaborazione tra istituzioni per la ricerca e la condivisione di nuove metodologie di valutazione. Di seguito una breve sintesi.

L’ultimo esercizio di valutazione della ricerca VQR 2015-2019 (Decreto n. 9 del 25 Settembre 2020 BANDO Valutazione della Qualità della Ricerca 2015-2019), introduce un articolo dedicato all’Open Access (art. 8). L’articolo era già presente nella prima versione del bando, pubblicato con Decreto n. 1 del 3 gennaio 2020. Per la prima volta l’esercizio di valutazione nazionale pone l’accento alla gestione dell’open access, ponendo una particolare attenzione agli articoli scientifici che abbiano fruito di finanziamenti pubblici per una quota almeno pari al 50%. Vengono messe in evidenza sia le modalità attraverso cui tali prodotti dovranno essere resi disponibili e le relative versioni degli articoli ammessi.

Il Piano Nazionale per la Scienza Aperta (PNSA) 2021-2027, previsto dal Decreto Ministeriale n. 268 del 28-02-2022, contiene le linee di indirizzo per Università ed Enti di ricerca, delineate attraverso assi e i piani di intervento per l’attuazione della scienza aperta. L’asse n. 3 del Piano è rappresentato dalla “valutazione della ricerca” e persegue gli obiettivi descritti nella seguente tabella (p. 10 del Piano Nazionale per la Scienza Aperta (PNSA) 2021-2027)

Dopo avere partecipato attivamente alla gestazione dell’ Agreement on Reforming Research Assessment, in data 6 ottobre 2022 l’Agenzia nazionale di valutazione del sistema universitario lo ha sottoscritto, entrando quindi tra i membri della Coalition for Advancing Research Assessment (COARA). Durante l’assemblea costitutiva della COARA il Prof. Menico Rizzi, membro del consiglio di amministrazione dell’ANVUR, è stato eletto membro del comitato direttivo come rappresentante dell’Agenzia (https://coara.eu/news/coalition-for-advancing-research-assessment-coara-launched-steering-board-elected/ )