L’analisi quantitativa, effettuata mediante indicatori bibliometrici e banche dati citazionali, restituisce importanti informazioni sui valori numerici relativi all’impatto di ogni contributo scientifico pubblicato all'interno della comunità scientifica di riferimento. La misurazione può prendere in considerazione diversi elementi, ad esempio:

• il numero di citazioni ricevute da ciascuna pubblicazione: il dato si può ottenere dall'indice delle citazioni (citation index) consultabile nei database citazionali come Web of Science e Scopus (in abbonamento), o anche (gratis ma con minore precisione) in Google Scholar. Il risultato, integrato con altri criteri di valutazione, contribuisce a rispondere alla domanda: “Quale peso scientifico ha questo prodotto di ricerca?”
• il numero di citazioni ricevute da ciascuna rivista in cui viene pubblicato un lavoro scientifico: anche questo dato si riscontra nei database citazionali, ottenendo a seconda dei casi l’IF (Impact factor), se si prende come riferimento la banca dati Journal Citation Reports di Clarivate Analytics (in abbonamento), che deriva i dati dagli indici citazionali collegati al database Web of Science, oppure SJR (SCImago Journal Rank) o SNIP (Source Normalized Impact per Paper), se si prende come riferimento la banca dati Scopus (in abbonamento). Il risultato, integrato con altri criteri di valutazione, contribuisce a rispondere alla domanda: “Quanto è scientificamente autorevole questa rivista?” “Qual è l’impatto sulla comunità scientifica potenzialmente garantito dalla collocazione di un lavoro scientifico in questa rivista?”
• la produttività e l'impatto delle pubblicazioni di un singolo autore: il risultato è l’H-index (Indice di Hirsch), che si basa sia sul numero delle pubblicazioni che sul numero delle citazioni ricevute. L'H-index si calcola automaticamente in Web of Science e Scopus e, con l’ausilio di alcuni tools (Publish or Perish, ad esempio), anche in Google Scholar.

Nelle pagine web curate dal nostro Settore si possono trovare:

• ulteriori informazioni sui database citazionali;
• un approfondimento sugli indicatori bibliometrici.

Resta inteso che nessuna tecnica bibliometrica e nessun indicatore da solo considerati isolatamente e acriticamente possono offrirci un quadro credibile ed efficace della performance dei ricercatori. Risulta quindi indispensabile combinare opportunamente valutazione quantitativa (attraverso l’analisi delle citazioni) e valutazione qualitativa (attraverso la peer review e i giudizi di panel di esperti), e considerare di volta in volta obiettivi e contesto della valutazione per adottare gli strumenti più appropriati, ben sapendo che si tratta comunque di metodologie di valutazione che presentano margini di errore possibilmente rilevanti.

A questo proposito, nel 2014, durante la Science and Technology Indicators (STI) Conference tenuta a Leiden, sono stati presentati da Diana Hicks, Paul Wouters, Ludo Waltman, Sarah de Rijcke e Ismael Rafolse alcuni principi che dovrebbero fare da guida nelle attività istituzionali di valutazione della ricerca; gli autori hanno poi sviluppato e presentato i principi nella forma di Manifesto con un commento, pubblicati sulla rivista Nature nel 2015: The Leiden Manifesto for research metrics. Il blog ROARS traduce così in italiano i principi del Manifesto:

1. La valutazione quantitativa deve supportare il giudizio qualitativo
2. Misurare le prestazioni in relazione alla missione di ricerca dell’istituzione, del gruppo o del ricercatore
3. Salvaguardare l’eccellenza nella specifica ricerca locale
4. Mantenere aperto, trasparente e semplice il processo di acquisizione dei dati e quello di analisi
5. Consentire ai valutati di verificare i dati e l’analisi
6. Tenere conto delle differenze tra aree disciplinari nelle pratiche di pubblicazione e citazione
7. Basare la valutazione dei singoli ricercatori su un giudizio qualitativo del loro portafoglio scientifico
8. Evitare finta concretezza e falsa precisione
9. Riconoscere gli effetti sistemici della valutazione e degli indicatori
10. Verificare regolarmente la qualità degli indicatori ed aggiornarli.

Cfr. la pagina delle traduzioni del Manifesto, dove si trova anche la traduzione in italiano, scaricabile da qui:

<http://www.leidenmanifesto.org/translations.html>.