Valutare la ricerca: indicatori, revisori e open access

APPROFONDIMENTO – Ogni forma di investimento richiede un’analisi dei costi richiesti e dei benefici che possono essere ottenuti. Questo è possibile tramite un processo di valutazione in grado di stimare il raggiungimento di determinati obiettivi, e l’impatto a medio e lungo termine dell’attività su cui si vuole investire. Nell’ambito della ricerca, la valutazione ricopre un ruolo fondamentale poiché consente di organizzare e gestire gli investimenti in base ai risultati conseguiti e alle ricadute in termini di conoscenze, innovazione e applicazioni. Valutare la ricerca significa stabilire norme e criteri per misurare la quantità ed esprimere giudizi sulla qualità di una produzione scientifica.

Ma come si svolge, in pratica, questo processo?

“Ci sono due possibili approcci alla valutazione di un lavoro scientifico: quello qualitativo, che presuppone una critica costruttiva, e quello quantitativo, che si occupa di misurarne l’impatto tramite indicatori specifici”, spiega a OggiScienza Antonella De Robbio, coordinatrice delle biblioteche del Polo Giuridico dell’Università degli Studi di Padova e membro del Gruppo di Lavoro Open Access della Commissione Biblioteche della CRUI. “Il primo approccio, quello qualitativo, è incentrato sulla revisione condotta da pari (peer-review e sue varianti) mentre il secondo, quantitativo, si basa sul calcolo in termini numerici dell’impatto scientifico di una ricerca – sia in forma di articolo sia di brevetto – di un autore, di un gruppo di ricerca, di una rivista o anche di un intero Paese”.

Entrambi gli approcci rientrano nell’ambito della scientometria, una disciplina nata negli anni Cinquanta del secolo scorso grazie agli studi di John Derek de Solla Price, fisico e storico della scienza britannico. Altro pioniere di questo campo di studi fu il linguista, imprenditore e bibliotecario americano Eugene Garfield. Ispirato da un articolo di Vannevar Bush, Garfield sviluppò un sistema bibliografico per la letteratura scientifica che consentisse di valutarne l’importanza e la diffusione, il Science Citation Index (SCI), prodotto dall’Institute for Scientific Information (ISI) di Philadelphia, fondato da lui stesso nel 1960.  Nacque così l’impact factor (IF), un indice che misura il numero medio di citazioni ricevute in un particolare anno da articoli pubblicati in una rivista scientifica nei due anni (o cinque) precedenti, diviso per il totale del numero di articoli pubblicati negli stessi due/cinque anni. L’IF – indicatore di proprietà di Thompson Reuters – ha avuto un grande successo ed è tutt’ora molto usato, ma non è l’unico indicatore quantitativo del suo genere e la sua efficacia è stata messa più volte in discussione.

La progressiva industrializzazione della scienza e la sempre maggior disponibilità di banche dati online hanno consentito la nascita di un ramo della scientometria, la bibliometria, che utilizza tecniche matematiche e statistiche per analizzare i modelli di distribuzione delle pubblicazioni e l’impatto di un articolo o di un autore all’interno della comunità scientifica. Nello stesso tempo, si sono sviluppate diverse varianti di peer-review, da quella tradizionale a quella retroattiva, caratteristica degli overlay journal, fino alla social peer-review aperta tipica del web 2.0.

“Una valutazione efficace non si può basare solo sull’analisi bibliometrica, ma deve essere associata a uno o più metodi qualitativi” chiarisce De Robbio. “Il problema è che l’approccio qualitativo richiede sforzo, tempo e persone disponibili, e nell’ambito della ricerca viene svolto a costo zero. Nessuno paga un ricercatore che fa la peer-review a un altro lavoro. Poi però il risultato di quella revisione viene pubblicato su una rivista che nella maggior parte dei casi si farà pagare per dare accesso agli articoli”.

Di contro, gli indicatori bibliometrici non sono sempre applicabili e alcune comunità di ricerca hanno sollevato parecchie controversie.

“Si continua ad assegnare all’impact factor un ruolo principale, ma l’assunzione che a un’elevata frequenza di citazione corrisponda un’elevata qualità della rivista, sul piano concettuale ha scarso fondamento” precisa De Robbio. “Inoltre, una metrica basata su rivista, come l’IF, non è adatta a misurare la qualità di un singolo articolo scientifico o l’impatto di un singolo scienziato. Per esempio, per misurare l’impatto di un autore esiste un indicatore apposito, l’indice H, messo a punto nel 2005 dal matematico Jorge Hirsch e del quale esistono numerose varianti applicabili a differenti comunità. Senza contare che per certe discipline l’IF non solo è inadeguato, ma in alcuni casi addirittura inapplicabile, come nelle scienze umane e sociali, economiche, giuridiche, storiche”.

Nell’ambito della valutazione della qualità della ricerca (VQR) effettuata dall’ANVUR, l’IF è uno degli indici utilizzati, insieme ad altri generati da due dei principali database citazionali scientifici, Web of Science (WoS, evoluzione dell’ISI) e Scopus, di proprietà del gruppo editoriale Elsevier. In particolare, gli indici applicati nella VQR da alcuni dei GEV (Gruppi Esperti Valutazione), in modo differenziato a seconda del settore disciplinare, sono:

• 5YIF: Five-year Impact Factor (WoS)
• AIS: Article Influence Score (WoS)
• MCQ: Mathematical Citation Quotient (WoS)
• IPP: Impact per publication (Scopus)
• SJR: Scimago Journal Rank (Scopus)
• SNIP: Source Normalized Impact per Paper (Scopus)

Ci sono alcune aree disciplinari che non fanno riferimento a questi indicatori. Questo è dovuto in alcuni casi alla mancanza di banche dati su cui applicare gli algoritmi bibliometrici, e in altri alla natura stessa delle discipline, i cui risultati sono espressi sotto forma di monografie, cataloghi, mostre o, nel caso del diritto, da sentenze e relativi commenti. Questo vale per le scienze dell’antichità, filologico-letterarie e storico-artistiche, per le scienze storiche, filosofiche e pedagogiche, per le scienze giuridiche e per le scienze politiche e sociali.

Interessante è il caso dell’MCQ (Mathematical Citation Quotient), usato nelle scienze matematiche, per le quali le due basi di dati usate nelle altre discipline scientifiche non sono state ritenute sufficientemente rappresentative dagli esperti del ministero. “Una teoria matematica si sviluppa su tempi molto più lunghi e quindi non la si può valutare con gli stessi indicatori usati per misurare l’impatto di discipline come la medicina o la biologia, dove risultati di cinque anni prima vengono già considerati datati” spiega De Robbio. “E allora i matematici cos’hanno fatto? Si sono rimboccati le maniche e hanno sviluppato un loro indicatore, basandosi sul database internazionale MathSciNet, che raccoglie i contenuti di Mathematical Reviews, il repertorio pubblicato dalla American Mathematical Society. Sarebbe bello se altri gruppi di studiosi che si lamentano dell’uso di certi indicatori bibliometrici seguissero il loro esempio e provassero a svilupparsene uno specifico”.

E le difficoltà non finiscono qui. La VQR infatti non è l’unico processo di valutazione della ricerca italiana. “Prendiamo per esempio la valutazione che fa il Ministero della Salute sugli istituti di ricovero e cura a carattere scientifico (IRCCS), che si svolge con sistemi del tutto diversi da quelli utilizzati dal MIUR per università ed enti di ricerca” precisa De Robbio. “L’indicatore che usano è l’impact factor normalizzato (IFN), che si ritrova solo in questo contesto e che è completamente slegato dal sistema di valutazione di università e centri di ricerca”.

C’è quindi ancora molto da fare, soprattutto se si pensa a come si stanno muovendo gli altri Paesi. “Gli Stati Uniti, per esempio, stanno mettendo a punto una batteria di 29 metriche combinate, mentre la Gran Bretagna basa i suoi processi di valutazione sugli archivi open access, che diventano contenitori essenziali per la trasparenza, secondo il principio che tutto ciò che è finanziato con soldi pubblici deve essere messo ad accesso aperto”.

E qui si apre un altro problema, e cioè la strumentalizzazione dell’open access da parte dei grossi editori. Pubblicare su riviste open implica il pagamento di una tariffa chiamata article processing charge (APC), che rappresenta un meccanismo chiave per il finanziamento di tali riviste. Alcuni editori tradizionali hanno introdotto questo meccanismo in molte riviste chiuse – i cui contenuti sono accessibili solo sottoscrivendo un abbonamento – per consentire l’apertura di un singolo articolo tramite il pagamento di APC particolarmente salate (che possono arrivare a 5000 dollari). In sostanza, i contenuti vengono pagati più volte, sia per l’accesso in abbonamento, sia per l’apertura di un articolo.

“Il vero open access lascia il copyright in capo ai suoi autori e non chiede cessione dei diritti” sottolinea De Robbio. “Inoltre, la tariffa per la pubblicazione ad accesso aperto è molto minore e tutta la rivista è accessibile, non solo una sua parte”. Interessante in questo senso la posizione presa dal governo britannico, che ha scelto di sostenere a livello governativo la spesa per l’apertura degli articoli finanziati con fondi pubblici. Una soluzione di tipo politico, dunque, che comporta la non cessione dei diritti di copyright da parte degli autori a editori terzi.

“Per valutare in maniera efficace e approfondita la ricerca bisogna avere anche i dati, e per avere i dati necessari bisogna avere archivi istituzionali aperti dove poterli depositare per un loro riutilizzo, in abbinamento ai lavori scientifici sui quali poter applicare gli indicatori bibliometrici, e poter fare analisi e proiezioni di spesa, ma non solo. E per fare questo bisogna introdurre norme innovative sul copyright, in modo che i diritti degli articoli rimangano in mano ai ricercatori che li hanno scritti e non diventino proprietà di una manciata di grandi editori che poi fanno pagare cifre astronomiche per l’accesso ai contenuti. Perché quegli articoli sono stati prodotti con soldi pubblici e devono essere liberamente consultabili”, conclude De Robbio. “Non è solo un problema di soldi, ma anche di come questi soldi vengono spesi. Ci sono tanti elementi su cui lavorare ma da qualche parte bisogna pur cominciare, a volte anche accettando compromessi”.

Leggi anche: Quei prof ribelli e l’astensione dalla valutazione della ricerca

Pubblicato con licenza Creative Commons Attribuzione-Non opere derivate 2.5 Italia.