ricerca

Peer review promossa: qualche difetto, ma efficace

È stata spesso criticata per i suoi limiti, ma ora uno studio spezza una lancia a favore della revisione dei paper. Mostrando che il meccanismo, a parte qualche limite, funziona

6735929719_d6f13e0c3e_zRICERCA – La peer review, il sistema di controllo per validare gli articoli scientifici, funziona, nonostante tutto. Questa la conclusione dell’articolo pubblicato su “Proceedings of the National Academy of Sciences” da tre ricercatori. Dopo le numerose discussioni sulla reale efficace di questo sistema, uno studio che spezza una lancia a favore e che mostra come il principale problema sia, soprattutto, quello di discriminare con fatica le ricerche veramente innovative.

Il metodo della peer review è un sistema di controllo per validare gli articoli scientifici, soprattutto a livello metodologico, che è adottato dalle principali riviste scientifiche. L’articolo, prima della pubblicazione, viene visionato e valutato da 2-3 “arbitri” anonimi, specialisti del settore. Questi ultimi possono accettarlo, rifiutarlo o chiedere modifiche o nuovi esperimenti per consentire la pubblicazione.

Un sistema di controllo molto importante, visto che tramite questo strumento si decide sostanzialmente quali saranno i campi di ricerca che “avranno successo” (e soldi) in futuro. Ci si potrebbe ad esempio chiedere se ogni ricerca fatta bene sia degna di finire sulle riviste prestigiose, o se quest’ultime non tendano invece ad accettare ricerche più appetibili, anche se non per forza migliori.

Non solo: esistono numerosi limiti tecnici del sistema di controllo che hanno generato negli anni una serie di errori e storture piuttosto gravi, come il rifiuto di ricerche poi rivelatesi importanti, o la pubblicazione di studi di basso livello o addirittura inventati. Quali sono quindi i punti di forza e di debolezza di questo sistema? E soprattutto: la peer review è davvero efficace?

Per cercare una risposta, i ricercatori Kyle Siler, Kirby Lee e Lisa Bero, rispettivamente dell’Università di Toronto, dell’Università della California a San Francisco e dell’Università di Sydney, hanno effettuato un’analisi sistematica che considerasse anche gli articoli rifiutati (cosa che di solito non si riesce a fare). Gli autori hanno invece avuto accesso a 1008 articoli (con anche le valutazioni di revisori e redattori) presentati tra il 2003 e il 2004 ad alcune riviste molto importanti del settore medico: gli Annals of Internal Medicine (AIM), il British Medical Journal (BMJ)  e The Lancet.

Globalmente le tre riviste hanno pubblicato il 6,2 % degli articoli presentati, cioè 62 articoli, ma gli autori si sono interessati soprattutto di quei 946 articoli rifiutati, scoprendo che ben 757 erano stati pubblicati su altre riviste con un impact factor minore, dopo una revisione più o meno forte. I ricercatori volevano valutare la qualità di giudizio degli editor e per questo hanno contato il numero delle citazioni raccolte fino al 2014 dagli articoli pubblicati sulle tre riviste principali o sulle altre minori (dopo il primo rifiuto).

Il risultato è stato che gran parte degli articoli pubblicati in seconda battuta avevano ricevuto meno citazioni: il numero di citazioni era direttamente proporzionale al punteggio assegnato dalla prima peer review, segno che la qualità di giudizio è in linea di massima buona.

Tuttavia, la peer review ha rivelato anche delle falle: ad esempio i 14 articoli più citati erano stati rifiutati dalle tre riviste principali e quasi tutti (12) addirittura prima della peer review vera e propria, ma semplicemente durante una prima analisi preliminare.

Come spiegarlo?

Per gli autori questo è dovuto ad articoli non convenzionali (uncommon work) che sono spesso i pezzi più innovativi, ma difficilmente individuabili. Secondo gli autori quindi, la peer review è un metodo che non permette di discriminare efficacemente questi lavori potenzialmente rivoluzionari, che, anzi, sono piuttosto vulnerabili. Questo però al tempo stesso si scontra col fatto che il ruolo dei gatekeeper, cioè coloro che fanno la peer review, sia proprio quello di riconoscere le novità scientifiche più importanti, purché dimostrabili.

In conclusione il meccanismo della peer review, nonostante i limiti, ha un livello di efficienza elevato e riesce effettivamente a valutare la qualità dei lavori sottoposti. La sua forza, inoltre, sembra essere la sua capacità di autocorreggersi: quando un lavoro viene sottovalutato e magari rifiutato dalle grandi riviste, in poco tempo viene accettato da altre riviste e “ricompensato” con un numero di citazioni tale da rendere riconosciuto il loro effettivo valore.

Rimane comunque il dubbio su come trovare un metodo per riconoscere in maniera veloce ed efficace questi uncommon work, che sono poi quei contributi destinati davvero a rivoluzionare la scienza. E la risposta, data dagli autori, appare quasi banale: “gli errori sono inevitabili e non esiste un revisore che può garantire senza ombra di dubbio una valutazione perfetta ed efficiente”.

@FedeBaglioni88

Pubblicato con licenza Creative Commons Attribuzione-Non opere derivate 2.5 Italia.   
Crediti immagine: AJC1, Flickr

Condividi su
Federico Baglioni
Biotecnologo curioso, musicista e appassionato di divulgazione scientifica. Ho frequentato un Master di giornalismo scientifico a Roma e partecipato come animatore ai vari festival scientifici. Scrivo su testate come LeScienze, Wired e Today, ho fatto parte della redazione di RAI Nautilus e faccio divulgazione scientifica in scuole, Università, musei e attraverso il movimento culturale Italia Unita Per La Scienza, del quale sono fondatore e coordinatore. Mi trovate anche sul blog Ritagli di Scienza, Facebook e Twitter @FedeBaglioni88