CRONACACULTURAULISSE

Peer-review: ricercata, viva o morta.

800px-ScientificReviewCRONACA – Giusto una settimana fa una serie di articoli pubblicati sulla rivista Science, guidati dalla massiva indagine condotta da John Bohannon, ha portato di nuovo l’attenzione, tanto del grande pubblico come anche degli scienziati, su un argomento che da parecchio tempo è in discussione: come valutare la scienza?
 Dai giudizi degli studi scientifici, delle pubblicazioni, dei risultati dei gruppi di ricerca è infatti basata, per esempio, la distribuzione dei fondi disponibili da parte dei Ministeri di molti governi (famosa la RAE  britannica condotta ogni 5 anni, a cui corrisponde più o meno il lavoro dell’ANVUR italiano, l’Agenzia nazionale di valutazione del sistema universitario e della ricerca). 
Attualmente, quando un articolo che presenta i risultati di uno studio o di un esperimento viene inviato ad una rivista, nella maggior parte dei casi la pubblicazione non è immediata: il pezzo viene infatti sottoposto ad una revisione da parte di due o tre scienziati scelti fra quelli che lavorano in quel campo. L’obiettivo del gruppo di revisori, che solitamente rimane anonimo, è decidere se l’articolo è valido e, in caso, se e quali correzioni sono necessarie; in questo modo si ritiene di riuscire a scremare la moltitudine di articoli per far arrivare alla luce solamente quelli validi.Purtroppo non è così. Uno dei controesempi più recenti è il caso del “batterio mangia-arsenico”: nel dicembre del 2010 fu pubblicato su Science uno studio portato avanti dalla NASA che sosteneva di aver trovato un batterio in grado di vivere di arsenico, noto per essere velenoso per qualsiasi forma di vita sulla terra. I commenti dubbiosi sulla validità dello studio e delle sue conclusioni non si sono sprecati e dopo due anni la stessa rivista Science ha pubblicato due ricerche che lo smentiscono.

Questo è solo uno dei casi di fallimento del metodo della peer-review, o “revisione tra pari” (sul blog Retraction watch è possibile trovare una raccolta degli studi ritrattati negli anni).

Cos’ha di diverso invece l’indagine appena pubblicata da Science?
Innanzitutto non si tratta di un solo caso: l’articolo presenta uno studio sistematico fatto su 304 riviste che dichiaravano di utilizzare la peer-review. L’autore ha creato un falso studio con parecchi errori di metodo e di analisi dati e ha inviato un articolo a 304 riviste open access che dichiaravano sul loro sito di garantire un servizio di peer-review. Il risultato? 157 delle riviste in questione hanno pubblicato il falso ed erroneo studio senza battere ciglio. Oltre a mostrare come in molti casi la revisione non venga proprio fatta, Bohannon ha tracciato anche i pagamenti richiesti dalle riviste per pubblicare l’articolo: la maggior parte delle volte la banca al quale arriva si trova in India o in uno stato africano, nonostante la sede della rivista dichiari ad esempio di essere negli Stati Uniti. Infine i revisori molte volte sono non rintracciabili oppure quelli elencati sul sito non hanno nemmeno mai accettato di esserlo.

Tra le riviste open access in questione molte appartengono a grandi gruppi editoriali come Elsevier e Sage, e fra quelle analizzate da Science vi è anche Plos Biology, una delle riviste open access più note. E a quanto pare anche la più meritevole: Plos Biology infatti è stata l’unica ad aver evidenziato i palesi errori del falso studio e ad averlo rifiutato in due settimane.

E’ quindi la revisione tra pari un sistema da buttare? E se si, a quale nuovo metodo dovrebbe affidarsi la scienza per la sua autovalutazione? A questa domanda ha tentato di rispondere proprio Plos Biology che ha pubblicato qualche giorno fa uno studio statistico su 6527 pubblicazioni, mettendo a confronto tre dei metodi di valutazione della ricerca più utilizzati: la peer-review post pubblicazione, l’impact factor e il numero di citazioni. La risposta? Per ora pare che la scienza dovrà accontentarsi del meno peggio ovvero secondo Adam Eyre-Walker e Nina Stoletzki, autori dello studio, l’impact factor. Sono arrivati ad alcune interessanti conclusioni per i tre metodi considerati, conclusioni che  hanno un fattore in comune: l’uomo.

Per esempio, per testare la validità della revisione post pubblicazione ( come avviene per esempio per alcune riviste open access, come la Faculty of 1000) i due autori hanno analizzato il giudizio dato ad ogni paper da ogni singolo revisore: se gli scienziati fossero in grado di dare un giudizio completamente oggettivo su quali sono gli studi meritevoli le valutazioni dovrebbero più o meno coincidere. L’analisi dei dati ha invece mostrato che i voti dei revisori coincidono circa per la  metà dei casi; considerando però che si era stimato che solo per casualità sarebbero dovuti coincidere il 40% delle volte, rimane solamente un 7% di casi in cui i revisori si sono trovati d’accordo sulla qualità di una pubblicazione. Essendo l’impact factor della rivista dove è pubblicato lo studio noto ai revisori i due autori hanno deciso di investigare come e se l’IF abbia un ruolo nell’influenzare il giudizio: la risposta è naturalmente si, e si tratta di un ruolo significativo. I revisori mediamente danno un giudizio  più positivo agli studi pubblicati su riviste con alto impact factor,come è possibile vedere dal grafico qui sotto, che mostra per l’appunto la proporzione di articoli (appartenenti a uno dei due dataset) valutati in ogni categoria (raccomandato, da leggere, eccezionale) in base all’IF della rivista di pubblicazione:

journal.pbio.1001675.g003

Le stesse conclusioni valgono per il rapporto tra il voto del revisore e il numero di citazioni che la pubblicazioni ha guadagnato negli anni; anche se è necessario considerare che per definizione gli articoli pubblicati su riviste con alto impact factor sono maggiormente citati e che, in ogni caso, l’accumulo di citazioni è un fenomeno stocastico ( due articoli identici pubblicati su due riviste diverse non avranno lo stesso numero di citazioni).

Per quanto riguarda l’impact factor stesso i dubbi non mancano: essendo un calcolo complessivo non è indicativo del valore del singolo articolo; è  influenzato dal tipo di studio fatto, dall’essere scritto o meno in lingua inglese e non è standardizzato tra tutti i campi della scienza.
Ma, secondo i due autori dello studio di Plos Biology, forse il più grande impedimento a utilizzare l’impact factor come metodo di valutazione è proprio il modo in cui noi reagiamo ad esso.

Crediti immagine: Center for Scientific Review, Wikimedia Commons; Plos Biology

Chiara Forin
http://www.linkedin.com/profile/view?id=95797174&trk=tab_pro

5 Commenti

  1. Sto preparando un journal club proprio sul caso Bohannon, sui vizi della sua “analisi” e sul reale problema della qualita’ generale della peer-rievew. l’analisi di plos biology cade a fagiolo! grazie per la segnalazione!

  2. Purtroppo la peer-review, vera o finta, sta diventando un problema molto serio.
    Questa è mail di oggi, e non è la prima:

    Applied Scientific Reports [Herbert Publications]
    Dear Dr. Giancarlo xxxxxxx,
    We cordially welcome you as Editorial Board Member for the newly launched Journal, Applied Scientific Reports from Herbert Publications. It is an Open Access (Gold OA), peer reviewed, international online publishing journal that aims to publish premier papers on all the areas of advanced research carried on in its field…

    Per curiosità sono andato sul loro sito a vedere un po’. Io, sono uno che si è interessato per buona parte della sua vita di telecomunicazioni, non c’entro assolutamente nulla con le materie che saranno ospitate sulla rivista. Se fossi vanitoso e volessi accrescere il mio CV potrei accettare e combinare disastri. Non so che dire, questo è uno dei pochi sottoprodotti malefici della facilità di interconnessione sul web.

    1. ecco appunto, è proprio quello di cui parlava Bohannon!
      Però non so se sono d’accordo con l’affermazione che sia un sottoprodotto delle caratteristiche della rete o di internet (come chiamarlo è sempre un problema)…
      mi trovo molto d’accordo invece con le conclusioni dei ricercatori che hanno pubblicato l’indagine statistica su Plos Biology: il problema non è l’impact factor in sé, è come noi ci comportiamo in relazione a esso. Secondo me qui il problema è in parte lo stesso: sta tutto nella capacità di giudizio e nell’intelligenza delle persone. Accettare inviti del genere e poi magari lamentarsi che ci sono articoli di scarsa qualità è come il gatto che si morde la coda…

  3. la peer review non è una cosa soddisfacente.
    tutte le volte che sono stato incaricato da qualche rivista scientifica di effettuare una “peer reviewing” ho alla fine dovuto contattare il relatore originale per avere chiarimenti su che cosa effettivamente volesse intendere.
    Non credo proprio di essere l’unico a fare in questo modo e, di conseguenza, la sbandierata segretezza dei revisori è pura fantasia.
    Mauro Marchionni

Rispondi

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

%d blogger hanno fatto clic su Mi Piace per questo: