CRONACA

Peer review: chi revisiona i revisori?

Le critiche al processo di pubblicazione degli articoli scientifici spingono qualcuno a modernizzare il sistema. Ma i “grandi” restano a guardare…

NOTIZIE – Le dichiarazioni pubbliche di due scienziati inglesi stanno sollevando un polverone, mediatico ma non solo, sul “peer review”, il processo di revisione dei lavori scientifici, universalmente usato dalle riviste specializzate come criterio per la pubblicazione degli articoli. Banalmente ogni lavoro che viene proposto viene revisionato indipendentemente da un certo numero di esperti (anonimi), assegnati dalla rivista. Questo esperti giudicano il lavoro, chiedono approfondimenti ed eventuali modifiche, fino a che l’articolo viene accettato o rifiutato. Come ogni processo basato su “giudici” non è esente da una certa soggettività e da “brogli”. In mancanza di alternative però, fino ad oggi l’opinione diffusa è stata “non è perfetto, ma è il meglio che abbiamo”. Robin Lowell-Badge, esperto di genetica molecolare che si è espresso come parere personale, e Austin Smith, dell’Università di Cambridge, hanno ora però mosso delle accuse precise al sistema, proponendo anche una soluzione.

I due scienziati alla radio e televisione pubblica britannica BBC hanno dichiarato che talvolta può capitare che certi scienziati emettano giudizi negativi sui lavori (o richiedano esperimenti addizionali non necessari) per rallentare il processo nel tentativo di riuscire a far pubblicare prima i propri lavori, o quelli dei loro amici. Già l’anno scorso, 14 scienziati (fra cui lo stesso Smith) avevano mandato una lettera aperta alle maggiori testate specialistiche in cui dichiaravano che “articoli che non sono scientificamente validi o che portano solo innovazioni tecniche modeste spesso ottengono un immeritato rilievo. Allo stesso tempo succede che pubblicazioni con scoperte realmente originali vengano rimandate o rifiutate.” La proposta è dunque quella di far diventare prassi il fatto di pubblicare come materiale supplementare all’articolo anche tutta la storia delle revisioni a cui è stato sottoposto.

C’era da aspettarselo, qualcuno s’è sentito offeso dalle accuse: “non c’è nessuna cricca privilegiata” ha dichiarato Philip Campbell, direttore di Nature. “Non ci hanno convinto a modificare il processo di pubblicazione,” ha spiegato invece Monica Bradford, direttore esecutivo di Science. Non è chiaro perché non si possano rendere pubblici questi documenti, visto che in fondo si tratta di modificare solo l’ultimo passo di un processo che per il resto resterebbe sostanzialmente invariato. La diffusione poi delle versioni elettroniche delle riviste faciliterebbe la pubblicazione di materiale aggiuntivo, senza gravare economicamente sulle risorse delle riviste. I revisori, durante tutto il processo resterebbero comunque anonimi e potrebbero svolgere il loro lavoro senza timore di ricevere pressioni, e solo alla fine dovrebbero mettere “la faccia” sui loro giudizi.

Intanto c’è chi ha sperimentato la trasparenza proposta dagli scienziati: la rivista EMBO (che oltretutto fa parte del Nature Publishing Group) dal primo di  gennaio di quest’anno allega un Review Process File (RPF) a tutti gli articoli, che include la traccia temporale del processo di revisione e tutte le comunicazioni di rilevo, come i commenti dei revisori, le lettere di decisione e le risposte degli autori. Sul sito web, EMBO dichiara che l’esperimento sembra avere successo e di sperare che altri giornali seguano il suo esempio.

Federica Sgorbissa
Federica Sgorbissa è laureata in Psicologia con un dottorato in percezione visiva ottenuto all'Università di Trieste. Dopo l'università, ha ottenuto il Master in comunicazione della scienza della SISSA di Trieste. Da qui varie esperienze lavorative, fra le quali addetta all'ufficio comunicazione del science centre Immaginario Scientifico di Trieste e oggi nell'area comunicazione di SISSA Medialab. Come giornalista free lance collabora con alcune testate come Le Scienze e Mente & Cervello.

13 Commenti

  1. bella proposta, ma non credo che risolverebbe il problema. i revisori potrebbero comunque fare quello che vogliono, se non c’è la possibilità di intervenire sul loro operato…

  2. È un piagnisteo ricorrente. Ma quando, qualche anno fa, “Nature” provò a rendere più trasparente il processo, mettendo online gli articoli potenzialmente pubblicabili perché tutti potessero segnalare ovvietà ed errori, la mitologica “partecipazione degli utenti” ha latitato clamorosamente. La sociologia della scienza è un po’ più complicata, e lo studio degli algoritmi aiuta ma non basta. La valutazione “neutra” non è mai esistita. Possono cambiare i metodi e i soggetti più influenti, al massimo.
    Secondo me non c’è via di mezzo: o peer review (con tutti i difetti) o apertura totale alla mass moderation (alla digg.it, per capirsi, con tutti i difetti). Io tifo per la seconda, ma così, per principio.

  3. L’onestà del Revisore è un parametro umano… Il peer to peer è il “minore dei mali”, almeno in Fisica. O forse qualcuno preferisce il ritorno al modello sovietico del lavoro presentato dall’Accademico “tal dei tali” o alla poca serietà delle riviste italiane di “Didattica e Storia”? Qui i “Revisori” ci stanno per finta e gli effetti si vedono dall’esiguità dei fascicoli. Il minore dei mali è l’invio del lavoro scientifico ad almeno due revisori ben diversi con il criterio di evitare “conflitti di interessi” che entrino solo nel merito della correttezza tecnica e si astengano da richieste “non costruttive”. Sugli ulteriori aspetti del lavoro, ci pensi invece l’Editor.

  4. […] In questo articolo su Oggiscienza, c’è una proposta di due scienziati britannici che sembra piuttosto ragionevole. Non si tratta di una rivoluzione copernicana, l’unica cosa che i due ritengono sia necessario fare è mettere a disposizione della comunità scientifica tutto il carteggio che si sviluppa durante la revisione, nella semplice forma di materiale aggiuntivo a corredo della pubblicazione. […]

  5. Nessun sistema e’ perfetto e nulla puo’ ovviare alla malafede dei referees. Nella mia esperienza in oltre 20 anni mi e’ capitata una volta una situazione come quella descritta..Pero’ in quel caso la rivista (autorevole e statunitense) e’ intervenuta mandando a referees aggiuntivi l’articolo. Certo, un ritardo, innegabilmente c’e’ stato ma non sono convinto che la pubblicazione delle parole del referee che si era opposto (per motivi di confilitto di interesse non dichiarati ma evidenti agli esperti del ramo) alla pubblicazione avrebbbe aiutato la stessa. Togliere i commenti dall’anonimato puo’ giovare in qualche caso ma non migliora il processo.

    1. Mass moderation: con questa espressione vengono chiamati i sistemi di valutazione in cui la partecipazione è aperta a tutti, e non riservata a “esperti”. Oggi, soprattutto grazie all’enorme diffusione di questi metodi di valutazione della qualità in Internet, l’espressione si riferisce a metodi raffinati in cui ognuno può esprimere un’opinione, ma ogni opinione ha un peso diverso determinato dal rapporto tra l’utente che la esprime e la comunità. Un esempio è l’algoritmo con cui Google misura la qualità delle pagine web: la rilevanza di una pagina è data dalla somma delle rilevanze delle pagine che puntano ad essa, che a loro volta sono date dalle somme delle rilevanze delle pagine che puntano ad esse, e così ricorsivamente fino a valutare ogni pagina del World Wide Web. Ogni giudizio ha dunque un peso diverso (ci sono esperti e non esperti), ma non è un’autorità esterna (come la redazione di una rivista) a conferire più peso ad alcuni giudizi.

      Digg.it: un sito web in cui gli utenti possono votare le pagine web considerate più interessanti, segnalandole agli altri utenti.

  6. Buongiorno, io non sono un’esperto di cose di scienza ma conosco bene la realtà delle riviste letterarie c.d. militanti. In effetti è quasi impossibile che un individuo isolato, non appartenente a una comunità che afferisca a una rivista di un qualche valore possa veder pubblicato il suo testo. Questa considerazione è di rilievo perché anche in letteratura si può parlare di una ricerca, non solo filologica ma anche stilistica e via dicendo, con la differenza che in questo campo non vi sono vere e proprie strutture (salvo dubbie eccezioni), ma il lavoro è affidato allo scrupolo e all’iniziativa individuale.
    La pratica del nepotismo qui viene presupposta, e questo porta alla pubblicazione di una massa di ciarpame con un’inflazione di riviste tra cui brilla, di tanto in tanto, la pagliuzza d’oro. Non so se il metodo peer-review rischi anch’esso un circolo vizioso magari per via dei finanziamenti privati a certe linee di ricerca di risultato immediato a scapito di altre. Ma ritengo comunque indispensabile un qualche filtro di controllo che permetta di valutare la qualità di un apporto critico o di ricerca.
    Secondo me il problema è che la stessa ricerca, essendo un fenomeno umano, è permeabile a un certo numero di pregiudizi soggettivi difficilmente individuabili ed eliminabili. Forse bisognerebbe fare in modo che i revisori venissero estratti a sorte da una lista, come gli arbitri, e che non appartenessero necessariamente alla rivista su cui verrà pubblicato il lavoro. Magari è questa la prassi, e non essendo nel campo non lo so.

  7. Io sono studente alla facoltà di Medicina e non sono assolutamente esperto del problema, ma vorrei esprimere umilmente un’opinione.

    Se il problema è avere peer review indipendente ed obiettivo, mi pare che una soluzione (imperfetta come tutte ma anche non impossibile) potrebbe essere formare dei professionisti dediti a questa specifica attività.
    Un po’ come succede per il giornalismo che sa esprimere la sottobranca del giornalismo scientifico.
    Questi giornalisti non fanno ricerca o scienza ma la conoscono e la sanno valutare

    Ovvero si dovrebbero preparare specialisti che conoscano l’ambiente e i problemi della ricerca perchè fanno formazione specifica, ed aggiornamento obbligatorio permanente, ma con l’obiettivo non di fare ricerca vera e propria bensì soltanto peer reviewing.

    Diversamente non sarà possibile sfuggire al pericolo del luminare che “cova le proprie uova” o quelle dei suoi pupilli a scapito di altri.

    Del resto questo è un problema di cui la scienza soffre da sempre purtroppo,
    Basti pensare alle disavventure di Abel, di Cantor, di Boltzmann, Semmelweiss e molti altri.

    Comunque non vedo perchè alla pubblicazione della ricerca prodotta in un certo Paese non debba farsi carico lo Stato stesso.
    Come capitava con la rivista PNAS che era del tutto free fino a prima dell’ “era dei Bush” mi dicono.
    Lo Stato ha le risorse per finanziare la pubblicazione e anche il peer review e mettere tutto a disposizione dei cittadini che pagano tutto il processo.
    Qualche guerricciola e spreco in meno e per tutti ci sarà qualcosa in più.

    Scusate l’ingenuità, forse l’obiettivo è utopico, ma la stella polare non la si cerca per andarci, è già utile il solo guardarla perchè ti indica la giusta direzione da prendere.

  8. Ciao, volevo inserirmi nella discussione riguardante i revisori scientifici mi sono sempre chiesto perchè i revisori debbano conoscere gli autori della pubblicazione. Infatti un revisore dovrebbe in definitiva valutare una idea !!..Io penso che la conoscenza degli autori della pubblicazione sia un fattore che possa incidere sia positivamente che negativamente, predisponendo incosciamente il revisore…
    Vorrei sottolineare il fatto che considero il meccanismo attualmente utilizzato per le valutazione delle pubblicazioni scientifiche fra i migliori criteri possibili per la valutazione delle idee. Penso di contro che il mantenimento dell’ananonimato da entrambe le parti potrebbe aggiungere maggiore raziocinio alla valutazione .

  9. Sono assolutamente d’accordo con te Domenico.
    E’ un’idea semplice, intelligente e anche di sicura efficacia.
    Sono pure d’accordo che il sistema del peer review è il migliore possibile pur con i difetti che ha.
    Invece spero arriverà presto il momento in cui non saranno più gli editori ad occuparsene.

Rispondi

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

%d blogger hanno fatto clic su Mi Piace per questo: