Pubblicare prima dei risultati: la pre-accettazione contro la tirannia del p-value

JEKYLL – Non c’è dottorando o ricercatore che non ci sia passato: per quanto l’esperimento sia originale e ben pianificato, le diverse variabili siano state prese in considerazione, per quanto si siano scelti con cura i parametri da utilizzare, e i dati siano stati raccolti con precisione, se i risultati non porteranno a un valore statisticamente significativo le possibilità di pubblicare il lavoro crolleranno vertiginosamente. L’affanno del p-value colpisce in modo indiscriminato tesisti e professori ordinari in gran parte delle scienze sperimentali. Sotto la pressione della pubblicazione gli ultimi anni hanno visto il fiorire in molti laboratori di pratiche dalla dubbia eticità, dall’uso fantasioso della statistica, al rimaneggiamento artistico dei dati, fino alla vera e propria frode. E anche, nei casi dei più onesti, l’accumulo nei cassetti (diciamo nelle cartelle di file) di studi abbandonati e non pubblicati che non vedranno mai la luce perché lontani da quel fantomatico p=0.05.

Ma se fosse possibile assicurarsi un via libera per la pubblicazione di una ricerca prima ancora di conoscere i risultati?

L’idea non è nuova, e alcuni scienziati e blogger auspicano da tempo un simile meccanismo. Già presente in ambito clinico, la registrazione preventiva di uno studio prima che avvenga la raccolta dei dati potrebbe diventare un’alternativa all’attuale sistema di pubblicazione scientifica in alcuni ambiti di ricerca.
Tra i principali sostenitori di questa riforma c’è Chris Chambers, uno psicologo e neuroscienziato che lavora alla Cardiff University. Sul suo blog Chambers ha sostenuto l’introduzione di un sistema di pre-registrazione nelle pubblicazioni scientifiche: uno studio potrebbe ricevere una forma di accettazione in via di principio da parte di una rivista sulla base della validità dell’ipotesi, della pianificazione degli esperimenti e delle statistiche che si intendono usare per analizzare i dati. E i risultati? La significatività? Il p-value? Non così importanti, secondo questo modello, che prevede un’accettazione finale dell’articolo che non si basa sulla novità e la chiarezza dei risultati.
L’idea non è dispiaciuta ad alcuni editori della rivista Cortex, che hanno deciso di includere Chambers nel team editoriale per discutere dell’introduzione di un simile meccanismo all’interno del giornale. «Come spesso accade con le novità, la proposta è stata accolta con entusiasmo da alcuni e con scetticismo da altri, ma abbiamo deciso che valeva la pena comunque verificarne l’impatto sul campo, e l’abbiamo quindi fatta materializzare», commenta Sergio Della Sala, professore di neuropsicologia alla University of Edinburgh e membro dell’editorial board della rivista Cortex.

Dallo scorso maggio, l’idea di Chambers si è concretizzata nell’istituzione di un nuovo formato di pubblicazione della rivista. Nel Registered Report il processo di valutazione della ricerca è divisa in due stadi. Se i metodi e le analisi proposti sono giudicati adatti dalla prima revisione, lo studio riceve un teorico lasciapassare alla pubblicazione, che sarà confermata se la ricerca sarà condotta in modo coerente con quanto dichiarato, indipendentemente dai risultati.
I primi risultati, spiega Della Sala, sembrano incoraggianti. «La proposta ha suscitato parecchio interesse», racconta il ricercatore. «Abbiamo ricevuto i primi manoscritti, e stiamo perfezionando la procedura. Il sistema finora si è dimostrato ben oliato, ma necessariamente richiederà rifiniture dopo il primo periodo di prove e verifiche».

Mentre simili progetti sono proposti anche da altre riviste, come Attention, Perception & Psychophysics e Perspectives on Psychological Science, non manca qualche critica al sistema. La principale perplessità riguarda l’eventuale freno che questo formato porterebbe all’esplorazione e alle scoperte casuali e non previste che spesso emergono dagli esperimenti. «La scienza è spesso esplorativa», scrive sul suo blog il neuroscienziato Sebastiaan Mathôt, «ed “esplorazione” non è una brutta parola».
Lo stesso Della Sala ammette che il rischio esiste: «Gli aspetti negativi potrebbero essere quelli di limitare lo sviluppo in fieri di una serie di studi, inibire un caposaldo della scienza, cioè quello di proseguire per tentativi ed errori». In ogni caso il bilancio del nuovo sistema, secondo lo scienziato, sarebbe positivo. «La pre-accettazione costringerà noi tutti a essere più precisi, trasparenti, oserei dire onesti, nel modo in cui pensiamo ai nostri progetti, programmiamo i nostri esperimenti e soprattutto descriviamo i risultati».

Crediti immagine: “Piled Higher and Deeper” by Jorge Cham www.phdcomics.com