La crisi della riproducibilità: quando il fallimento diventa un successo

SPECIALE DICEMBRE – Inserire tra le scoperte più sorprendenti dell’anno uno dei più duri colpi inflitti all’attendibilità di una disciplina può sembrare forse un’amara contraddizione. Eppure se ne stanno lì, infilati tra i maggiori successi scientifici del 2015 secondo la rivista Science, tra le scoperte che potrebbero migliorare la nostra salute o riscrivere la nostra storia evolutiva. In mezzo a tanto glorioso ottimismo, la testimonianza di un grande fiasco.
Parliamo dei risultati del Reproducibility Project dedicato alla psicologia, pubblicati lo scorso agosto sulle stesse pagine di Science con un duro verdetto (ne avevamo dato notizia qui): tra cento esperimenti di psicologia scelti per essere replicati, soltanto poco più di un terzo ha confermato i risultati degli studi originali. A chi segue, per lavoro o passione, le notizie del mondo della ricerca scientifica difficilmente è sfuggito il polverone sollevato dalla pubblicazione di questi dati. Non è un caso che Brian Nosek, lo psicologo della University of Virginia che è stato promotore del progetto, sia stato anche incluso dalla rivista Nature tra le 10 personalità più rilevanti dell’anno in ambito scientifico.

Anche trascurando per un attimo i risultati, lo sforzo di Nosek è certamente encomiabile: interessato al problema della riproducibilità nella ricerca scientifica, nel 2013 lo psicologo ha fondato la società non profit Center for Open Science, con l’intenzione di sviluppare strumenti e criteri per migliorare la trasparenza nella metodologia degli studi scientifici. Il Reproducibility Project nasce proprio all’interno di questa associazione, uno sforzo che ha coinvolto 270 ricercatori nel tentativo di replicare i risultati di 100 studi di psicologia cognitiva e sociale pubblicati su tre importati riviste del settore.

Il progetto, ha commentato la neuroscienziata e giornalista Vaughan Bell sul blog Mind Hacks “è stato l’equivalente in psicologia del Large Hadron Collider, ma senza il bisogno di scavare un enorme buco in Svizzera”.

E sembra essere stato proprio lo sforzo di affrontare il problema della riproducibilità a far guadagnare allo studio una posizione tra la top ten scientifica di Science. Eppure è difficile togliersi dalla testa che la risonanza avuta dall’impresa tra accademici e media sia da attribuire in massima parte al suo fallimento. I dati emersi dal progetto – quasi due terzi degli esperimenti non hanno permesso di replicare i risultati delle ricerche originali – hanno dato ossigeno al dibattito sulla crisi della psicologia sperimentale in atto da alcuni anni. Se alcuni problemi, dai casi di frodi al fenomeno della publication bias, sembrano infatti comuni a molti ambiti scientifici, altri fattori giocano un ruolo specifico nel caso della psicologia. Quando si studia un comportamento umano, che si tratti di memoria o di scelte morali, gli elementi che possono influenzare i risultati della ricerca sono moltissimi. Alcuni possono essere controllati – per esempio, l’età e il sesso dei volontari reclutati per l’esperimento, o le condizioni di illuminazione del laboratorio. Ma chiunque abbia partecipato a uno studio di psicologia sperimentale, in veste di cavia o di sperimentatore, sa che le variabili sono potenzialmente infinite. Il volontario avrà dormito bene la notte prima del test? La formulazione delle domande ha qualche ambiguità? La cultura dei partecipanti influenzerà le loro risposte? Problemi non da poco per qualunque disciplina che voglia attribuire ai propri risultati una parvenza di universalità.

Proprio l’estrema dipendenza dei fenomeni osservati dalle specifiche condizioni di studio scagionerebbe la psicologia dall’attacco subito, ha sostenuto la professoressa Lisa Feldman Barrett dalle pagine del New York Times. Se alcuni studi del Reproducibility Project non hanno superato la prova della replica, secondo la psicologa, questo non indica che i risultati originali fossero falsi, ma piuttosto che “erano veri soltanto in certe condizioni”.

Una difesa che ha fatto storcere il naso a molti, e che è apparsa come il tentativo di voler “nascondere i problemi della psicologia sotto il tappeto”, come ha scritto il giornalista Ed Yong su The Atlantic. “Se i risultati sono fiori delicati che fioriscono solo sotto le cure di alcuni sperimentatori – si chiede il giornalista – quanto possono essere rilevanti per il disordinato, rumoroso, caotico mondo fuori dal laboratorio?”.

In ogni caso, il mondo della psicologia sperimentale potrebbe non restare solo davanti alle critiche della mancata riproducibilità. Un secondo Reproducibility Project sta infatti affrontando le ricerche biologiche sul cancro, e – come riporta Brendan Maher su Nature –Nosek sta valutando la possibilità di sviluppare simili iniziative nel campo dell’ecologia e dell’informatica.

Pur riconoscendo l’importanza del progetto, piace pensare che l’inserimento dei risultati tra le ricerche dell’anno volesse essere una forma di monito da parte dei redattori di Science, una sorta di Memento mori, per ricordare a tutti noi lettori che le scoperte che ci hanno entusiasmato potrebbero con il tempo rivelarsi nel tempo poco più di una fluttuazione statistica.

@ValentinaDaelli

Leggi anche: Dal lievito all’oppio nel garage di casa

Pubblicato con licenza Creative Commons Attribuzione-Non opere derivate 2.5 Italia.   
Crediti immagine: Denise Chan, Flick