La riproducibilità degli studi di psicologia

APPROFONDIMENTO – Quanto sono affidabili e riproducibili gli studi scientifici di psicologia? Poco, circa per il 40%. Questo il risultato di uno studio pubblicato sulla rivista Science da un gruppo internazionale di ricercatori che ha analizzato i risultati di cento studi psicologici degli ultimi anni. Un dato interessante, che merita una riflessione più ampia.

La replicabilità di uno studio è un aspetto fondamentale del metodo scientifico: grazie a un protocollo dettagliato, in teoria chiunque dovrebbe essere in grado di riprodurre un esperimento e ottenere lo stesso risultato.

Non sempre però questo succede. Escludendo i casi di frode, in cui il ricercatore ha mentito e falsificato i dati, una ricerca può non essere riproducibile per via di una descrizione non sufficientemente dettagliata del protocollo o per errori statistici.

Per questo è importante la cosiddetta peer review (revisione tra pari), ovvero quel processo che serve a controllare la consistenza degli studi scientifici prima che essi vengano pubblicati sulle riviste scientifiche. Un meccanismo che funziona discretamente bene, anche se, come sottolineato più volte, non è infallibile.

E in psicologia la riproducibilità dei dati è molto delicata, perché molti studi consistono in analisi di dati. Ripetere l’esperimento servirebbe quindi proprio a valutare la correttezza statistica, ma si tratta di un lavoro lungo e laborioso che spesso non viene fatto.

Inoltre sono molto frequenti le critiche sul metodo. “Molte delle teorie classiche sono vecchie di decenni – ha spiegato Daniela Ovadia, giornalista scientifica con formazione in medicina e neuropsicologia cognitiva – oppure frutto di studi fatti su campioni relativamente piccoli di soggetti”.

Per esempio in psicologia sociale si corre il rischio di generalizzare il comportamento di singoli partecipanti a uno studio. “Potrebbe non essere universale – continua Ovadia – ma culturalmente determinato e noi non abbiamo modo di dimostrarlo se non replicando l’esperimento iniziale in un contesto diverso da quello originale”.

Dunque un nodo ancora più critico per la psicologia, spesso vista come una scienza “di serie B”. Eppure gli esperimenti psicologici sono fondamentali e hanno determinato la progettazione di norme, regole e metodi educativi.

Per questo motivo, proprio dal mondo della psicologia è partito un progetto frutto di collaborazioni internazionali che focalizza l’attenzione sulla riproducibilità dei dati, il Reproducibility Project. In altre parole, il tentativo di verificare se le scoperte su cui si basa la moderna psicologia sono affidabili, cercando di replicarli in altri laboratori.

Ai vari gruppi di ricerca che hanno partecipato al progetto sono stati consegnati i protocolli degli studi originali, e una volta conclusi gli esperimenti sono stati aggregati i dati e riviste le analisi.

Come valutare le repliche? Ci si è basati innanzitutto sul criterio di significatività statistica, secondo i valori di p, la probabilità di ottenere un valore pari o maggiore rispetto un intervallo del 95% (p= 0,05). Sono poi stati considerati anche altri fattori come la forza del fenomeno analizzato, la soggettività del giudizio dei ricercatori, la dimensione del campione e una metanalisi complessiva dei 100 esperimenti.

Il risultato? A fronte di studi originali che annunciavano risultati statisticamente significativi, solo il 36% dei dati era effettivamente replicabile. Sono stati anche osservati diversi gradi di errore: nel 47% dei casi infatti il dato non era uguale, ma simile, e andava nella stessa direzione. Il campo più deludente è stato quello della psicologia sociale, in cui solo il 25% degli studi sono stati riprodotti con successo, così come gli studi dagli effetti sorprendenti, che si sono rivelati essere quelli meno riproducibili.

Come interpretare questi risultati?

Secondo Gilbert Chin, redattore di Science, l’esito è stato un po’ deludente, anche se non mette in dubbio teorie e conclusioni. Tuttavia “dovremmo fidarci un po’ meno di molti dei risultati sperimentali originali che vengono prodotti come prova empirica a sostegno di quelle teorie”.

Va fatto notare che nello studio si considera l’uso del valore p allo 0,05 come fosse una definita linea di demarcazione tra risultati significativi e non significativi, anche se si tratta di una misura non certo infallibile.

Infine è bene ricordare che tutti gli ambiti della scienza hanno lo stesso problema, in parte determinato dalla necessità da parte dei ricercatori di pubblicare con costanza e che i tassi di errore non sono poi così lontani da scienze come la medicina, un campo in cui secondo un articolo del 2005 circa il 30% degli esperimenti sono sbagliati per questioni statistiche o per falsificazioni.

Dunque, se da un lato possiamo guardare con soddisfazione a quel quasi 40% degli studi che sono stati perfettamente riproducibili, dall’altro il Reproducibility Project può essere un buon modello studiare la riproducibilità degli studi di altri campi della scienza molto importanti, come quelli sulla ricerca sul cancro.

@FedeBaglioni88

Leggi anche: Paper all’avanguardia: fanno il botto decenni dopo la pubblicazione

Pubblicato con licenza Creative Commons Attribuzione-Non opere derivate 2.5 Italia.   

Crediti immagini: Aaron Jacobs, Flickr