Cosa significa la mancanza di riproducibilità nella ricerca psicologica?
In un mondo ideale, si potrebbe pensare che qualcosa nell'ordine del 75 o addirittura dell'80% degli studi avrebbe dovuto riprodurre risultati simili, giusto? Perché i nuovi studi sono stati semplicemente ri-condotti su una popolazione diversa da ricercatori che hanno seguito attentamente i metodi dei ricercatori originali. Nella maggior parte dei casi, i ricercatori hanno avuto anche un contatto diretto e la collaborazione dei ricercatori originali.
Ma in base a una scoperta, una dozzina di modi diversi da quando è stato pubblicato la scorsa settimana Scienza diario, il progetto non si è avvicinato al 75 percento. Solo il 36% delle repliche ha prodotto risultati significativi, rispetto al 97% dei 100 studi originali.
Cosa significa questo per la psicologia?
Nonostante alcuni tentassero di trasformare questa scoperta come non inaspettata o "non così grave come avrebbe potuto essere", questo non promette nulla di buono per la scienza psicologica. Ogni mese vengono pubblicati centinaia di nuovi studi di psicologia. Ciò che questa scoperta significa, in poche parole, è che la maggior parte dei risultati di questi studi non deve essere considerata attendibile. Sono, in effetti, falsi.
A partire dal L'Atlantico copertura:
"La percentuale di successo è inferiore a quanto avrei pensato", afferma John Ioannidis della Stanford University, il cui classico articolo teorico Perché la maggior parte dei risultati delle ricerche pubblicate sono falsi è stato un parafulmine per il movimento di riproducibilità.
“Mi dispiace vedere che alcune delle mie previsioni sono state convalidate. Vorrei che fossero stati smentiti. "
Un'altra brutta scoperta della nuova ricerca è che le dimensioni degli effetti misurate erano in genere inferiori del 50% rispetto a quelle trovate dai ricercatori originali. Ciò significa che anche quando i risultati sono stati riprodotti dai nuovi ricercatori, l'impatto delle variabili studiate non era così importante come si pensava inizialmente.
Ragioni per una scarsa riproducibilità nella ricerca psicologica
Ci sono una dozzina di ragioni diverse per questo scarso risultato dalla ricerca psicologica. Ma prima di esaminarne alcuni, questa è una fredda spruzzata di acqua reale nel prendere i risultati da un singolo studio e generalizzare da essi. O peggio ancora, credere che qualcosa sia vero quando deve ancora essere dimostrato vero da più di un singolo studio.
Se uno studio non è in doppio cieco, come la maggior parte di questi non lo era, i pregiudizi dei ricercatori possono influenzare in modo sottile il modo in cui i dati vengono raccolti o analizzati. Se un ricercatore ha appena trascorso 8 o 18 mesi a raccogliere dati solo per non trovare risultati significativi, potrebbe partecipare a una spedizione di pesca dei dati per trovare qualche altra relazione di dati da pubblicare.1 I ricercatori quindi modificano le loro ipotesi originali per adattarle ai dati effettivamente trovato (poiché la maggior parte dei ricercatori ancora non preregistra la propria ricerca con un servizio di tracciamento, anche se sta cambiando lentamente).
Altri hanno suggerito che forse la "sorpresa" è un'altra spiegazione - che le riviste oggigiorno si concentrano sulla pubblicazione di scoperte sorprendenti, poiché sono più popolari e interessanti per i lettori. Quando si aggiunge la possibilità di regressione alla media - che le variabili possono essere più estreme quando misurate per la prima volta, ma meno estreme se misurate una seconda o terza volta - il suggerimento è che questi due fattori si combinano per incoraggiare la pubblicazione di studi che sono intrinsecamente difficili riprodurre.
Cosa significa per la scienza psicologica?
La natura umana è infinitamente complessa. La scienza psicologica tenta di decostruire il comportamento e le emozioni umane in piccoli pezzi per comprendere meglio l'insieme. Tuttavia, se la ricerca non è in grado di riprodurre la scienza alla base degli studi, suggerisce che anche gran parte di ciò che il campo pubblica ogni anno non può essere considerato attendibile.2
Tuttavia, non conosciamo nemmeno le statistiche di riproducibilità della maggior parte della scienza, dal momento che nulla di simile al Progetto sulla riproducibilità è mai stato tentato prima in altri campi. Potrebbe essere che questo sia un difetto sofferto dalla maggior parte della scienza, o potrebbe essere un difetto che ha un impatto sulle scienze sociali più di altre scienze.
Ma nel breve periodo, questo enfatizza qualcosa che ho sempre detto: una scoperta di scienza psicologica non è qualcosa su cui puoi appendere il cappello fino a quando non viene riprodotta da un altro ricercatore. Si dice che i risultati riproducibili siano "robusti" e quindi affidabili.
Cerca questo tipo di informazioni quando valuti o leggi articoli di notizie basati su un nuovo studio. Anche se non così sexy come nuove, scoperte "sorprendenti", ricerche che verificano o mettono in discussione ciò che già pensiamo di sapere siano altrettanto importanti.
Per maggiori informazioni…
The Atlantic: quanto sono affidabili gli studi di psicologia?
The Guardian: Study fornisce un verdetto desolante sulla validità dei risultati degli esperimenti di psicologia
Mindhacks: Non chiamatelo un ritorno
Riferimento
Collaborazione scientifica aperta. (2015). Stima della riproducibilità della scienza psicologica. Scienza, 28.
Progetto di riproducibilità: psicologia - i dati grezzi
Note a piè di pagina:
- Altrimenti tutto quel tempo, denaro e fatica sono stati sprecati, perché pochi ricercatori possono o vogliono pubblicare risultati nulli. [↩]
- E mette davvero in discussione le ampie generalizzazioni degli autori fatte sull'applicabilità delle loro scoperte, trovate in quasi tutte le sezioni di discussione dei recenti studi di psicologia. [↩]
