Lascia che i dati parlino? No, non sempre
Frank L. Schmidt, un rispettato professore e ricercatore presso l'Università dell'Iowa, ha tenuto sabato un discorso alla ventesima convention dell'Association for Psychological Science su come possono mentire i dati scientifici. Sì, è vero, i dati empirici - anche quelli pubblicati su riviste rispettate e sottoposte a revisione paritaria - regolarmente non dicono la verità.
Il discorso di Schmidt è stato molto seguito in una delle più grandi sale da ballo dello Sheraton Hotel and Towers di Chicago, dove si terrà la convention. Nonostante una presentazione irregolare, i punti principali di Schmidt sono emersi.
Uno di questi è che l'interpretazione ingenua di più set di dati è spesso la più corretta: il rasoio di Occam ("la soluzione più semplice è di solito la risposta migliore"). Schmidt afferma che una buona ricerca trova la struttura semplice alla base di dati complessi.
Ha riassunto che ci sono due ragioni principali per cui i dati possono "mentire" nella ricerca: errori di campionamento ed errori di misurazione.
La più grande critica di Schmidt è stata rivolta al feticcio della scienza psicologica con test di significatività, ad esempio la significatività statistica. Vorrebbe che la psicologia si allontanasse dalla sua dipendenza e attrazione per la significatività statistica, perché è una misura debole e distorta che fondamentalmente dice poco sui dati o le ipotesi sottostanti.
Schmidt ha descritto sei miti sui test di significatività circostanti. Un mito era che un buon valore p sia un indicatore di importanza, quando in realtà è solo un'indicazione del livello di potenza di uno studio. Un altro era che se non si trovava alcun significato significa che non era stata trovata alcuna relazione tra le variabili (in verità, potrebbe semplicemente significare che lo studio mancava di potenza sufficiente).
Le soluzioni di Schmidt sono semplici: riportano invece le dimensioni degli effetti (stime puntuali) e gli intervalli di confidenza e sottolineano completamente i test di significatività.
Ha finito di criticare la ritrovata enfasi sulle meta-analisi nella ricerca psicologica, richiamando in particolare la rivista Bollettino psicologico. In uno studio ancora da pubblicare, lui e altri ricercatori hanno esaminato tutte le meta-analisi pubblicate nel Bollettino psicologico 1978-2006 - 199 studi in tutto.
I ricercatori hanno scoperto che il 65% di questi studi esaminati utilizzava un modello "a effetti fissi" per la loro meta-analisi. Schmidt ha affermato che nei modelli a effetti fissi le relazioni tra i dati sono sottostimate (fino al 50%) e che i ricercatori stanno sovrastimando quanto siano precisi (quanto poco errore c'è in quella stima). Schmidt preferisce invece modelli ad “effetti casuali” che meglio spiegano queste variazioni.
Ha anche notato che nel 90% degli studi esaminati non sono state apportate correzioni per errori di misurazione - uno dei motivi principali per cui cita che i dati possono "mentire" nella ricerca psicologica.
Data questa analisi, Schmidt suggerisce che moltissime meta-analisi pubblicate su riviste sottoposte a revisione paritaria raggiungono conclusioni errate o errate.
Purtroppo, è improbabile che questo stato di cose cambi presto. Mentre molte riviste psicologiche hanno adottato standard più rigorosi per la pubblicazione di ricerche che aderiscono meglio ai suggerimenti di Schmidt, molti ancora non lo fanno e sembrano non avere alcuna intenzione di cambiare.
Ciò che questo significa per la persona media è che non puoi fidarti di ogni studio pubblicato solo perché appare in una rivista peer-reviewed, che viene poi pubblicizzata sui media come "fatto" attraverso un comunicato stampa. Tali fatti sono malleabili, mutevoli e difettosi. Solo attraverso un'attenta lettura e analisi di tali studi possiamo comprendere il valore dei dati che presentano.
