A quale ricerca puoi credere?
Chiunque legga Mondo della psicologia conosce già regolarmente i problemi in molti studi finanziati dall'industria. Ma questo articolo suggerisce che i problemi con la ricerca sottoposta a revisione tra pari vanno molto più in profondità del semplice pregiudizio a scopo di lucro. Gli scienziati sono prevenuti in molti modi (non solo per guadagno monetario). E questo pregiudizio si manifesta inevitabilmente nel lavoro che svolgono: la ricerca scientifica.
Questo non è un nuovo tamburo da battere per me - ho parlato del pregiudizio del ricercatore nel 2007 e di come i ricercatori progettano studi per trovare risultati specifici (questo esempio ha coinvolto ricercatori che hanno trovato siti web di metodi suicidi durante la ricerca - aspetta - "metodi suicidi "In Google). Abbiamo notato come praticamente ogni studio su riviste come Scienze psicologiche fare affidamento quasi esclusivamente su studenti universitari raccolti da un singolo campus come materie, una limitazione significativa raramente menzionata negli studi stessi.
Tuttavia, ecco il vero aspetto preoccupante: questi tipi di studi distorti compaiono in tutti i tipi di riviste. JAMA, NEJM e BMJ non sono immuni dalla pubblicazione di studi scadenti e imperfetti in medicina e psicologia. Pensiamo alla "rispettabilità" di una rivista come una sorta di segno di un ruolo di gatekeeping - che gli studi che compaiono nelle riviste più prestigiose devono essere fondamentalmente solidi.
Ma semplicemente non è vero. L'imperatore non è solo nudo: i suoi sudditi hanno nascosto i suoi vestiti per promuovere la propria carriera.
La questione degli studi di parte pubblicati per la prima volta ha colpito i riflettori nel 2004, quando GlaxoSmithKline è stata citata in giudizio dai procuratori generali dello stato per aver nascosto i dati della ricerca su Paxil. Da quel momento, sono venute alla luce dozzine di studi e da allora sono stati pubblicati altri studi che mostrano come le aziende farmaceutiche sembrano aver nascosto regolarmente dati di ricerca rilevanti. Questi dati di solito mostrano che il farmaco in esame non era efficace, rispetto a una pillola di zucchero, nel trattamento di qualsiasi disturbo a cui era destinato. (Blog come Clinical Psychology and Psychiatry: A Closer Look e il Carlat Psychiatry Blog contengono maggiori dettagli su questi studi.)
Ma per quanto riguarda altri tipi di pregiudizi? Siamo interessati solo a studi in cui il bias è così palese o non dovremmo preoccuparci di qualsiasi tipo di bias che possa influire sull'affidabilità dei risultati?
La risposta è, ovviamente, che dovremmo essere interessati a tutte le forme di pregiudizio. Tutto ciò che può influenzare i risultati finali di uno studio significa che le conclusioni dello studio potrebbero essere in discussione.
John Ioannidis, professore all'Università di Ioannina, si è interessato a questa domanda nella ricerca medica. Così ha messo insieme un team esperto di ricercatori e statistici per scavare più a fondo e vedere quanto fosse grave il problema. Quello che ha scoperto non ha sorpreso i ricercatori, ma sarà una sorpresa per la maggior parte dei laici -
Sconcertato, iniziò a cercare i modi specifici in cui gli studi andavano male. E in poco tempo ha scoperto che la gamma di errori commessi era sorprendente: dalle domande poste dai ricercatori, a come hanno impostato gli studi, a quali pazienti hanno reclutato per gli studi, a quali misurazioni hanno preso, a come hanno analizzato i dati , a come hanno presentato i loro risultati, a come particolari studi sono stati pubblicati su riviste mediche. [...]
"Gli studi erano di parte", dice. “A volte erano apertamente prevenuti. A volte era difficile vedere il pregiudizio, ma c'era. " I ricercatori si sono avviati ai loro studi alla ricerca di determinati risultati e, guarda caso, li stavano ottenendo. Pensiamo al processo scientifico come obiettivo, rigoroso e persino spietato nel separare ciò che è vero da ciò che desideriamo semplicemente che sia vero, ma in realtà è facile manipolare i risultati, anche involontariamente o inconsciamente.
"In ogni fase del processo, c'è spazio per distorcere i risultati, un modo per fare una dichiarazione più forte o per selezionare ciò che verrà concluso", afferma Ioannidis. "Esiste un conflitto di interessi intellettuale che spinge i ricercatori a trovare qualunque cosa sia più probabile per ottenere finanziamenti".
Ioannadis ha messo insieme un modello matematico complesso che prevederebbe quanta ricerca potrebbe essere difettosa, sulla base di tutte queste variabili. Il suo modello prevedeva che "l'80% degli studi non randomizzati (di gran lunga il tipo più comune [- specialmente nella ricerca psicologica]) [si rivelerà] sbagliato, così come il 25% degli studi randomizzati presumibilmente gold standard, e fino al 10 percento dei grandi studi randomizzati standard del platino. "
Poi ha messo alla prova quel modello su 49 studi che contenevano i risultati della ricerca medica più apprezzati negli ultimi 13 anni. Questi erano nelle riviste mediche più citate, ed erano essi stessi gli articoli più citati.
Dei 49 articoli, 45 hanno affermato di aver scoperto interventi efficaci. Trentaquattro di queste affermazioni erano state riesaminate e 14 di queste, o il 41 per cento, avevano dimostrato in modo convincente di essere sbagliate o significativamente esagerate. Se tra un terzo e la metà della ricerca medica più acclamata si è rivelata inaffidabile, la portata e l'impatto del problema erano innegabili. [...]
Di quei 45 studi super citati su cui Ioannidis si è concentrato, 11 non erano mai stati riesaminati. Forse peggio, Ioannidis ha scoperto che anche quando viene rilevato un errore di ricerca, in genere persiste per anni o addirittura decenni. Ha esaminato tre importanti studi sulla salute degli anni '80 e '90 che sono stati successivamente smentiti e hanno scoperto che i ricercatori hanno continuato a citare i risultati originali come corretti più spesso che come imperfetti, in un caso per almeno 12 anni dopo che i risultati sono stati screditati. .
Questo per quanto riguarda gli scienziati che riesaminano i risultati pubblicati da altri: l'unico modo definitivo per combattere i pregiudizi. Come ha potuto quasi il 25% degli studi medici più citati negli ultimi 13 anni non essere mai stato riesaminato? Sbalorditivo.
Il risultato per la maggior parte di noi è che è quasi impossibile per chiunque dire se un dato pezzo di ricerca sta davvero dimostrando risultati positivi, nuovi e solidi. Senza entrare in un'analisi dettagliata dello studio - e di tutti i suoi precursori - inserire nuove ricerche nel contesto è un compito lungo e difficile. Inoltre, il modello di Ioannidis suggerisce che la stragrande maggioranza della ricerca psicologica - forse fino all'80% - è probabilmente sbagliata. Non c'è davvero nessun rivestimento positivo qui.
Tranne forse che i team di ricerca come Ioannidis sono al lavoro, lavorando per mostrare come i pregiudizi possono infiltrarsi anche nella ricerca "gold standard".
Il cambiamento qui dipende in gran parte dai singoli ricercatori che apprendono questi pregiudizi e lavorano molto più duramente per garantire che i loro studi siano privi di essi. Ma senza alcun gatekeeper che controlli effettivamente la progettazione di uno studio o i metodi statistici, c'è poco incentivo a cambiare. Gli incentivi finanziari e di carriera affinché i ricercatori continuino a pubblicare come hanno tradizionalmente per mantenere la loro posizione accademica e professionale rimangono intrattabili.
L'articolo completo vale il tuo tempo: bugie, dannate bugie e scienza medica
Sebbene non sia l'ideale, ecco il nostro manuale di alcuni anni fa su come individuare ricerche discutibili: la ricerca è buona?
