La ricerca è buona?

Vuoi essere un consumatore migliore della ricerca nel campo delle scienze sociali? Ecco un breve foglio da presepe per determinare la legittimità generale e la generalizzabilità di praticamente qualsiasi studio di scienze sociali. Tieni presente che questo foglio da presepe non sarà accurato al 100% o pertinente da applicare a ogni studio di cui potresti leggere. Ma è una buona guida breve per aiutarti a iniziare.

Che tipo di ricerca era?

Gli studi più robusti e migliori impiegano un gruppo sperimentale e un gruppo di controllo. Gli studi che escludono il gruppo di controllo sono generalmente meno utili di quelli che lo fanno. Un sondaggio è il tipo di ricerca meno potente che si possa condurre, in quanto non ha un gruppo sperimentale o di controllo, ma può essere utile per identificare tendenze o per concentrarsi su concetti o ipotesi che possono essere studiati in modo più approfondito.

Quanto era grande lo studio?

Uno studio su meno di 50 persone praticamente in qualsiasi disegno sperimentale avrà una generalizzabilità molto, molto limitata (perché quasi sempre mancano di potenza statistica sufficiente). Ciò significa che, sebbene i risultati possano essere potenzialmente interessanti, fino a quando non vengono replicati in un altro gruppo (e preferibilmente in un gruppo più ampio), dovresti prenderli con le pinze. (Alcune ricerche, come i progetti sperimentali a caso singolo, possono anche fornire singoli punti di interesse o ricerche future, ma generalmente possono dirci poco su tendenze o trattamenti più ampi.)

Chi c'era nello studio?

Una buona ricerca cerca di utilizzare partecipanti rappresentativi della popolazione in generale. Più il campione è rappresentativo, più si può facilmente generalizzare dai risultati. Quindi uno studio su 200 partecipanti bilanciato per sesso, razza, status socio-economico e storia è di gran lunga migliore di uno studio su 200 studenti universitari ad Harvard o OSU.

Per quanto tempo sono state studiate le persone?

Uno studio che esamina i partecipanti per meno di 12 settimane per qualsiasi tipo di trattamento è praticamente inutile. Nessun clinico o medico che io conosca ha mai avuto un tipo di trattamento tipico e tradizionale che abbia funzionato in meno di 12 settimane. Un sondaggio che esamina un gruppo di persone in un momento del tempo significa che i risultati trovati sono buoni per quel momento specifico nel tempo.

Esistono buone e ragionevoli eccezioni a questa regola, per il trattamento dell'ansia (i farmaci sono spesso assunti secondo necessità, non tutti i giorni) e per cose come la psicosi acuta o la mania. Gli studi che esaminano queste preoccupazioni specifiche possono riguardare periodi di tempo più brevi e fornire comunque informazioni preziose.

In effetti, qualsiasi studio più breve (come uno studio di 4 o 8 settimane) ci fornisce alcuni informazione. È solo che quell'informazione è un'istantanea del tipico reggimento di trattamento e non ci offre un quadro completo come uno studio di trattamento più lungo. La durata dello studio è meno preoccupante per qualsiasi studio che non esamini specificamente un trattamento per un disturbo mentale.

Chi ha finanziato lo studio?

In generale, la maggior parte degli studi finanziati dal governo mostrerà meno pregiudizi rispetto a quelli finanziati da un'azienda (come una società farmaceutica) con un interesse diretto nel raggiungimento di un risultato specifico. Praticamente tutti gli studi sono condotti all'interno di un'università o di un ospedale, tuttavia, le informazioni sui finanziamenti potrebbero non essere prontamente disponibili (le affiliazioni dei ricercatori di solito forniscono poche informazioni su come lo studio è stato finanziato). Il finanziamento del governo non significa che uno studio non possa essere progettato o implementato male, significa solo che non devi preoccuparti che il "bias di finanziamento" influenzi i risultati.

Come parlano gli autori dei loro risultati?

Gli autori dovrebbero essere umili e cauti riguardo ai loro risultati e non fare generalizzazioni eccessivamente ampie o conclusioni sommarie (specialmente sul nesso di causalità se il nesso di causalità non è stato progettato nello studio, come di solito non lo è). Gli autori dovrebbero anche descrivere chiaramente i limiti dello studio corrente in qualsiasi articolo di rivista; gli articoli che tralasciano tali informazioni dovrebbero essere visti con scetticismo, poiché ogni studio ha dei limiti.

Gli autori dovrebbero anche notare chiaramente la differenza tra significatività clinica e statistica negli studi sul trattamento. Un cambiamento di 2 o 3 punti in una scala di misurazione della depressione potrebbe essere statisticamente significativo (risultando in un risultato "positivo"), ma avere poco significato clinico per la maggior parte dei partecipanti. (Vedi questo articolo o questo articolo per esempi di questo.) Sebbene sia informativo sapere che un gruppo sperimentale è statisticamente diverso (ad esempio, meglio del caso) rispetto a un gruppo di controllo, tale differenza potrebbe non avere un significato reale per la maggior parte di noi .

Attenzione, inoltre, agli studi che si basano completamente su misure o scale valutate dal medico senza scale classificate dal paziente. Chi può dirti che un trattamento funziona meglio del paziente stesso?

* * *

Grazie a CL Psych per aver esaminato una bozza precedente di questo articolo.