Un collegamento tra legalizzazione della marijuana e incidenti automobilistici? Senza senso

• Scegliamo i nostri stati di controllo
• 11 analisi, ma solo 3 significative
• Mettiamo insieme i dati!
• Quindi cosa mostrano i dati?
• Cosa significa questo per la marijuana?

A ottobre, l'Highway Loss Data Institute e l'Insurance Institute for Highway Safety hanno pubblicato un rapporto auto-pubblicato che suggeriva l'esistenza di un forte legame di correlazione tra i tassi di incidenti automobilistici e la legalizzazione della marijuana negli Stati Uniti. Questa sarebbe una notizia straziante se la scoperta fosse basata su forti prove scientifiche.

Sfortunatamente per questi istituti, tuttavia, i dati della ricerca sono al massimo oscuri. E poiché queste organizzazioni hanno pubblicato il rapporto da sole, invece di passare attraverso il processo di revisione scientifica tra pari, è difficile prendere sul serio le loro scoperte.

Prima di iniziare a esaminare i dati, i lettori dovrebbero capire che sebbene l'Highway Loss Data Institute (HLDI) e l'Insurance Institute for Highway Safety (IIHS) siano due distinti legale organizzazioni, condividono la stessa leadership senior, lo stesso indirizzo fisico e probabilmente molto di più. Sembra che queste siano due organizzazioni indipendenti e non collegate che hanno trovato risultati simili quando hanno unito le loro menti collettive, ma non è così.

Devo anche iniziare questo articolo con il solito promemoria scientifico: la correlazione non è uguale alla causalità. Se conduco uno studio sull'effetto delle persone che aprono gli ombrelli in un'area urbana del centro, troverò una correlazione positiva molto forte tra quell'azione e la presenza della pioggia. Ma sappiamo che l'apertura di un ombrello non fa cadere la pioggia. Eppure la scienza mostrerà prontamente una forte correlazione tra i due, portando alcuni ricercatori tristi e inconsapevoli a suggerire che c'è sicuramente una relazione causale.

Scegliamo i nostri stati di controllo

Nel nuovo studio, un ricercatore ha esaminato i dati sugli incidenti stradali per tre stati target in cui la marijuana era diventata legalizzata oltre l'uso medicinale (Monfort, 2018). Quindi ha confrontato i tassi di incidenti di questi stati con cinque stati di controllo (stati che generalmente confinavano con gli stati della marijuana legalizzata). Ad esempio, il Colorado è stato abbinato a tre stati: Nebraska, Utah e Wyoming.

Vedi già il problema, vero? Il Colorado condivide i confini con sei stati, non solo tre: Arizona, New Mexico e anche Kansas. Vediamo un problema simile anche con gli altri stati di controllo scelti. Gli stati di controllo dell'Oregon erano l'Idaho (un vero e proprio stato di confronto) e il Montana, uno stato senza sbocco sul mare con cui condivide poco in comune e senza confine.

Il ricercatore ha giustificato queste scelte perché l'organizzazione sorella di IIHS ha pubblicato un precedente rapporto scegliendo quegli stati. Quei ricercatori senza nome hanno scelto gli stati in base a una correlazione - a volte non molto forte - di somiglianze tra i loro tassi di dati sugli incidenti. Non i dati demografici, la geografia (strade tortuose di montagna rispetto a campi pianeggianti) o qualche altro motivo.1 È discutibile se "i modelli di incidenti stagionali prima del 2014" siano una variabile di confronto scientifica legittima per la scelta degli stati di controllo, quando altre variabili sembrano molto più appropriate.

In un'e-mail di follow-up con il portavoce di IIHS, ha detto che il ricercatore voleva "utilizzare due diversi set di dati e vedere se i risultati sarebbero stati simili. Utilizzare diversi stati di controllo non avrebbe senso ".

Come sanno i lettori di lunga data, i ricercatori possono praticamente manipolare i loro dati, analisi o ipotesi per dimostrare i risultati che vogliono trovare. Questo è uno dei motivi per cui molte persone sono generalmente scettiche nei confronti della ricerca. Ci sono così tanti modi in cui un ricercatore può manipolare i dati, spesso per ragioni molto legittime e valide, che può essere difficile individuare il bias introdotto.

Tuttavia, non è stato così con questo studio. Penso che i pregiudizi siano, a mio parere, delineati abbastanza chiaramente.

11 analisi, ma solo 3 significative

Il secondo segno che questo rapporto di ricerca è del tutto assurdo è che anche quando il mazzo di carte era impilato nel modo scelto dal ricercatore stesso, non riusciva ancora a trovare molto significato nei dati per la maggior parte delle analisi statistiche che eseguiva. Guarda tu stesso:

Vedi quei tre asterischi? Queste sono le uniche tre analisi statisticamente significative. Si noti come solo uno di quegli asterischi appare in un confronto effettivo da stato a stato, tra Colorado e Utah. Tutte le altre analisi da stato a stato non hanno mostrato differenze significative tra uno stato di controllo e uno stato legale per la marijuana.

Nelle sette sole analisi da stato a stato, solo una è risultata significativa. Questa è una scoperta piuttosto significativa che è stata ignorata nel rapporto (e non menzionata affatto dall'IIHS). Nei miei circoli di ricerca, lo chiameremmo "debole".

Mettiamo insieme i dati!

È stato solo quando il ricercatore ha messo insieme un intero gruppo di stati di controllo che ha trovato due correlazioni più significative.

In generale, mi risulta che i ricercatori si astengano dal mettere insieme dati provenienti da fonti disparate a meno che non possano giustificare la decisione di farlo e assicurino che le variabili sottostanti siano omogenee (o simili).

Non solo devi garantire questo per un gruppo di stati, come nella ricerca attuale. Ma il ricercatore ha anche raccolto dati su più anni.

Non è chiaro quale giustificazione abbia usato il ricercatore per scegliere gli anni in cui ha fatto (2012-2016), oltre a dire che quelli erano gli anni in cui tali dati erano disponibili in tutti quegli stati. Tuttavia, nella mia rapida ricerca su ciascuno dei siti web del governo di questi stati, ho generalmente trovato i dati sugli incidenti disponibili in modo affidabile risalenti al 2005.

Sappiamo che i dati annuali sugli incidenti non sono omogenei: possono variare notevolmente di anno in anno. Ad esempio, in tutti gli stati, le percentuali di incidenti sono aumentate nel 2014, 2015 e 2016, indipendentemente dallo stato. Quindi, ciò che il ricercatore sta cercando di misurare se l'aumento del 7,84% dell'Idaho nel 2015 è diverso dall'aumento del 7,09% dell'Oregon, favorevole ai marjiuana. O se il tasso di aumento del 4,37% del numero di incidenti del Colorado nel 2015, favorevole alla marijuana, è significativamente diverso dall'aumento del 9,96% dello Utah o dall'aumento del 10,19% del New Mexico.

Inoltre, diversi stati hanno ottenuto pool di dimensioni diverse per i mesi esaminati, a seconda di quando sono entrate in vigore le loro vendite al dettaglio di marijuana. Ciò significava per l'Oregon, il ricercatore ha raggruppato il 2012, 2013, 2014 e la maggior parte del 2015 insieme come un set di dati e il 2016 + 2 mesi nel 2015 come secondo set di dati (46 mesi contro 14 mesi). Ma il Colorado ha legalizzato la marijuana nel gennaio 2014, quindi aveva solo due anni di dati pre-legalizzazione e tre anni di dati post-legalizzazione.

In un confronto scientifico equo e accurato, tutti i set di dati dovrebbero essere di dimensioni simili in termini di periodo di tempo esaminato prima e dopo la variabile che stai cercando di misurare nella tua analisi. Soprattutto quando quei dati, sappiamo, non sono omogenei.

Quindi cosa mostrano i dati?

Il ricercatore non ha fornito i soliti dettagli necessari per replicare il suo lavoro. Quindi dobbiamo esaminare i dati grezzi e guardare solo ai problemi più ovvi.

Dando uno sguardo al Colorado, possiamo confrontare il suo tasso di incidenti nel tempo con altri due stati. Prima del 2013, il Colorado ha registrato un calo anno su anno dei tassi di incidenti complessivi (tutti i dati dal sito web di ogni rispettivo stato). Quindi, nel 2013, lo stato ha registrato un picco del 6,29% negli incidenti, che è continuato nel 2014 (6,79%) e nel 2015 (4,37%). Nel 2016, lo stato ha visto solo un aumento dello 0,35%.

Confronta questi numeri con uno degli stati di controllo, Utah, incluso dal ricercatore. Lo Utah ha visto anche un aumento degli incidenti nel 2013 (9,05%), che sono diminuiti nel 2014 (-2,96%). I tassi di crash di quello stato sono aumentati di nuovo nel 2015 e nel 2016 (rispettivamente 9,96% e 3,94%).

Ora confrontiamo questi numeri con uno degli stati di controllo non scelti dal ricercatore, il New Mexico. Ha visto un calo dei tassi di incidenti nel 2013 (-4,78%), ma poi due anni di aumento nel 2014 e 2015 (3,64% e 10,19% rispettivamente). Nel 2016, il New Mexico ha registrato un calo del -0,53%.

Credo che il motivo per cui lo Utah sia stato scelto rispetto al New Mexico fosse semplice. I suoi tassi di crash negli anni 2014-2016 (gli anni chiave per il confronto sulla marijuana in Colorado) hanno aumentato il suo tasso di crash cumulativamente solo del 10,94%. Se gli istituti avessero invece utilizzato il New Mexico, il tasso di incidenti per lo stesso periodo di tempo sarebbe stato del 13,3%. Se confrontato con l'11,51% cumulativo del Colorado, puoi vedere che quello dello Utah è inferiore, ma quello del New Mexico (anche uno stato confinante del Colorado) è quasi 2 punti percentuali in più.

Getta tutto in un'analisi che tiene conto delle "caratteristiche dello stato" (che includeva solo i tassi di disoccupazione e le condizioni meteorologiche) e voilà! I dati che apparentemente mostrano che le vendite di marijuana hanno un impatto sui tassi di arresto.

Cosa significa questo per la marijuana?

I dati, anche dalla ricerca attuale, non mostrano fondamentalmente alcuna significatività statistica tra le vendite al dettaglio di marijuana e il numero di incidenti stradali in uno stato. Se esiste una correlazione, è molto debole e si trova solo quando il ricercatore ha impiegato, a mio parere, analisi discutibili nello studio. Alcuni stati confinanti con il Colorado, ad esempio il New Mexico, non sono stati inclusi nell'analisi e hanno mostrato maggiori aumenti nell'aumento dei loro tassi di incidenti nello stesso periodo di tempo rispetto al Colorado.

Credo che questo tipo di rapporto rifletta male sia sull'IIHS che sull'HLDI. Queste organizzazioni, finanziate principalmente da compagnie di assicurazione, stanno, a mio avviso, pubblicando risultati spaventosi al fine di trasmettere un obiettivo politico e commerciale. Presentano questi risultati come "ricerca", nonostante il fatto che a volte siano pubblicati solo sul sito web dell'organizzazione e apparentemente non siano sottoposti a revisione paritaria, come avviene nella ricerca scientifica tradizionale. (“La nostra ricerca più recente sulla legalizzazione della marijuana ricreativa e sugli incidenti segnalati dalla polizia è stata presentata per la pubblicazione alla rivista Analisi e prevenzione degli incidenti", Osserva il portavoce dell'IIHS.)

Quello che abbiamo qui è ciò che chiamerei "ricerca falsa" - ricerca che si estende per mostrare una relazione significativa in cui chiaramente c'è solo un grande punto interrogativo. E anche se ci fosse un significato correlazionale, questa ricerca non ha alcun supporto di una relazione causale. Abbiamo contattato le organizzazioni per un commento e in pratica ci hanno semplicemente rimandato allo studio per ottenere risposte. Ad esempio, il portavoce dell'IIHS ha dichiarato: "I dati sugli incidenti degli stati della marijuana nello studio IIHS non sono stati raccolti, ma i risultati individuali di ogni stato sono stati combinati in una meta-analisi, che è un metodo di ricerca accettato. I risultati individuali per Colorado e Washington nell'analisi HLDI sono statisticamente significativi ".

Quando ho sottolineato che l'attuale studio ha mostrato significato solo per uno stato - il Colorado (e solo in confronto a un altro stato, lo Utah) - il portavoce mi ha indicato lo studio precedente. Apparentemente ignaro che se più nuovo la ricerca contraddice la ricerca precedente, non puoi semplicemente continuare a indicare che la ricerca precedente è ancora valida. Ciò che il nuovo studio dell'IIHS mostra è che non esiste più alcuna correlazione significativa tra la marijuana e gli incidenti a Washington, l'esatto opposto di ciò che afferma il portavoce.

IIHS è un'organizzazione che sta cercando di educare e informare i politici quando si tratta di sicurezza automobilistica. Purtroppo, la maggior parte dei politici e dei cittadini non capirà o non si renderà conto di essere stati ingannati e invece crede che questo tipo di studio sia effettivamente scientifico.

In breve, non ci sono dati solidi che colleghino le vendite al dettaglio di marijuana a un aumento degli incidenti automobilistici. I dati che abbiamo mostrano solo una correlazione molto limitata e debole - non il nesso di causalità - tramite inganni statistici.

D'ora in poi, sarò molto più scettico su qualsiasi cosa pubblicizzino l'IIHS o l'HLDI.

Note a piè di pagina:

1. In particolare, "Gli stati di controllo sono stati selezionati in base alla vicinanza allo stato di studio, nonché alla somiglianza dei modelli di incidenti stagionali prima del 2014. Questa somiglianza era basata sulle correlazioni tra le frequenze mensili nello stato di studio e ogni potenziale stato di controllo durante il 24 mesi 2012-2013. Il coefficiente di correlazione di Pearson per Colorado e Nebraska era 0,85; per il Wyoming, 0,79; e per lo Utah, 0,60. Per Washington, sono stati selezionati come controlli gli stati del Montana (0,67) e dell'Idaho (0,63). Per l'Oregon, sono stati utilizzati gli stati dell'Idaho (0,67) e Montana (0,83) ". [↩]