La scienza è morta? In una parola: no

Poche settimane fa, Jonah Lehrer ha scritto un articolo un po 'stupido e sensazionalistico per Il New Yorker intitolato, La verità si consuma: c'è qualcosa di sbagliato nel metodo scientifico? In esso, Lehrer cita prove aneddotiche (e alcuni dati) per supportare l'affermazione che forse il metodo scientifico - il modo in cui convalidiamo scientificamente le nostre ipotesi con dati e statistiche - è andato orribilmente storto.

Ma ciò che Lehrer non ha notato è che la maggior parte dei ricercatori conosce già i difetti che descrive e lavora diligentemente per ridurre al minimo l'impatto di tali problemi.

Il metodo scientifico non è rotto. Ciò che Lehrer sta descrivendo è semplicemente la scienza al lavoro - e al lavoro.

La migliore risposta a questo saggio viene dallo scrittore di ScienceBlogs PZ Myers, Science non è morta. In questa confutazione, Myers sottolinea i problemi principali con la scienza quando non è in grado di replicare i risultati precedenti:

1. Regressione alla media: all'aumentare del numero di punti dati, ci aspettiamo che i valori medi regrediscano alla vera media ... e poiché spesso il lavoro iniziale viene svolto sulla base di promettenti risultati iniziali, ci aspettiamo più dati per pareggiare casualmente esito precoce significativo.
2. L'effetto del cassetto dei file: i risultati non significativi sono difficili da pubblicare e finiscono nascosti in un armadietto. Tuttavia, quando il risultato diventa consolidato, i risultati contrari diventano più interessanti e pubblicabili.
3. Bias dell'investigatore: è difficile mantenere il distacco scientifico. Tutti vorremmo vedere convalidate le nostre ipotesi, quindi tendiamo a selezionare consapevolmente o inconsciamente i risultati che favoriscono le nostre opinioni.
4. Pregiudizio commerciale: le aziende farmaceutiche vogliono fare soldi. Possono fare soldi con un placebo se c'è un supporto statistico per esso; c'è certamente un pregiudizio verso lo sfruttamento dei valori statistici anomali per il profitto.
5. Varianza della popolazione: il successo in un sottoinsieme ben definito della popolazione può portare a un po 'di creep: se il farmaco aiuta questo gruppo con sintomi ben definiti, forse dovremmo provarlo su questo altro gruppo con sintomi marginali. E non lo fa ... ma quei numeri verranno comunque utilizzati per stimare la sua efficacia complessiva.
6. Semplice possibilità: ho scoperto che è difficile da trasmettere alle persone. Ma se qualcosa è significativo al livello p = 0,05, ciò significa comunque che 1 esperimento su 20 con un farmaco completamente inutile mostrerà comunque un effetto significativo.
7. Pesca statistica: la odio e la vedo sempre. L'esperimento pianificato non ha rivelato risultati significativi, quindi i dati vengono analizzati e ogni correlazione significativa viene rilevata e pubblicata come se fosse intenzionale. Vedi spiegazione precedente. Se il set di dati è abbastanza complesso, troverai sempre una correlazione da qualche parte, per puro caso.

Il numero 1 spiega molti dei problemi che troviamo nella scienza oggi, in particolare nella scienza psicologica. Conosci la maggior parte di quegli esperimenti di cui hai letto Scienza psicologica, la pubblicazione di punta della Association for Psychological Science? Sono una schifezza. Sono N = 20 esperimenti condotti su campioni piccoli e omogenei di studenti universitari per lo più caucasici nelle università del Midwest. La maggior parte di essi non viene mai replicata e ancora meno viene replicata su dimensioni del campione che probabilmente dimostrerebbero che i risultati originali non erano altro che un colpo di fortuna statistico.

I ricercatori lo sanno già, ma vivono secondo regole molto diverse da te o da me. Il loro sostentamento dipende dalla continuazione di una buona ricerca pubblicabile. Se smettono di fare questa ricerca (o non riescono a pubblicarla su una rivista peer review), corrono un rischio maggiore di perdere il lavoro. È noto come "pubblica o muori" nel mondo accademico ed è una motivazione molto reale per pubblicare qualsiasi ricerca, anche se sai che i risultati probabilmente non saranno replicabili. Vedi il numero 3 sopra.

Infine, vedo così tanto del numero 7 negli studi di ricerca che recensisco, è quasi imbarazzante. Il metodo scientifico funziona bene e in modo affidabile solo quando formuli ipotesi in anticipo, gestisci i tuoi soggetti per raccogliere i tuoi dati e poi analizzi quei dati in base alle ipotesi con cui hai iniziato. Se decidi di iniziare a modificare l'ipotesi per adattarla ai dati o di eseguire test statistici su cui non avevi tenuto conto, stai contaminando le tue scoperte. Inizi in una spedizione di pesca che ha fatto ogni ricercatore. Ma solo perché tutti hanno finito, significa che è un comportamento buono o etico in cui impegnarsi.

Il problema è che la ricerca richiede tempo e spesso è costosa. Se hai appena eseguito 100 soggetti attraverso una sperimentazione e non hai trovato nulla di significativo (secondo le tue ipotesi), non solo è improbabile che lo studio venga pubblicato, ma hai semplicemente sprecato mesi (o addirittura anni) della tua vita professionale e $ X da il tuo budget di ricerca sempre limitato.

Se non riesci a vedere come questo potrebbe portare a risultati di ricerca non ottimali che vengono pubblicati, allora potresti essere un po 'cieco alla psicologia umana di base e alla motivazione. Perché i ricercatori non sono super persone: hanno gli stessi difetti, pregiudizi e motivazioni di chiunque altro. Il metodo scientifico, se seguito rigorosamente, dovrebbe renderne conto. Il problema è che nessuno sta davvero controllando i ricercatori per assicurarsi che lo seguano e non c'è alcun incentivo intrinseco a farlo.

Concluderò con questa osservazione, sempre di PZ Myers,

Questo è tutto questo trambusto che dice in realtà [- s] a volte le ipotesi si dimostrano sbagliate, e talvolta se il supporto per l'ipotesi è costruito su prove deboli o un'interpretazione altamente derivata di un insieme di dati complesso, potrebbe volerci molto tempo per la risposta corretta per emergere. Così? Questo non è un fallimento della scienza, a meno che non ti aspetti in qualche modo una gratificazione immediata su tutto o la conferma di ogni idea cara.

Amen.

Opinioni di altri sul saggio di Lehrer

La scienza non è morta - PZ Myers

Elogio dell'errore scientifico - George Musser

Gli esseri umani sono il problema con il metodo scientifico? - Charlie Petit

La verità di cui dubiteremo: l '"effetto declino" significa che tutta la scienza è "veritiera"? - John Horgan

Il misterioso effetto del declino - Jonah Lehrer