Bad Science: MyType iPad Research

Odio dare la stampa a una "società di ricerca" che non conosce la prima cosa sul reporting di statistiche o metodologia di base nel proprio rapporto di "ricerca". Immagino che sia quello che succede quando si mettono insieme un gruppo di persone che sono per lo più tecnologi, non statistici o scienziati sociali.

La scorsa settimana, MyType, un'applicazione per la personalità di Facebook che prende i tuoi dati e poi vende report aggregati basati sulle tue risposte al loro quiz, ha rilasciato un rapporto sull'iPad. Hanno suggerito che i proprietari di iPad e coloro che cercavano di acquistarne uno fossero "élite egoiste", mentre coloro che erano critici di iPad erano definiti "fanatici indipendenti".

Puoi già dire che questa non sarà esattamente un'analisi scientifica, giusto?

Il primo è la segnalazione di MyType dei suoi risultati. Ciò che non è incluso nel rapporto effettivo sono i test statistici effettivi utilizzati, la significatività statistica (valori p) e il numero di soggetti in ciascun gruppo studiato. Sapete, i tipi di dati di base che altri ricercatori stanno cercando in cui valutare i risultati presentati. Senza queste informazioni di base, questo tipo di "ricerca" non è migliore di un documento di uno studente universitario per il corso di Psicologia 101.

Una persona di nome John Hall li ha chiamati nella sezione dei commenti, a quel punto hanno iniziato a fornire dichiarazioni generali sui valori p (ma ancora una volta, nessuna specifica, abbattendo ogni analisi, che è ciò che ti aspetteresti dal mercato o dalla scienza ricerca). Il dottor F ha cercato di istruire le persone di MyType sulla teoria statistica di base, dal momento che apparentemente non sanno molto su come progettare un buon studio di ricerca.

Ciò che è anche chiaro dalla sezione dei commenti è che qualcuno sta modificando i commenti per rimuovere le cose che in seguito si sono pentiti di aver detto. John Hall cita apparentemente Tim Koelkebeck dicendo che, poiché ha una laurea in informatica (apparentemente una laurea), questo lo qualifica in qualche modo nella progettazione e nella metodologia della ricerca, nonché nella statistica. Dispari.

Ma il più grande indizio che questo non è uno studio di ricerca serio sono gli aggettivi scelti per descrivere i due gruppi di persone. Hanno preso alcuni tratti arbitrari della personalità per descrivere ogni gruppo. Avrebbero potuto dire altrettanto facilmente che i possessori di non-iPad sono nevrotici, insicuri, orgogliosi e incuranti. Tuttavia, è una caratterizzazione legittima dei possessori di non iPad? Certo che no, questo è solo ciò che mostra il loro minuscolo set di dati di parte. Dato che non ha nemmeno superato il test dell'olfatto, la maggior parte dei ricercatori si sarebbe fermata a chiedersi se stessero prendendo la strada sbagliata.

Sulla base dei propri dati, avrebbero potuto caratterizzare i critici dell'iPad come intolleranti, antipatici per la carità e l'amicizia, adolescenti aggressivi e cinici. Wow, nessuna sorpresa: dovresti capire se il sesso o l'età distorcono questi risultati (e offri una spiegazione alternativa ai tratti annotati). I "ricercatori" avrebbero potuto anche descrivere i possessori di iPad come adulti orientati alla famiglia, intelligenti, di alto rendimento, fantasiosi e sofisticati.

Ma non l'hanno fatto. Hanno cercato di riassumere una serie di tratti disparati in frasi di marketing accattivanti per fare i titoli delle notizie - frasi che non erano né particolarmente accurate, né particolarmente valide dal punto di vista scientifico. Ciò non ha impedito a dozzine di organi di informazione legittimi e tradizionali come CNET, ZDNet e persino Wired di riferire sui risultati senza sollevare un sopracciglio per la mancanza di rigore o metodo scientifico.