La saggezza delle folle (selezionate)

Sempre più aziende stanno attingendo alla saggezza dei propri clienti e utenti, una clientela molto selezionata. Lo fanno tramite "big data", raccogliendo tesori di dati anonimi e quindi eseguendo analisi post-hoc su di essi.

Questo sforzo può portare ad alcuni spunti interessanti. Può anche indurre le aziende a suggerire che i risultati sono generalizzabili all'intera popolazione.

Ed è proprio quest'ultima questione il problema. Perché se inizi con un campione auto-selezionato, i tuoi dati sono rilevanti solo per persone come loro, non per l'intera popolazione. Questo è solo uno dei problemi con la misurazione e l'azione in base alle informazioni provenienti da folle selezionate.

I siti web effettuano misurazioni di "big data" da quasi 20 anni. Ogni volta che visiti un sito web, lascia una piccola traccia di dati sul server del sito web. I proprietari del server prendono questi dati e li eseguono attraverso una piattaforma di analisi dei dati (come Google Analytics). Fornisce al proprietario del sito web informazioni aggregate sui tipi di persone che visitano il loro sito web.

Poiché ogni sito Web è unico, tali informazioni sono rilevanti solo per quel sito Web. Un utente che visita la CNN, ad esempio, potrebbe avere poco in comune con un utente che visita Match.com.

Il problema delle folle selezionate

Nell'analisi dei dati, gli statistici chiamano tale campionamento un "campione auto-selezionato", che si traduce nel problema di un "bias di auto-selezione". In poche parole, ciò significa che, poiché i tuoi dati provengono solo da persone che utilizzano una particolare app o un tipo di social media, non sono rappresentativi della popolazione nel suo insieme. E poiché non è rappresentativo della popolazione nel suo insieme, non è possibile generalizzare i dati.

Lo chiamo il problema delle "folle selezionate". Perché se stai acquisendo la tua saggezza dalla folla, faresti meglio ad assicurarti che la folla sia rappresentativa della popolazione se stai cercando di ottenere intuizioni generalizzabili da essa.

Ci sono intere aziende che non fanno altro che analizzare tendenze e dati da Twitter. Ma se guardi chi usa Twitter e come lo usa, ti preoccupi immediatamente di cosa significano veramente questi dati. Ad esempio, gli utenti di Twitter sono molto più giovani della popolazione generale e gli anziani sono notevolmente sottorappresentati. Se gestisci un'azienda che esamina le tendenze della salute su Twitter, vedrai qualcosa di molto diverso rispetto a se avessi condotto un sondaggio telefonico casuale.

In altre parole, quali tendenze su Twitter possono o meno avere un significato per l'80% degli americani che non usa Twitter.

Le app non sono migliori

Alle app spesso piace raccogliere i dati dei propri utenti, renderli anonimi e quindi utilizzarli per confrontare le proprie prestazioni con quelle di altri che utilizzano l'app. Questo dovrebbe farti sentire parte di un social network che ha l'app in comune. È una buona idea.

Perché cosa succede se solo un certo tipo di persona utilizza quella particolare app? E se solo le persone depresse usassero un'app per il monitoraggio dell'umore pensata per aiutare le persone a uscire dalla loro depressione aiutandole a monitorare i loro stati d'animo, confrontando i loro progressi con quelli di altri che usano l'app? Tali risultati potrebbero essere involontariamente deprimenti di per sé.

Puoi motivare positivamente qualcuno attraverso il confronto sociale? È possibile, ma troppo spesso la ricerca mostra anche che tali confronti sociali portano le persone a sentirsi peggio di prima. Deve essere fatto con estrema attenzione, cosa che la maggior parte degli sviluppatori di app tipici non capisce.

Tralasciando le cose importanti da misurare

Qualsiasi app o servizio è valido solo quanto il materiale che sceglie di misurare. Puoi introdurre pregiudizi - intenzionalmente o meno - nei tuoi risultati in base a ciò che scegli di misurare - e non misurare.

Pensa in questo modo: stai pensando di trasferirti in una nuova città con meno pioggia, quindi guardi solo la quantità media annuale di pioggia per città diverse. Cercheresti una città come Miami e penseresti: "Sai, non mi trasferisco a Miami - ricevono quasi 62 pollici all'anno di pioggia! Confronta questo con i magri 37 pollici di pioggia che Seattle riceve. Seattle deve essere il luogo più soleggiato e meno piovoso. " Poiché non hai incluso altre metriche importanti nella tua misurazione, faresti la scelta sbagliata sulla base di informazioni troppo limitate.

Ciò che uno sviluppatore di app o di un sito web pensa sia importante nella misurazione di qualcosa potrebbe non essere così importante come qualcosa che ha lasciato fuori. Immagina un'app che misura solo la tua reazione ai farmaci, ma tralascia tutti gli altri fattori importanti che contribuiscono al tuo umore e al tuo trattamento.

Il trattamento non avviene nel vuoto con te e un singolo farmaco. Si svolge in un ecosistema ricco e complesso che può includere un farmaco, ma include anche molte altre cose importanti che stai facendo per aiutarti a recuperare. Potrebbe essere quanto ti alleni, o non rimugini, o giorni che trascorri senza avere un attacco di panico, o essere stressato per un membro della famiglia o per il lavoro.

In breve, ci sono una miriade di cose che dovrebbero essere monitorate da app e altri servizi ben intenzionati, ma non lo sono. E questo fornisce una prospettiva distorta di come qualcosa che viene misurato sia connesso all'umore o al progresso del recupero. I farmaci sono davvero importanti nel trattamento di molte persone, ma potrebbero non essere - e spesso non lo sono - la cosa più importante.