Mettere il fresco davanti alla scienza: TweetPsych

Un nuovo servizio lanciato questa settimana da uno sviluppatore web di nome Dan Zarrella chiamato TweetPsych. Zarrella è anche marketing manager per HubSpot, una società di marketing online. Zarrella si definisce uno "scienziato", perché credo che suoni più sexy di "sviluppatore web" o "responsabile marketing", ma non elenca alcuna credenziale accademica. (Non menzionerei la parte dello scienziato o delle credenziali tranne che Zarrella fa affermazioni scientifiche specifiche sul suo nuovo servizio.)

Il nuovo interessante servizio è commercializzato come un'offerta di "profilazione psicologica" basata su ciò che pubblichi su Twitter. Ma in realtà è solo un servizio di analisi dei contenuti, che utilizza due dizionari psicologici e i tuoi ultimi 1.000 tweet. Zarrella afferma che questa analisi "costruisce un profilo psicologico di una persona". Il vero profilo psicologico è una scienza e di solito è fatto con molto di più di un semplice pezzo della vita di una persona (come ciò che scrive su un servizio di microblogging). TweetPsych quindi fa l'affermazione contraddittoria che è solo per "scopi di intrattenimento". Cos'è questo?

Ci sono problemi con uno dei dizionari che Zarrella sta usando anche nell'analisi. Un dizionario, il LIWC, è un valido database di linguistica psicologica. Ma l'altro, l'inglese Regressive Imagery Dictionary (RID), lo è molto meno. Il RID è composto da circa 3.200 parole e radici assegnate a 43 categorie di pensiero e stato d'animo. Il problema principale con il RID è che non ha fondamentalmente alcun supporto per la ricerca (nonostante la citazione di un sito Web da parte di Zarrella fa sembrare che lo faccia). È stato sviluppato da un singolo professionista, che ha poi scritto una serie di libri su di esso e su altri processi psicoanalitici. Un libro non è la stessa cosa di un articolo di rivista di ricerca peer-reviewed (come sanno i ricercatori) e il RID è completamente privo di supporto empirico. Ciò suggerisce che metà dell'analisi non è valida prima ancora di iniziare.

Il secondo dizionario, il Linguistic Inquiry and Word Count (LIWC), si basa principalmente sulla parola scritta - gli scritti delle persone - o la parola parlata - come una sessione di terapia o una conversazione tra due persone. Non è stato sviluppato per analizzare voci di 140 caratteri artificialmente brevi, come quelle trovate su Twitter. Le persone abbreviano le parole quando twittano, a causa del limite di caratteri, e non è chiaro che il semplice stemming analizzerà accuratamente tutte le parole scritte con abbreviazioni non standard al volo. E i re-tweet? Una persona che ritwittisce qualcosa non è necessariamente "parlare", ma agisce invece come portavoce delle parole di qualcun altro. Il servizio si differenzia? Senza conoscere l'entità del problema, non avresti idea se la tua analisi sia in qualche modo falsata artificialmente (a meno che tu non abbia studiato specificamente questo tipo di problemi prima). Questi problemi sono risolvibili, ma non sono stati risolti in questo servizio.

La capacità di Zarrella di analizzare rapidamente 1.000 tweet e confrontare tutto il testo in esso contenuto con questi due dizionari in pochi secondi è un'impresa ammirevole di programmazione linguistica. La sfida quindi affrontata è: "Come faccio a presentare i risultati dell'analisi in modo ponderato, intuitivo e utilizzabile?" Questa è la parte in cui TweetPsych semplicemente non riesce a fornire.

Dal momento che Zarrella ha apparentemente poca esperienza psicologica, i risultati psicologici sono piuttosto insoddisfacenti. Ricevi un elenco di "caratteristiche" (della tua personalità? Del tuo tweet?) Che includono cose come "Occupazione e lavoro". Accanto c'è la descrizione utile, "Parli molto del lavoro e del tuo lavoro" e una partitura.

Accidenti, grazie per la grande intuizione.

Non hai idea di cosa significhi il punteggio, perché non c'è contesto per esso. Un 47.87 per il lavoro è buono o cattivo? Qual è la media? Altre caratteristiche includono "Tempo presente", "Movimento verso l'alto", "Emozioni positive", "Emozioni negative" e altre tre dozzine di categorie.

Anche questa parte dell'analisi, basata sulla LIWC, è valida quanto il dizionario di base della LIWC. Sebbene categorie come lavoro, risultati e tempo libero siano tutte "preoccupazioni attuali" che il LIWC può identificare, non ha alcuna categoria per qualcosa come "problemi di relazione". Ma non lo sapresti se non conoscessi il LIWC. Potrebbe essere qualcosa che diresti alle persone che effettuano l'analisi. Anche altri popolari contenuti di attualità su cui twittano regolarmente - come politica, tecnologia e celebrità - non fanno parte del LIWC. Quindi, di nuovo, non verranno mai visualizzati nell'analisi, anche se è tutto ciò di cui parli. Quindi le informazioni che il LIWC e, per estensione, TweetPsych possono fornire sono limitate. (L'uso di un dizionario personalizzato risolve alcuni di questi problemi, ma non è un dizionario offerto da TweetPsych.)

Il "contenuto primordiale, concettuale ed emotivo" del RID viene fornito senza alcuna descrizione e, di nuovo, niente per inserire i tuoi punteggi in qualsiasi tipo di contesto o comprensione. Ma dal momento che non è un dizionario scientifico per cominciare, puoi comunque ignorare i punteggi. Potrebbero essere stati sviluppati in modo casuale e fornire altrettante informazioni utili.

L'ultima parte dell'analisi attuale è "Altri come te", un componente comune di qualsiasi servizio di social networking. Curiosamente, questo componente mancava dalla prima versione di questo strumento. Basato esclusivamente su ciò che tweet, afferma "Alcune persone che pensano come te" e poi ti fornisce un elenco di altre persone che sono andate su TweetPsych e hanno inserito il loro nome utente per analizzare.

Certo che lo è non persone che la pensano come te, sono persone che twittano come te. Questa è una distinzione importante. Un servizio che analizza una piccola parte di ciò che scrivi ogni giorno e, sulla base di un'analisi che può essere viziata dall'uso diffuso delle abbreviazioni da parte dei suoi utenti, sicuramente non può pretendere di analizzare ciò che tu pensare.

Quanto è affidabile TweetPsych? Ebbene, oggi mentre stavo scrivendo questo articolo, ho notato che tutti i punteggi di Dan Zarrella sono cambiati a causa di un singolo tweet (ha twittato solo una volta oggi). Il suo punteggio di "occupazione e lavoro" è sceso del 20% e il suo punteggio di "tempo presente" è aumentato del 16%. Il suo punteggio di pensiero astratto è sceso del 16%. Come è potuto accadere tutto questo da un solo tweet? Un tweet, rispetto agli altri 999 tweet, non dovrebbe influire così tanto sul punteggio di uno. A meno che non stia succedendo qualcos'altro.(Confronta lo screenshot qui sotto, scattato alle 14:55 ET, con quello sopra, scattato alle 9:00 ET oggi.)

I miei risultati nell'analisi degli ultimi 1.000 tweet di Zarrella nel programma LIWC2007 mostrano qualcosa di molto diverso. Non conosco la metodologia di Zarrella (dal momento che non l'ha condivisa), ma ho preso il testo dei suoi ultimi 1.000 tweet e li ho elaborati in due forme attraverso il LIWC: con radice e "così com'è". Nessuno dei due ha prodotto punteggi simili a quelli che appaiono su TweetPsych. Ciò potrebbe essere dovuto al fatto che utilizza una versione precedente del dizionario o una sorta di variabile di trasformazione che aggiunge a TweetPsych e che non ha rivelato. È possibile visualizzare i risultati di questa analisi LIWC2007 qui. (Ho evidenziato in giallo le cose che TweetPsych ha evidenziato, e in verde altre aree non più evidenziate da TweetPsych; nota la differenza significativa nel punteggio.) Ti viene da chiederti, però, esattamente cosa sta succedendo con il servizio. Se la sua affidabilità e validità psicometrica sono discutibili, quanto è utile?

TweetPsych sta ricevendo un sacco di stampa positiva, con solo un pizzico di scetticismo gettato dentro. Josh Lowensohn di CNet ha scritto del servizio e ha notato solo di sfuggita, "Questo rende meno sulla psicologia e più sul tuo lessico personale, ma i risultati sono ancora abbastanza divertimento." Sì, divertente! Ben Patterson su Yahoo! Tech ha detto: "Sfortunatamente, i profili psicologici che TweetPsych dispensa non sono la varietà narrativa coerente che potresti sentire dallo psichiatra residente in" Law & Order: Criminal Intent "". E tuttavia, non è una narrazione coerente molto più utile di alcune categorie anonime? Nessuno dei giornalisti, né l'articolo originale su Mashable (dove, sorpresa !, Zarrella è un collaboratore), nota la mancanza di background psicologico che Zarrella porta in tavola. Nessuno ha collegato i punti sul motivo per cui i risultati sono così insoddisfacenti nelle loro interpretazioni. Apparentemente i giornalisti tecnologici sono bravissimi a ridistribuire i propri comunicati stampa positivi, ma non così bravi a essere veri giornalisti che approfondiscono la pretesa scienza di un tale servizio.

Certo, lo stesso Zarrella ammette di non aver prestato molta attenzione al servizio, come ha detto al NY Post, "" Le persone adorano confrontarsi con altre persone e cercare di 'entrare' nella testa delle altre persone ", afferma Zarrella. "È come essere una mosca sul muro durante una sessione di terapia." "Una sessione di terapia? È davvero così perspicace trovare qualcuno che sta parlando di "movimento verso l'alto?" Nella fretta di mettere il servizio online, a quanto pare Zarrella non ha mai posto la domanda: "Qualcuna di queste informazioni è effettivamente utile?" Il servizio, così come esiste oggi, è un pensiero incompiuto che pochi rivisiteranno.

TweetPsych, nonostante i suoi limiti, ha aperto la porta a servizi futuri che forniscono effettivamente informazioni utilizzabili, utili e fruibili che probabilmente avrebbero maggiore validità. Immagina di prendere non solo i tweet di una persona, ma anche le informazioni contenute nel loro profilo Facebook, blog, ecc., E metterle tutte in un enorme motore di analisi ... Un tale motore potrebbe quindi avere la capacità di fornire una vera visione psicologica in un individuo basato su quello che dicono online.

Fino a quel momento, abbiamo matricole come TweetPsych, che in realtà dovrebbe chiamarsi "TweetFun!" Perché, sebbene sia davvero divertente con cui giocare, fornisce poca intuizione psicologica - tranne il tipo più superficiale - a chiunque.

(Puoi leggere ulteriori preoccupazioni di TweetPsych di Tyler Hayes qui.)