Contagio emotivo su Facebook? Più simili a cattivi metodi di ricerca

Di recente è stato pubblicato uno studio (Kramer et al., 2014) che ha mostrato qualcosa stupefacente - le persone hanno alterato le proprie emozioni e i propri stati d'animo in base alla presenza o all'assenza di stati d'animo positivi (e negativi) di altre persone, come espresso negli aggiornamenti di stato di Facebook. I ricercatori hanno chiamato questo effetto un "contagio emotivo", perché pretendevano di dimostrare che le parole dei nostri amici sul nostro feed di notizie di Facebook hanno influenzato direttamente il nostro umore.

Non importa che i ricercatori non abbiano mai effettivamente misurato l'umore di nessuno.

E non importa che lo studio abbia un difetto fatale. Uno che anche altre ricerche hanno trascurato, rendendo un po 'sospette tutte le scoperte di questi ricercatori.

Mettendo da parte il linguaggio ridicolo usato in questo tipo di studi (davvero, le emozioni si diffondono come un "contagio"?), Questi tipi di studi spesso arrivano alle loro scoperte conducendo analisi del linguaggio su piccoli pezzi di testo. Su Twitter, sono davvero minuscoli: meno di 140 caratteri. Gli aggiornamenti di stato di Facebook sono raramente più di poche frasi. I ricercatori in realtà non misurano l'umore di nessuno.

Quindi, come conduci tale analisi del linguaggio, in particolare su 689.003 aggiornamenti di stato? Molti ricercatori si rivolgono a uno strumento automatizzato per questo, qualcosa chiamato applicazione Linguistic Inquiry and Word Count (LIWC 2007). Questa applicazione software è descritta dai suoi autori come:

La prima applicazione LIWC è stata sviluppata come parte di uno studio esplorativo del linguaggio e della divulgazione (Francis, 1993; Pennebaker, 1993). Come descritto di seguito, la seconda versione, LIWC2007, è una revisione aggiornata dell'applicazione originale.

Prendi nota di quelle date. Molto prima che venissero fondati i social network, il LIWC è stato creato per analizzare grandi quantità di testo, come un libro, un articolo, un documento scientifico, un saggio scritto in una condizione sperimentale, voci di blog o una trascrizione di una sessione di terapia. Nota l'unica cosa che tutti hanno in comune: sono di buona lunghezza, almeno 400 parole.

Perché i ricercatori dovrebbero utilizzare uno strumento non progettato per brevi snippet di testo per, beh ... analizzare brevi frammenti di testo? Purtroppo, è perché questo è uno dei pochi strumenti disponibili in grado di elaborare grandi quantità di testo abbastanza rapidamente.

A chi importa quanto tempo deve essere misurato il testo?

Potresti essere seduto lì a grattarti la testa, chiedendoti perché è importante quanto tempo è il testo che stai cercando di analizzare con questo strumento. Una frase, 140 caratteri, 140 pagine ... Perché la lunghezza è importante?

La lunghezza è importante perché lo strumento in realtà non è molto bravo ad analizzare il testo nel modo in cui lo hanno assegnato i ricercatori di Twitter e Facebook. Quando gli chiedi di analizzare il sentimento positivo o negativo di un testo, conta semplicemente le parole negative e positive all'interno del testo in esame. Per un articolo, un saggio o un post di blog, questo va bene: ti fornirà un'analisi di riepilogo generale abbastanza accurata dell'articolo poiché la maggior parte degli articoli è lunga più di 400 o 500 parole.

Per un tweet o un aggiornamento di stato, tuttavia, questo è uno strumento di analisi orribile da usare. Questo perché non è stato progettato per differenziare e, in effetti, non posso differenziare - una parola di negazione in una frase 1

Diamo un'occhiata a due esempi ipotetici del motivo per cui questo è importante. Ecco due tweet di esempio (o aggiornamenti di stato) che non sono rari:

"Io non sono felice."

"Non sto passando una bella giornata."

Un valutatore o un giudice indipendente valuterebbe questi due tweet come negativi: esprimono chiaramente un'emozione negativa. Sarebbe +2 sulla scala negativa e 0 sulla scala positiva.

Ma lo strumento LIWC 2007 non la vede in questo modo. Invece, valuterebbe questi due tweet come un punteggio +2 per positivo (a causa delle parole "ottimo" e "felice") e +2 per negativo (a causa della parola "non" in entrambi i testi).

Questa è un'enorme differenza se sei interessato a una raccolta e analisi dei dati imparziali e accurate.

E poiché gran parte della comunicazione umana include sottigliezze come questa - senza nemmeno approfondire il sarcasmo, abbreviazioni brevi che fungono da parole di negazione, frasi che negano la frase precedente, emoji, ecc. - non puoi nemmeno dire quanto sia accurato o impreciso l'analisi risultante da questi ricercatori è. Poiché il LIWC 2007 ignora queste sottili realtà della comunicazione umana informale, così fanno i ricercatori.2

Forse è perché i ricercatori non hanno idea di quanto sia grave il problema. Perché stanno semplicemente inviando tutti questi "big data" al motore di analisi del linguaggio, senza capire realmente come il motore di analisi sia difettoso. È il 10 percento di tutti i tweet che includono una parola di negazione? O il 50 percento? I ricercatori non saprebbero dirtelo.3

Anche se vero, la ricerca mostra piccoli effetti nel mondo reale

Questo è il motivo per cui devo dire che anche se credi che questa ricerca abbia valore nominale nonostante questo enorme problema metodologico, ti rimane comunque una ricerca che mostra correlazioni ridicolmente piccole che hanno poco o nessun significato per gli utenti ordinari.

Ad esempio, Kramer et al. (2014) hanno trovato uno 0,07%, che non è il 7%, è 1/15 dell'1% !! - diminuzione delle parole negative negli aggiornamenti di stato delle persone quando il numero di post negativi sul loro feed di notizie di Facebook è diminuito. Sai quante parole dovresti leggere o scrivere prima di aver scritto una parola in meno negativa a causa di questo effetto? Probabilmente migliaia.

Questo non è un "effetto" tanto quanto un blip statistico che non ha alcun significato nel mondo reale. Gli stessi ricercatori lo riconoscono, osservando che le dimensioni degli effetti erano "piccole (piccole come d = 0,001). " Continuano a suggerire che è ancora importante perché "piccoli effetti possono avere grandi conseguenze aggregate" citando uno studio di Facebook sulla motivazione al voto politico di uno degli stessi ricercatori e un argomento di 22 anni da un giornale psicologico.4

Ma si contraddicono nella frase precedente, suggerendo che l'emozione "è difficile da influenzare data la gamma di esperienze quotidiane che influenzano l'umore". Cos'è questo? Gli aggiornamenti di stato di Facebook hanno un impatto significativo sulle emozioni dell'individuo o le emozioni non sono così facilmente influenzate dalla semplice lettura degli aggiornamenti di stato di altre persone ??

Nonostante tutti questi problemi e limitazioni, nessuno di questi impedisce ai ricercatori alla fine di proclamare: "Questi risultati indicano che le emozioni espresse da altri su Facebook influenzano le nostre stesse emozioni, costituendo prove sperimentali per il contagio su vasta scala tramite i social network". 5 Ancora una volta, non importa che in realtà non misurassero le emozioni o gli stati d'animo di una singola persona, ma si affidassero invece a una misura di valutazione errata per farlo.

Quello che i ricercatori di Facebook dimostrano chiaramente, a mio parere, è che ripongono troppa fiducia negli strumenti che stanno utilizzando senza capire - e discutere - i limiti significativi degli strumenti.6

Riferimento

Kramer, ADI, Guillory, JE, Hancock, JT. (2014). Prove sperimentali di contagio emotivo su vasta scala attraverso i social network. PNAS. www.pnas.org/cgi/doi/10.1073/pnas.1320040111

Note a piè di pagina:

1. Questo secondo un'inchiesta agli sviluppatori LIWC che hanno risposto: "LIWC attualmente non guarda se c'è un termine di negazione vicino a una parola di termine emozione positiva o negativa nel suo punteggio e sarebbe difficile trovare un algoritmo efficace per questo comunque. " [↩]
2. Non sono riuscito a trovare alcuna menzione dei limiti dell'uso della LIWC come strumento di analisi del linguaggio per scopi per cui non è mai stato progettato o previsto nel presente studio o in altri studi che ho esaminato. [↩]
3. Bene, potrebbero dirti se hanno effettivamente trascorso il tempo a convalidare il loro metodo con uno studio pilota per confrontare gli stati d'animo reali delle persone. Ma questi ricercatori non sono riusciti a farlo. [↩]
4. Ci sono alcuni problemi seri con lo studio di voto di Facebook, l'ultimo dei quali è l'attribuzione di cambiamenti nel comportamento di voto a una variabile di correlazione, con un lungo elenco di ipotesi fatte dai ricercatori (e su cui dovresti essere d'accordo). [↩]
5. La richiesta di chiarimenti e commento da parte degli autori non è stata restituita. [↩]
6. Questo non è uno scavo al LIWC 2007, che può essere un eccellente strumento di ricerca, se usato per gli scopi giusti e nelle mani giuste. [↩]