Trovare difetti nella ricerca sui social media

Secondo gli informatici della McGill University di Montreal e della Carnegie Mellon University di Pittsburgh, i ricercatori devono stare attenti alle gravi insidie ​​del lavoro con enormi set di dati sui social media.

Risultati errati possono avere enormi implicazioni: migliaia di documenti di ricerca ogni anno si basano ora sui dati raccolti dai social media.

"Molti di questi documenti vengono utilizzati per informare e giustificare decisioni e investimenti tra il pubblico, nell'industria e nel governo", ha affermato il dott. Derek Ruths, assistente professore alla McGill's School of Computer Science.

Per gli scienziati comportamentali, la crescita dei social media è sembrata un'opportunità senza precedenti per catturare e quindi analizzare copiose quantità di informazioni sul comportamento umano.

Molti scienziati ritengono che set di dati così maturi possano aiutare a prevedere il comportamento umano a un livello mai immaginato prima. Negli ultimi anni, gli studi hanno affermato la capacità di prevedere tutto, dai successi estivi alle fluttuazioni del mercato azionario.

Ma in un articolo pubblicato sulla rivista Scienza, Ruths e il dott. Jürgen Pfeffer del Carnegie Mellon's Institute for Software Research evidenziano diversi problemi coinvolti nell'utilizzo dei set di dati dei social media, insieme alle strategie per affrontarli. Tra le sfide:

• Diverse piattaforme di social media attirano utenti diversi - Pinterest, ad esempio, è dominato da donne di età compresa tra 25 e 34 anni - eppure i ricercatori raramente correggono l'immagine distorta che queste popolazioni possono produrre;
• I feed di dati disponibili pubblicamente utilizzati nella ricerca sui social media non sempre forniscono una rappresentazione accurata dei dati complessivi della piattaforma e i ricercatori sono generalmente all'oscuro di quando e come i fornitori di social media filtrano i loro flussi di dati;
• Il design delle piattaforme di social media può dettare il comportamento degli utenti e, quindi, quale comportamento può essere misurato. Ad esempio, su Facebook l'assenza di un pulsante "non mi piace" rende le risposte negative ai contenuti più difficili da rilevare rispetto ai "mi piace" positivi;
• Un gran numero di spammer e bot, che si mascherano da normali utenti sui social media, vengono erroneamente incorporati in molte misurazioni e previsioni del comportamento umano;
• I ricercatori spesso riportano i risultati per gruppi di utenti, argomenti ed eventi facili da classificare, facendo sembrare i nuovi metodi più accurati di quanto non siano in realtà. Ad esempio, gli sforzi per dedurre l'orientamento politico degli utenti di Twitter raggiungono appena il 65% di accuratezza per gli utenti tipici, anche se gli studi (incentrati sugli utenti politicamente attivi) hanno affermato di avere il 90% di accuratezza. Gli utenti di Twitter raggiungono appena il 65% di precisione per gli utenti tipici, anche se gli studi (incentrati su utenti politicamente attivi) hanno affermato di averne il 90%.

Gli investigatori dicono che molti dei problemi sono comuni anche ad altri campi come l'epidemiologia, la statistica e l'apprendimento automatico.

"Il filo conduttore di tutti questi problemi è la necessità per i ricercatori di essere più consapevoli di ciò che stanno effettivamente analizzando quando lavorano con i dati dei social media", afferma Ruths.

Gli scienziati sociali hanno affinato le loro tecniche e standard per affrontare questo tipo di sfida in passato.

"Il famigerato titolo 'Dewey sconfigge Truman' del 1948 derivava da sondaggi telefonici che sottocampionavano i sostenitori di Truman nella popolazione generale", osserva Ruths.

"Piuttosto che screditare in modo permanente la pratica del sondaggio, quell'errore lampante ha portato a tecniche più sofisticate di oggi, standard più elevati e sondaggi più accurati. Ora, siamo pronti a un punto di svolta tecnologico simile. Affrontando i problemi che dobbiamo affrontare, saremo in grado di realizzare l'enorme potenziale di bene promesso dalla ricerca basata sui social media ".

Fonte: McGill University