Dr. Epstein, Political Bias e risultati di ricerca di Google

• I motori di ricerca sono sempre stati di parte
• Che aspetto hanno i bias nei risultati dei motori di ricerca?
• Google ha aiutato Hillary a vincere?
• Forse c'è un'ascia da macinare?
• Il risultato del bias dei motori di ricerca

Sono un po 'confuso dalle affermazioni del dottor Robert Epstein e dalla sua affermazione, basata su un singolo studio di 95 partecipanti, che Google in qualche modo ha intenzionalmente influenzato i risultati mostrati prima delle elezioni presidenziali statunitensi del 2016. E quindi, probabilmente ha avuto un impatto sui risultati delle elezioni stesse.

È un enorme affermazione da fare. Si spera che uno stimato ricercatore come il Dr. Epstein abbia i dati scientifici per sostenerlo. Sfortunatamente non lo vedo.

La scienza è oggettiva solo fino al punto in cui uno scienziato riconosce e spiega i propri pregiudizi. La scienza non si basa su un programma prestabilito o su un tentativo di regolare un punteggio. Non sono sicuro che il dottor Epstein abbia tenuto sotto controllo i suoi pregiudizi nella sua apparente caccia alle streghe per eliminare Google per aver offerto risultati di ricerca "di parte".

I motori di ricerca sono sempre stati di parte

Google ha sempre offerto risultati di ricerca di parte. Se non lo capisci ha per essere il caso di qualsiasi motore di ricerca, potrebbe essere necessario un rapido corso di aggiornamento su come funzionano i motori di ricerca.

Non esistono risultati di ricerca imparziali. Tutti i motori di ricerca utilizzano algoritmi segreti commerciali proprietari per assicurarti di vedere ciò che la società del motore di ricerca ritiene produca i "migliori" risultati. "Best" - dall'inizio dei motori di ricerca online all'inizio degli anni '90 - è sempre stato un termine soggettivo. Non esiste un unico posizionamento obiettivo dei siti web che dica: "Mostra sempre questo sito web per primo per questa query di ricerca perché è chiaramente il miglior risultato".

E indovina un po '- la gente lo adora! Ecco perché Google è in cima alla pila dei motori di ricerca, perché offre effettivamente i risultati che sono apparentemente i più rilevanti per la maggior parte delle persone. Nel momento in cui Google smette di offrire risultati così pertinenti, un nuovo motore di ricerca può e prenderà il suo posto. (Qualcuno ricorda Alta Vista, Excite o persino Yahoo? [E no, Yahoo non esegue più ricerche: i suoi risultati sono forniti da Bing.])

Che aspetto hanno i bias nei risultati dei motori di ricerca?

All'insaputa di molti, i motori di ricerca non mostrano esattamente gli stessi risultati per la stessa query richiesta da due persone diverse. La maggior parte dei motori di ricerca, incluso Google, utilizza fattori di personalizzazione complessi e un profilo psicografico per ordinare e presentare ulteriormente i risultati che ritiene siano più rilevante per te.

In pratica, questo significa che la mia ricerca di "sintomi di depressione" può restituire un insieme di risultati diverso rispetto alla tua ricerca sugli stessi identici termini. Se non controlli attentamente questo aspetto nella tua metodologia, i risultati saranno privi di significato e contaminati.

Epstein & Robertson (2015) hanno scoperto che in una serie di esperimenti di laboratorio (non nel mondo reale), quando manipolavano artificialmente le pagine dei risultati dei motori di ricerca, potevano influenzare le preferenze degli elettori dei soggetti per un breve periodo di tempo. Non ha ricercato alcuna pagina del motore di ricerca effettivo. E ha ignorato il layout e la composizione delle pagine dei risultati dei motori di ricerca moderni. Le pagine dei risultati di ricerca reali presentano più annunci pubblicitari (che chiunque può acquistare) nella parte superiore della pagina prima di qualsiasi risultato organico.

I risultati di questi ricercatori non sorprendono in quanto fanno eco a ciò che qualsiasi esperto di ottimizzazione dei motori di ricerca (SEO) ti direbbe: posizionare le questioni in una pagina dei risultati di un motore di ricerca. I siti web ottengono tonnellate di traffico in più se sono n. 1, n. 2 o n. 3 rispetto al n. 9 o, peggio ancora, nella seconda pagina dei risultati.

In un secondo esperimento di laboratorio, lo stesso ricercatore ha dimostrato metodi (ancora una volta, utilizzando un motore di ricerca completamente falso - non Google) in cui l'effetto che hanno coniato - l'effetto di manipolazione del motore di ricerca (SEME) - potrebbe essere soppresso (attraverso avvisi tempestivi mostrati agli utenti ).

Google ha aiutato Hillary a vincere?

Nel 2017, Epstein e Robertson non si accontentavano più di dimostrare l'ovvio: quel posizionamento nelle pagine dei risultati dei motori di ricerca è importante. Hanno fatto un ulteriore passo avanti e hanno condotto uno studio su 95 americani (solo 21 dei quali identificati come "indecisi" nelle imminenti elezioni presidenziali) nel 2016 e sulle loro abitudini di ricerca.

In un white paper pubblicato solo sul proprio sito web, Epstein e Robertson fanno la straordinaria affermazione:

[… Abbiamo scoperto che tra maggio e novembre 2016, i risultati di ricerca visualizzati in risposta a un'ampia gamma di termini di ricerca relativi alle elezioni erano, in media, sbilanciati a favore della signora Clinton in tutte le 10 posizioni dei risultati di ricerca.

Pubblicato come un "white paper" e non come uno studio di una rivista peer-reviewed, questo ha sollevato un mucchio di bandiere rosse.1

C'era poco in termini di metodologia spiegata nello studio. Ciò non include informazioni su ciò che è stato fatto per limitare la personalizzazione dei risultati di ricerca (poiché si desidera controllare per quella variabile indipendente), né quali termini di ricerca hanno effettivamente utilizzato.Infatti, leggendo i due studi precedenti pubblicati da questi ricercatori, non è nemmeno chiaro che siano consapevoli di come funzionano i motori di ricerca in termini di strategie di monetizzazione, i cambiamenti settimanali di algoritmo che impiegano e la personalizzazione dei risultati di ricerca.

C'è anche un'apparente trascuratezza negli sforzi del ricercatore, a mio parere. Non è stata fornita alcuna motivazione per il periodo di tempo specifico di 25 giorni che hanno utilizzato per esaminare nello studio, rispetto a qualsiasi altro periodo di tempo. E infatti, riconoscono di non aver davvero guardato così da vicino il la maggior parte dei datapoint che avevano raccolto. I ricercatori hanno ignorato i dati di ricerca di 7 mesi per concentrarsi solo sulle 3 settimane prima delle elezioni

Hanno anche preso la decisione, post-hoc, di scartare tutti i dati basati su Gmail.com a causa di anomalie in quei dati. Quelle anomalie non mostravano alcun pregiudizio di questo tipo, che veniva attribuito a una serie di "robot" o - aspettalo - a un sabotaggio intenzionale da parte di Google.

Poiché esiste una minoranza significativa di utenti legittimi che utilizza Gmail, queste motivazioni per eliminare tutti i dati derivati ​​da Gmail.com sembrano nel migliore dei casi discutibili. È, secondo me, una decisione di ricerca orribile da prendere, ma che, casualmente, ha anche assicurato che i ricercatori trovassero un significato nei loro dati.

Ma ecco il vero kicker:

Estrapolando dalla matematica introdotta in questo rapporto, in articoli pubblicati nel febbraio 2016 e successivamente, l'autore principale dello studio PNAS ha previsto che un pregiudizio pro-Clinton nei risultati di ricerca di Google avrebbe, nel tempo, spostato almeno 2,6 milioni di voti su Clinton.

Non c'è matematica nel loro white paper. Là siamo un mucchio di statistiche descrittive, ma quelle statistiche parlano a malapena delle procedure o dei modelli che i ricercatori hanno effettivamente utilizzato per arrivare alle conclusioni che hanno fatto.

Le "prove di un pregiudizio sistematico nelle elezioni presidenziali del 2016?" Un piccolo campione di dati di modellazione basati su 95 americani (meno gli utenti di Gmail.com i cui dati sono stati lanciati a posteriori).

In breve, secondo me questo è esattamente il tipo di ricerca scadente, losca e orribilmente progettata che passa per "prova" al giorno d'oggi. Perché i ricercatori dovrebbero condurre uno studio così apparentemente di parte politicamente e trarre anche conclusioni di cui non hanno una prova diretta effettiva? 3

Forse c'è un'ascia da macinare?

I ricercatori sono umani. E gli umani a volte hanno un'ascia da macinare. Non devi andare lontano per trovare uno dei possibili assi particolari di Epstein.

Prima del 2012, Epstein mostrava scarso interesse per i motori di ricerca o per come funzionavano. Ha pubblicato su un'ampia varietà di argomenti psicologici, relazionali e di salute mentale e ne ha scritto per i principali siti web.

Quindi, all'inizio del 2012, il sito web personale di Epstein ha ricevuto un avviso di malware che è apparso quando gli utenti hanno tentato di accedere al suo sito da Google. Google visualizza questi avvisi per allontanare gli utenti da siti Web potenzialmente dannosi.

Ma questo incidente apparentemente è entrato in qualche modo sotto la pelle di Epstein perché improvvisamente, nell'autunno del 2012, sta scrivendo più articoli sulla necessità di regolamentare Google. Questo da un ricercatore che non aveva mai scritto una sola parola sui motori di ricerca prima. Trovo interessante il tempismo.

In breve, Epstein ha sostenuto la regolamentazione di Google da parte del governo federale negli ultimi sette anni. Non sarebbe troppo difficile immaginare un ipotetico ricercatore che progetta studi per supportare le sue convinzioni.

Il risultato del bias dei motori di ricerca

I motori di ricerca sono sempre stati di parte e lo saranno sempre perché sono strumenti soggettivi pensati per aiutare gli utenti a ricevere informazioni o intrattenimento. Il minuto in cui un grande governo vuole iniziare a supervisionare i miei risultati di ricerca è il minuto in cui mi rivolgo a un motore di ricerca in cui tale filtraggio governativo non viene eseguito.

Aiuta anche a tenere a mente l'ingerenza ipotetica contro l'ingerenza reale nella politica degli Stati Uniti. Mentre Epstein insinua che Google stia manipolando i suoi risultati di ricerca politica per favorire i candidati che vuole eleggere in carica, abbiamo la prova effettiva di Facebook che manipola le elezioni presidenziali del 2016 attraverso organizzazioni sponsorizzate dalla Russia che acquistano milioni di dollari di falsa pubblicità sulla sua piattaforma.

È interessante notare che Epstein non sembra avere molto interesse in questo. Forse è perché Facebook non gli ha mai fatto torto come ha fatto Google una volta.

Per maggiori informazioni

Politifatto: Donald Trump sbaglia su Google che manipola i risultati delle elezioni

Riferimenti

Epstein e Robertson. (2017). Soppressione dell'effetto di manipolazione dei motori di ricerca (SEME). Proc. ACM Hum.-Comput. Interagisci., 1 (2), 42.

Epstein e Robertson. (2017). Un metodo per rilevare i pregiudizi nelle classifiche di ricerca, con prove di pregiudizi sistematici correlati alle elezioni presidenziali del 2016. Libro bianco pubblicato da AIBRT, l'organizzazione di Epstein.

Epstein e Robertson. (2015). L'effetto di manipolazione dei motori di ricerca (SEME) e il suo possibile impatto sui risultati delle elezioni. PNAS, 10.1073 / pnas.1419828112

Note a piè di pagina:

1. Alla domanda sulla mancanza di studi peer-reviewed, Epstein mi ha risposto: "Ho anche problemi di urgenza e quantità: ho completato o ho in corso tanti studi diversi su nuove forme di influenza online (sto studiando sette diversi tipi di influenza al momento - SEME e altri sei) che ho deciso di riassumere le mie scoperte in documenti di conferenze, libri bianchi e, a un certo punto, in forma di libro, piuttosto che dedicare il poco tempo che mi resta sul processo di pubblicazioni accademiche dolorosamente lento. Quando mi imbatto in un'altra nuova forma di influenza online, mi ci vogliono almeno un anno o due per capirla e quantificarla. (Non sono nemmeno riuscito a iniziare esperimenti su una mezza dozzina di nuove forme di influenza di cui sono a conoscenza.) Aggiungere un altro anno o due a quel processo per pubblicare in una rivista sembra imprudente data la mia età e data l'importanza potenziale di queste scoperte per l'umanità. " [↩]
2. I ricercatori hanno affermato che ciò era dovuto a ciò che hanno detto erano problemi di reclutamento e perfezionamento delle loro procedure. Il che fa sorgere la domanda: le loro procedure non avrebbero dovuto essere prima perfezionate in uno studio pilota, come avrebbe fatto la maggior parte dei ricercatori? [↩]
3. Oppure, se vuoi essere pedante, avere una prova minima di basata su un piccolo campione di appena 95 ricerche di utenti, meno un certo numero di argomenti di Gmail.com, nel corso di 25 giorni. [↩]