Turco meccanico in soccorso della ricerca psicologica?

Uno dei problemi affrontati con la ricerca psicologica - in realtà, con tutta la ricerca medica - è trovare abbastanza argomenti appropriati da studiare. I soggetti devono essere ottenuti in un modo che sia rappresentativo della popolazione nel suo complesso affinché i risultati della ricerca siano generalizzabili.

Il che è un vero problema, perché come ho notato nell'agosto 2010, ci sono letteralmente migliaia di studi di psicologia basati su nient'altro che un gruppo di studenti universitari di un singolo campus di un'università negli Stati Uniti, mentre i giovani adulti che frequentano il college possono anzi aiutaci a capire alcuni aspetti del comportamento umano, non puoi semplicemente presumere che i comportamenti che hai osservato in quegli studi si applichino anche a donne e uomini di 60 anni.

Entra in soccorso del servizio Mechanical Turk di Amazon.com. La tecnologia può aiutare a risolvere il dilemma di trovare un numero sufficiente di persone più rappresentative della popolazione e farlo in modo efficiente in termini di costi?

Per iniziare, può aiutare a capire cosa sia Mechanical Turk. È un mercato online che consente ai venditori di acquistare manodopera umana a costi molto economici per una sorta di attività online. "Il sito vanta una forza lavoro ampia e diversificata composta da oltre 100.000 utenti provenienti da oltre 100 paesi che completano decine di migliaia di attività ogni giorno", osservano i ricercatori. Questi lavoratori vengono pagati in modo frammentario per ogni attività, a volte fino a 1 centesimo. Le attività variano e possono essere qualsiasi cosa, dalla navigazione in un sito Web alla ricerca di errori, alla compilazione di sondaggi.

Ah sì, compilando sondaggi. Molte ricerche in psicologia si basano sul fatto che le persone compilino sondaggi. Non sarebbe bello se potessimo convincere persone - persone che non erano studenti universitari - a farlo a meno di $ 10 per sondaggio ... Diciamo, 10 centesimi?

Buhrmester et al. (2011) si proponeva di scoprire se tali persone di Mechanical Turk avrebbero compilato i sondaggi in un modo coerente con le persone a cui potresti chiedere di fare qualcosa di simile faccia a faccia.

In primo luogo, i ricercatori hanno esaminato i dati demografici di 3.006 partecipanti Mechanical Turk e li hanno confrontati con un ampio campione Internet non ottenuto da Mechanical Turk. Hanno scoperto che i partecipanti a Mechanical Turk (MTurk) erano più diversificati sia del campione Internet che del campione standard di popolazione studentesca universitaria.

Quindi hanno controllato diverse fasce di prezzo (2, 10 e 50 centesimi) per la compilazione di una serie di sondaggi che hanno richiesto quantità variabili di tempo (5, 10 e 30 minuti). Quello che hanno scoperto non dovrebbe sorprendere chiunque abbia utilizzato MTurk:

Queste analisi suggeriscono che i partecipanti possono essere reclutati rapidamente ed a buon mercato. I tassi di partecipazione sono sensibili agli importi della compensazione e agli impegni di tempo, ma i nostri risultati dimostrano che è possibile raccogliere campioni di dimensioni decenti tramite MTurk per semplici dollari. Anche offrendo solo 2 centesimi per un'attività di 30 minuti, abbiamo accumulato 25 partecipanti (in circa 5 ore di pubblicazione). Inoltre, aumentando leggermente la compensazione (ad esempio, a 50 centesimi), siamo stati in grado di ottenere lo stesso numero di partecipanti in meno di 2 ore di distacco.

A cosa serve il lavoro a basso costo, tuttavia, se non è di buona qualità e non soddisfa gli standard psicometrici di cui hanno bisogno i ricercatori di psicologia?

I ricercatori hanno scoperto che anche al livello di compensazione più basso di 2 centesimi, i livelli di pagamento non sembrano influire sulla qualità dei dati. I ricercatori possono pagare pochi centesimi per completare i sondaggi e ottenere in modo affidabile la restituzione di dati di buona qualità.

I ricercatori hanno calcolato i punteggi medi di affidabilità alfa su tutti i livelli di compensazione per i sei questionari sulla personalità che hanno somministrato online. Hanno scoperto che i punteggi alfa di MTurk erano entro due centesimi di punto rispetto agli alfa del campione tradizionale. Hanno anche testato i punteggi di affidabilità del test-retest e hanno trovato la media r = 0,88 con una percentuale di completamento del test del 60%. Questi sono tutti numeri molto buoni e si confrontano favorevolmente con i metodi tradizionali.

Il risultato di questo studio di ricerca suggerisce che Mechanical Turk è un'alternativa affidabile all'utilizzo della popolazione universitaria per ottenere i dati dei sondaggi e potrebbe anche essere un'alternativa migliore rispetto ai sondaggi Internet tradizionali. Per pochi centesimi, le persone completeranno anche lunghi questionari nei loro sforzi per aiutare gli altri con i loro progetti e le loro ricerche. Sebbene siano necessarie ulteriori ricerche per confermare questi risultati, MTurk sembra essere un mercato che più ricercatori di psicologia dovrebbero prendere in considerazione mentre preparano il loro prossimo studio.

Riferimento

Buhrmester, M., Kwang, T. e Gosling, S.D. (2011). Il turco meccanico di Amazon: una nuova fonte di dati poco costosi, ma di alta qualità? Prospettive sulla scienza psicologica, 6 (1), 3-5.

Questo articolo presenta collegamenti di affiliazione ad Amazon.com, dove viene pagata una piccola commissione a Psych Central se viene acquistato un libro. Grazie per il supporto di Psych Central!