Le classifiche della scuola di partito sono una profezia parziale e autoadempiente?

The Princeton Review pubblica annualmente elenchi di college "Best of ..." basati su un sondaggio online tra gli studenti di ciascun college. Descrivono il processo di indagine come:

Il sondaggio di Princeton Review pone agli studenti 80 domande su accademici / amministrazione della loro scuola, vita nel campus, corpo studentesco e se stessi. I conteggi per le classifiche di questa edizione si basano su sondaggi di 120.000 studenti (circa 325 per campus) nelle 366 scuole del libro (non in tutte le scuole della nazione) durante il 2006-07 e / o i due anni scolastici precedenti.

Tutto suona bene e bene, finché non leggi la stampa fine:

La nostra indagine è qualitativa e aneddotica piuttosto che quantitativa. Al fine di evitare di produrre un resoconto che non sia conforme a un college in particolare, inviamo al nostro contatto amministrativo di ciascuna scuola una copia del profilo che intendiamo pubblicare con ampie opportunità di rispondere con correzioni, commenti e / o in modo definitivo obiezioni. In ogni caso in cui riceviamo richieste di modifiche, adottiamo misure accurate per esaminare i suggerimenti della scuola rispetto ai dati del sondaggio sugli studenti che abbiamo raccolto e apportare le modifiche appropriate quando necessario.

Ciò che per noi è più convincente di quanto siano rappresentativi i risultati del nostro sondaggio è questo: chiediamo agli studenti che partecipano al sondaggio, dopo averlo completato, di rivedere le informazioni che abbiamo pubblicato sulla loro scuola l'anno precedente e valutarci sulla sua accuratezza e validità. Anno dopo anno abbiamo ottenuto voti alti: quest'anno, l'81% degli studenti ha detto che avevamo ragione.

Quindi, fondamentalmente, stanno ammettendo che i dati dei loro sondaggi hanno lo scopo di fornire un'immagine soggettiva e narrativa dei college, non cose da cui puoi trarre ampie generalizzazioni. Eppure, questo è esattamente ciò che il Recensione di Princeton procede a che fare con i loro dati - trarre ampie generalizzazioni dalle loro indagini e classificare i college in modo quantitativo. Gli stessi college possono esercitare un'influenza aggiuntiva sconosciuta sul fatto che la loro scuola compaia in un determinato elenco.Se il processo di classificazione sembra essere poco trasparente e avvolto nel mistero, è apposta.

Come possono i ricercatori trasformare i dati aneddotici in dati quantitativi? Ebbene, scientificamente, non puoi (ad esempio, non esiste una procedura basata sulla ricerca per farlo perché è letteralmente un confronto tra mele o arance). Quando un'organizzazione come questa fa qualcosa di questa natura, puoi sostenere che tali classifiche sono solo le opinioni delle persone che hanno messo insieme l'elenco, basate sulle opinioni di altre persone di coloro che hanno effettivamente frequentato la scuola.

Tutto ciò andrebbe bene, tranne che il file Revisione inserisce tutte queste cose in elenchi che suggeriscono che hanno un significato generalizzabile quando non lo sono. L'elenco delle "20 migliori scuole di partito" non è altro che le opinioni di alcune persone basate su una "combinazione di domande del sondaggio sull'uso di alcol e droghe, ore di studio ogni giorno e popolarità del sistema greco". Avrebbero potuto scegliere altrettanto facilmente un diverso insieme di risposte da esaminare che avrebbe alterato diversamente le classifiche delle scuole.

È improbabile che le scuole più grandi con corpi studenteschi più grandi differiscano in modo significativo in termini di dimensioni del loro sistema greco (grande) e dell'ampia varietà di opportunità sociali e non accademiche che offrono ai loro studenti (con conseguente riduzione delle ore di studio ogni giorno) . Ciò rende una scuola del genere più probabile che sia una "scuola di festa" se combinato con il guardare cosa dicono gli studenti quanto bevono? Ovviamente no. Potrebbe semplicemente significare che la scuola è un ottimo posto per imparare e socializzare.

Un poster presentato all'APS lo scorso fine settimana, intitolato "Profezia che si autoavvera e revisione di Princeton: descrizioni o prescrizioni per bere al college?" mettimi in testa il suggerimento che misura come il Recensione di Princeton hanno una validità discutibile. I ricercatori hanno esaminato i dati effettivi sull'uso di alcol in un decennio per una singola università di medie dimensioni situata nella parte occidentale di New York e li hanno confrontati con varie classifiche correlate nel Recensione di Princeton. Hanno trovato le classifiche nel Recensione di Princeton non ha alcuna correlazione sistematica con nessuno dei dati sull'uso di alcol che hanno esaminato. Quello che hanno scoperto è che i dati sul consumo di alcol erano correlati con le classifiche pubblicate dopo la pubblicazione, suggerendo una sorta di profezia che si autoavvera.

I ricercatori hanno notato che poiché il loro studio è stato condotto in una sola università, la ricerca avrebbe bisogno di essere replicata in altri college e università prima di poter generalizzare dai risultati. Ma i risultati sono comunque interessanti da notare.

Riferimento:

Clark, C.D. et. al. (2008). Profezia che si autoavvera e Princeton Review: descrizioni o prescrizioni per bere al college? Poster presentato alla ventesima convention annuale dell'Association for Psychological Science, Chicago IL, 24 maggio.