Prestanite tretirati svoje eksperimentalne sudionike poput goveda

Ozbiljno. Prestani.

Sociolozi su trenutno zabrinuti zbog upotrebe (i zlouporabe) statistika. Nije novo. Samo prvi put to rade.

Ova briga se sastoji od nekoliko oblika - korištenjem pogrešnih metoda, pogrešnim testovima, pogrešnim okvirom za razumijevanje hipoteza, korištenjem metode koja 'djeluje', korištenjem pogrešnih kriterija značaja (ili korištenjem takvih uopće) i tako dalje.

Ali ne moram to objašnjavati tako, i nisam statističar. Barem, ne na način koji je važan.

Napravimo to na moj način.

Neki istraživači koriste brojeve na isti način kao što recikliramo e-otpad. U osnovi, oni drobe smeće u mrvice, ulažu ga u visoke peći statistike i bacaju bakrene ingote. Samo zato što je sjajna, često kažu da je zlato Nakon početnog vrednovanja, zaključava se u Fort Knoxu, a sigurnosna vrata su zavarena.

Neki bi istraživači koristili modeliranje na više razina kako bi otvorili paket Tunnockovih čajnih kolača.

NIJE TO ZAVRŠENO

Neki istraživači smatraju da je "Potvrda pristranosti" indie bend.

Potvrđeni smo pristranosti, a ova sljedeća pjesma je s našeg drugog EP-a, Staring Tuly

Oh, i neki istraživači to ne mogu dodati.

Ako ne znate na koga mislim, možda vam je ovo prvi put da ste ovdje.

Konceptualne pogreške, proceduralne pogreške, pretjerano samopouzdanje i izravnavanje nesposobnosti za staru školu. O tome se sve detaljno raspravljalo.

Zapravo, jako dugo.

Dugo, zamorno, brutalno, beskrajno, duljina tweeta-80-ih s intervencijama.

Ako ste ikad gledali raspravu o statistici bilo osobno ili putem interneta, shvatit ćete da često ljudi viču u unakrsnim svrhama kroz različite vremenske zone dok jedan od njih ne mora ići u krevet, s dovoljno raspakiranja i propitivanja pretpostavki i ponovno definiranje i zapovijed da se odvjetnik odrekne zavoda da bi postao instruktor ronjenja.

U novije vrijeme sličan niz rasprava izbio je oko teorije. Da li vaše ideje predstavljaju ono što mislite da bi trebali? Koliko su jake vaše hipoteze? Jesu li vaše eksperimentalne operacionalizacije dovoljne? Jeste li razmišljali o problemu indukcije? Da su vaši rezultati „značajni, ali obrnuti“ (tj. Da ste pronašli značajan OPPOSITE efekt u odnosu na ono što ste zamislili) da li bi to ubilo vašu teoriju, ali pustio rad da živi?

Ili, da kažem drugačije, predstavlja li vaš eksperiment koristan analog nekog šireg konteksta nego što je bio proveden? Ili je to samo nevjerojatno specifična konstrukcija nevjerojatno drage kuće na nevjerojatno slabim stenama?

Ti si jedan plimni val od toga da ne budeš na večernjim vijestima, superčin

I dok sam ovdje, sjetite se da se zabava ne završava kada je studija završena, a svi su naši rezultati lijepi. Tada susrećemo našeg starog prijatelja, prekomjernu ekstrakciju!

"Pa, ta je intervencija djelovala na sedamnaest žena iz Virdžinije koje su se svi zvali Qcindee (Q je tiha) ili Chadleen, tako da ne vidim razlog da se to ne uvede u djelatnike farmi u Južnom Sudanu."

To su komplicirana pitanja, a brzo ih je opisati ne znači ih dobro opisati. Ako se bavite bilo kojim od navedenog, oduprite se nagonu da me previše žestoko ispravite. Argumente i statistike i teorije teško je razumjeti zbog razine detalja i potrebnog prethodnog znanja, a teško ih je čuti, jer često zahtijevaju da preispitate pretpostavke vlastitog rada.

Ali.

Ono što ću reći nije komplicirano ili teško ili je teško popraviti. To je kombinacija prosječnog zdravog razuma i njuha ljudske pristojnosti.

Međutim, problem predstavlja u socijalnim, psihološkim, medicinskim, bihevioralnim istraživanjima, itd., Možda čak i jednake veličine, i ide ovako:

Prestani tretirati svoje sudionike studije kao sranje.

Ne mogu vam reći koliko sam puta vidio kako netko baca eksperimentalni predmet u Sjajnu studiju nečeg-ili-drugog, mrmljajući im, postavljajući ih u škripavo kutno sjedalo u laboratoriji sa svom kućnom udobnošću sukoba na Balkanu , gurnite kvadrat stolice do računalnog terminala, promrmljajte neke upute o nagibanju gumba okolo, a zatim ih istisnite ponovo.

Ili neki vrtoglavi Hooray Henrietta uruči gomilu snopa obrazaca u nevjernu sobu ljudi.

Moramo sve ovo ispuniti?
 Da, obavezno je, skokni na to.
Što, svih šest? Ovdje mora biti 40 stranica.
 Da, obavezno je, skokni na to.
Neka su pitanja ista.
 DA LI SAM STUTTER, JEREMIJA.

U osnovi, puno prikupljanja podataka u društvenim znanostima tretira odrasle odrasle ljude poput goveda, kao da su podaci koje će oni proizvesti nesretna potreba da se pristupi glavnom poslu… pa, zloupotrebljavajući te podatke. Neimenovana tijela guraju se u njih, s obzirom na niz nerazumljivih zadataka u kojima ne bi mogli biti manje angažirani, a zatim otpuštena.

Pa, odbacivajući dosadni eksperimenti bez konteksta donose vam odbijene dosadne odgovore bez konteksta. Bez ikakvog ulaganja vaši će sudionici lagati, rastavljati ili ispunjavati ono što smatraju realnim. Ili vjerojatnije od svega navedenog, oni će jednostavno staviti ono što iznosi 'što god'.

Nećete ih moći uhvatiti kroz obrasce u njihovim odgovorima (a gotovo nitko neće pomisliti da to izgleda tako).

Čvrsta teorija i odgovarajuća statistika neće spriječiti da vaši sudionici dosadno, znatiželjno, ruševine ili otvoreno lažu guzice kako bi došli u pub prije nego što prestanu sretni sati. To ih neće zaustaviti da isprobaju rutinu znatiželjnih Georgea i pokušaju pretpostaviti što radite, razbiti svoju teoriju na dijelove, usrećiti vas ili učiniti jadnima.

Znam to jer sam to radio kad sam imao 17 godina. Bože, loše sam obavljao eksperimente. Kaznio sam otpuštanja (gdje je sada alfa vašeg Cronbacha?), Odustao od zbunjujućih odgovora i povremeno zabijao jezik u obraz i nešto gnjavio. Pokušao sam razbiti zadatke s odgovorom. Pokušao sam obrnuti eksperimentalne ciljeve inženjera. Oh, i ako je nešto zaista nepošteno ili neobično, povremeno stavljam nešto grozno. Mislim da sam jednom dobio IAT koji će mi reći da sam „vrlo implicitno pristrasan prema bijelcima“, a s obzirom na to da sam najcrnja osoba na svijetu koja nije finski albino, a to je i učinilo.

U osnovi, mislio sam, nešto što sam uvijek radio kad mi je dosadno.

I zaboravite na "provjere manipulacije". Ako dosadite ljudima kruti i onda ih pitate je li vaš eksperiment dobar ili ne, samo bi vam mogli reći. Vjerojatno vam neće otkriti ako se osjećaju nepristojno zbog vaših groznih postupaka. Izgovorit će riječi potrebne za izlazak iz sobe.

Smetaju mi ​​ljudi koji rade psihološka istraživanja i imaju samo najbolje znanje o ponašanju normalnih ljudi. Newsflash: ljudi zamjeraju sranju.

Dakle, RAZGOVORITE svoje sudionike. Ne iznosite ciljeve svog studija niti ih ispunite očekivanjima koja će pristranost njihovih odgovora. Ali! Za ljubav prema svemu što pjevaju crne himne propale republike, dajte im neku vrstu kupovine. Pokušajte objasniti područje istraživanja. Koristite samo one riječi koje su vam potrebne kada to učinite. Ne morate slagati ljestvice na vrh vage ako ne morate. Gledajte ljude u oči. Otkrijte koja su im imena, ako možete.

A ako ste posvećeni dugim psihometrijskim instrumentima - znam da neki upitnici kratkog oblika imaju svu pouzdanost kukičanih odijela - ljudima daju pauze. I plati im. A sve gore navedeno ide dvostruko.

Oh, i ako imate pomoćnike bilo kojeg oblika koji vode studije, povremeno im pomozite da urade sve gore navedeno. Pokušajte se sjetiti da su vam oni uslugu.

Žao mi je ako je to naporno Znate što je još naporno? Izvodite eksperiment.
Nemam suosjećanje s argumentom Nemamo vremena za ulaganje u te ljude. Uložit ćete mnogo vremena u rad u koji pišete koji god brojeve upisali. Ne želite li da to prođe što bolje?

Očito prihvatamo činjenicu da je u istraživanje uključeno na neke upitnike uključen i određeni trenutak. Ne možete učiniti sve uzbudljivo. (Sjetite se one mučnine iz prije nekoliko godina gdje smo pokušali sve "gamificirati"? Ispada da je sranje igra dosadna kao i sranje koje nije igranje. Tko bi ikad vidio da to dolazi.)

U osnovi, nekad će se morati pomalo dosaditi, pogotovo ako konstruiramo vage od nule. Ili raditi u osnovi svu psihometriju. Dakle, uzmite u obzir da je još više razloga da razmišljate o svom dizajnu i načinu, i dodijelite neke - bilo koje! - ljubazno poštovanje ljudi koji sjede kroz vaš BS.

Ne znam da li se to kvalificira kao vještina sama po sebi. Možda i uspije. Ili, kao što sam već rekao, možda samo ljudska pristojnost / zdrav razum. Ali što god bilo, moglo bi se poboljšati.