Prevara i upitna istraživanja: otkrijte, ali nemojte započeti

Fotografiju Jason Coudriet na Unsplash

Prvi put sam čuo za upitnu istraživačku praksu (QRP) kad sam pročitao o krizi replikacije u psihologiji prije nekoliko godina. Tek nedavno, nakon dužeg promišljenog razgovora s kolegama, podsjetio sam se na važnost svjesnosti o QRP-u u istraživanju korisničkog iskustva.

QRP se odnosi na to kako istraživači izvode isključenje podataka kako bi podržali svoju hipotezu. Opisana je kao: „takve prakse uključuju dizajnerske, analitičke ili izvještavajuće prakse koje mogu uvesti pristrasne dokaze, a koji mogu imati štetne implikacije na praksu zasnovanu na dokazima, razvoj teorije i percepciju strogosti znanosti.“ To bi moglo biti novo za neki ljudi, ali u akademskom okruženju to se često spominje. Više možete pročitati ovdje.

Na istoj strani QRP-a, postoji ekstremna verzija koju bi svaki istraživač trebao izbjegavati. To je istraživačka prijevara. Razlikuje se od QRP-a, ali QRP može dovesti do prijevara. Ono što ljudi nazivaju istraživačkom prijevarom jest kada istraživač lažira, lažira ili izmišlja njihove podatke. Strašno zar ne? To je znanstvena zabluda.

Pronašao sam jedan članak koji zadovoljava moju znatiželju o motivima, umu i razumu ljudi koji su istraživali prijevaru. Objavio ju je The New York Times, pod naslovom "The Mind of Con Man". Iz pisanja sam naučio o Driederiku Stapelu, nizozemskom socijalnom psihologu koji je počinio istraživačke prijevare. Izrađivao je podatke za svoje istraživanje, u članku je spomenuto da je on bio jedini predmet njegovih studija. Umjesto da izvijesti o istini o rezultatima istraživanja, uputio je "... potragu za estetikom, ljepotom - umjesto istine". Ono što me je također iznenadilo je izjava „Uvijek sam provjeravao - to je možda lukavim manipulativnim umom - da je eksperiment bio razuman, da je proizišao iz istraživanja koje je prije bilo doneseno, da je svako bio dodatni korak čekati."

QRP i istraživačka prijevara se događaju, nije važno u kojima su radne postavke. Čuli smo više od akademskog okruženja, ali ne znači da se to rijetko događa u poslovnom okruženju. Izbacujući različite motivirajuće faktore zbog kojih se QRP može dogoditi, jedini faktor koji definira bio bi istraživač. U drugoj publikaciji Reutersa, Stapel je spomenuo da "nisam bio u stanju izdržati pritisak da postignem bodove, da objavim, da uvijek moram biti bolji", i da sam "želio previše, prebrzo. A u sustavu u kojem je malo kontrole, gdje ljudi često rade sami, ja sam krenuo krivim putem. "

Dok istraživači rade na istraživanjima, drugačija postavka rada dodaje dodatnu bitku: vidljivost, saslušanje, uvjerljivost, utjecaj, čak i povezivanje dionika. Između svih radova, istraživačima će se uvijek pružiti prilika da istraživanja koriste u svoje osobne koristi i tako izvrše upitne istraživačke prakse. Evo nekoliko primjera o kojima mogu razmišljati o tome kako istraživači mogu izvoditi QRP na poslu:

  • Promjena hipoteze nakon uvida u prikupljene podatke i tvrde da je predviđanje ispravno. Moramo se sjetiti da ne možemo u potpunosti predvidjeti ponašanje korisnika.
  • Ako se ostave po strani „velika slika“, odaberu se samo podaci ili uvidi koji se smatraju „strateškim“, „ugodnim“ ili „seksi“ za dionike.
  • Nametnuti nalaze koji ne dostižu zasićenost podacima da bude cjelokupni prikaz korisnika ili ih se generalizira na svim korisnicima.
  • Pisanje izvještaja bez ostavljanja tragova podataka o sudionicima (istraživački dokumenti kao što su: plan istraživanja, skripta istraživanja, snimke i / prijepisi podataka). Zanemaruje pouzdanost: ostali istraživači trebaju razumjeti logiku zaključka, od procesa sinteze do pisanja izvješća.
  • Imati zadnji motiv koji može ometati istraživačku etiku. Primjerice, omamljen entuzijazmom za provođenjem velikih istraživanja s velikim očekivanjem da se dobije vrlo smisleno istraživanje. Kada se rezultat ne podudara s očekivanjima, istraživač ignorira metodologiju i izvješćuje o rezultatu onakav kakav želi.

Najgore što sam saznao o QRP-u i istraživačkoj prijevari bio je veličina učinka. Kada je izložen Stapleov slučaj, pad je zahvatio ne samo njega nego i njegove studente, izdavače i kreatore politika i ostale istraživače koji su svoj rad usmjerili na Staplesovo istraživanje. Da ne spominjem, javna reakcija nepovjerenja. Stoga vjerujem da će i QRP u poslovnom okruženju donijeti slične štetne učinke u akademskom okruženju. Slično, ali ne u mjeri posljedica poput povlačenja rezultata istraživanja i poništavanja naziva radnog mjesta.

Prvo, o poslovanju tvrtke koristi se izvješće o istraživanju kao referenca za predlaganje ideje o proizvodu. Kada dijelim svoje izvješće o istraživanju, drugi će ga istraživači koristiti za referencu rada. Najvažnije je da će ga dionici koristiti kako bi im pomogli da donesu odluku prema određenom stanju. To možda neće biti potpuno zabluda u tvrtki, jer je Stapel napisao da je bilo nešto "dobro osmišljeno" prije nego što je podijeljena. No, zamislite troškove koje svi ostali moraju platiti slijedeći nepotpuno izvješće o potrebama korisnika. Osobno mislim da to spušta značenje istraživanja. Možda to može povećati vaš ponos da možete predvidjeti ponašanje, ali ja to ne smatram zabavnom vještinom.

Drugo, o radu sa suradnicima. Trenutno istraživači u tvrtki nemaju nikakvu inicijativu ili preporuku o QRP-u i prijevari slično kao u slučaju krize replikacije u psihologiji (vidi APA izjavu o istraživačkim prijevarama i pretregistraciji istraživanja). Da sam obavio QRP, ne biste znali da sam to učinio. Pogotovo kad niste tražili moju dokumentaciju, obradili ili pokušali probiti rupu i usmjeriti svoj znatiželjni um prema onome što radim. Mogu to učiniti više puta i to ostane neprimijećeno, tada mogu pobjeći. Ali, jednom kada moj suradnik podigne sumnju, kreće moj dobar odnos sa svima u uredu. Moj suradnik može se početi ponašati drugačije: sumnjajte u moj rad, oklijevajte citirati svoje izvješće ili odbijate smatrati ga referencom. Čak i nakon što sam to ispravno učinio, nepovjerenje će i dalje postojati. Pretpostavljam da nije ugodna atmosfera za rad.

Fotografija chuttersnap na Unsplash

Kao istraživač, slobodno odlučujemo o pravcu istraživanja, pronalaženju referenci, odabiru metode i uzorka korisnika, načinu obrade podataka i zapisu izvještaja. Ali to ne znači da istraživač može zanemariti odgovornost za obavljanje prave istraživačke prakse. Osim učinka, kvalitativno istraživanje ima načela koja mogu pomoći istraživačima u ocjeni istraživačke prakse: pouzdanost (nalazi će biti dosljedni ako ih drugi istraživač replicira i osiguraju da podaci nisu pristrani), unutarnja valjanost (istraživač mora osigurati da Razmatraju se negativni dokazi, zaključak točno opisuje sve sudionike i izvještava o točnosti predviđanja istraživača) i vanjska valjanost (provjera teorija teorijom i uzimanje uzoraka koji osiguravaju široku primjenu nalaza).

Svjesnost mogućnosti QRP-a jedan je od načina da pomognete istraživačima da ostanu na pravom putu. Može se raditi na dva načina. Prvo, treba biti kritičan za naš rad: pokušajte dobiti različite povratne informacije od suradnika, budite svjesni vlastitog pristranog uma, budite transparentni prema sirovim podacima, također pokrenite naviku da postupak i dokumente pratite. Drugo, prema suradnicima budite aktivni da biste potražili jasnost u prikupljanju i procesuiranju podataka, kako mogu zaključiti izvještaj i budite oprezni kad su podaci previše dobri (lako ispunite početnu pretpostavku bez spominjanja negativnih dokaza). Možda se još ne spominje u politici poduzeća o istraživanju, ali to je jedan od načina za podizanje svijesti. Nije kažnjivo na poslovnom okruženju, nema istraživač-revizora koji bi vas istaknuo, ali odražava vašu radnu etiku.

Koja bi bila vaša dobra granica između pravilne i loše istraživačke prakse? Je li to savjest i istina? Ili je slava i slava? Ti odluči.

Timovi i pojedinci koji imaju kritičnu samosvijest i želju za poboljšanjem iz dana u dan, to smo mi u Bukalapaku! Zainteresiran? Mislite da imate talent, ali i poniznost da doprinesete ambicioznom i rastućem timu? Pogledajte naše prilike za posao!