Foto: José Alejandro Cuffia

Zašto se „Što radi“ ne uključuje u istraživanje obrazovanja

Ako se kvaliteta i informatičnost obrazovnog istraživanja poboljša, morat će pokrenuti lošu naviku - usredotočiti se na to djeluje li ili ne.

A napori da se na to pitanje odgovori kroz testiranje važnosti hipoteze (NHST), u kojem se istražuje utječe li intervencija ili proizvod na prosječni ishod, potkopava sposobnost postizanja stalnog napretka u pomaganju učenicima da nauče. Daje malo korisnih informacija i nesretno pada kao metoda za skupljanje znanja o učenju i poučavanju.

Kako NHST izgleda na djelu? Tipično istraživačko pitanje u obrazovanju može biti razlikuju li se prosječni rezultati testova za učenike koji koriste novu matematičku igru ​​i one koji ne. Primjenjujući NHST, istraživač bi procijenio je li razlika u rezultatima dovoljno velika da zaključi da je igra imala utjecaj ili, drugim riječima, da "djeluje".

Ostavljeno bez odgovora je zašto, koliko i za koga.

Ovaj pristup prožima istraživanje obrazovanja. To se odražava na inicijativu koju je podržala američka vlada za objedinjavanje i vrednovanje obrazovnih istraživanja, prikladno nazvanu "What Works Clearinghouse" i koja često služi kao lakmus test za objavljivanje u obrazovnim časopisima. Ipak, ona je izložena jezivoj kritici gotovo od svog početka, kritika koja se usredotočuje na dva pitanja.

Lažni pozitivi i druge zamke

Prvo, dobivanje statističkih dokaza o učinku šokantno je jednostavno u eksperimentalnom istraživanju. To se posebno odnosi na obrazovne istraživače koji koriste slabe kontrole, postavljaju nejasne teorije, uspoređuju više varijabli, selektivno prijavljuju značajne rezultate i koriste fleksibilne analize podataka. Jedna od novonastalih spoznaja iz trenutne krize psiholoških istraživanja jest ta da se, umjesto da služi kao odgovoran vratar koji osigurava istinitost objavljenih nalaza, oslanjanje na ispitivanja statističkog značaja imalo suprotan učinak stvaranja literature ispunjene lažnim pozitivnim, precijenjenim veličinama efekata i nedovoljni projekti istraživanja.

Ako pretpostavimo da predložena intervencija uključuje studente koji rade gotovo išta kognitivno izazovnije od pasivnog slušanja predavanja - kao i obično (tipična kontrola čovjeka od slame u obrazovnom istraživanju), tada je istraživač gotovo siguran da će naći pozitivnu razliku sve dok je veličina uzorka dovoljno velik. Pokazati da obrazovna intervencija ima pozitivan učinak prilično je slaba poteškoća koju treba savladati. U kombinaciji s raširenom pristranosti publikacija u korist pozitivnih nalaza, uopće nije šokantno što u obrazovanju izgleda gotovo da sve djeluje.

Ali čak i ako se pozabave tim metodološkim problemima s NHST-om, postoji drugi ozbiljan nedostatak koji podriva okvir NHST-a na kojem počiva većina eksperimentalnih obrazovnih istraživanja.

Ispitivanje važnosti nulte hipoteze epistemična je slijepa ulica. Otklanja potrebu da se istraživači usredotoče na specificiranje i razvoj testirajućih modela svojih teorija koji mogu predvidjeti i objasniti učinke intervencije. Zapravo, jedina hipoteza procijenjena u okviru NHST-a je karikatura, hipoteza u koju istraživač ne vjeruje - a to je da intervencija ima nula efekta. Vlastita hipoteza istraživača zapravo se nikada ne testira, niti je jasno artikulirana. Pa ipak, s gotovo univerzalnim aplombom, istraživači obrazovanja lažno zaključuju da odbacivanje ništavne hipoteze smatra snažnim dokazom u korist njihove preferirane teorije.

Kao rezultat toga, NHST potiče i čuva hipoteze tako nejasne, tako da nedostaju prediktivna snaga i teorijski sadržaj, kao da su gotovo beskorisni. Opisana je kao "sterilna intelektualna grablje", aktivnost koja "usporava rast znanstvenog znanja".

Suprotno široko rasprostranjenim vjerovanjima, otkrivanje da su opaženi podaci malo vjerodostojni pod hipotezom o nuli (npr., P <0,5) ne pružaju dokaze za prihvaćanje ili odbacivanje bilo koje hipoteze, jer je nula jedina teorija koja se razmatra.

Samo zato što su podaci nevjerojatni pod efektom nula, to ne podrazumijeva da je to vjerovatno u nekim alternativnim teorijama.

Dok istraživači psihologije shvaćaju, čak i dobro shvaćene teorije, naoko podržane stotinama randomiziranih kontroliranih eksperimenata, mogu početi isparavati pod budnim nadzorom, jer oslanjanje na ništavno testiranje značenja hipoteze znači da teorija uopće nije testirana. Sve dok se nastavnici u obrazovanju i dalje oslanjaju na testiranje nulte hipoteze o razlici kao univerzalnoj foliji za utvrđivanje hoće li intervencija „raditi“, nastojat ćemo poboljšati razumijevanje kako najbolje pomoći učenicima da nauče. I na polju obrazovanja i dalje će dominirati „zbirke opažanja bez objašnjenja - to je puko„ prikupljanje žigova “(Ashton, 2013., str. 585).

Kao što analitičari Michael Horn i Julia Freeland primjećuju, ova dominantna paradigma obrazovnog istraživanja strašno je nepotpuna i mora se promijeniti ako ćemo postići napredak u našem razumijevanju načina kako pomoći učenicima da nauče:

"Učinkovit program istraživanja nadilazi samo identificiranje korelacija onoga što u prosjeku djeluje na artikuliranje i testiranje teorija o tome kako i zašto određene obrazovne intervencije djeluju u različitim okolnostima za različite učenike."

Ipak, za akademske istraživače koji se primarno bave izradom objavljivih dokaza intervencija koje "djeluju", brza priroda NHST-a nije široko prepoznata kao ozbiljno pitanje. A budući da je NHST pristup istraživanju izravan, intelektualno nezahtjevan i relativno siguran (istraživači imaju izvrsnu šansu da dobiju odgovor koji žele), nije iznenađujuće da je bilo malo poticaja za promjenom.

Ići naprijed

Umjesto da su zadovoljni odgovorima na pitanje djeluje li proizvod ili intervencija, istraživači obrazovanja mogu poboljšati pouzdanost svojih nalaza kao i doprinijeti boljem razumijevanju načina kako pomoći učenicima modificirajući svoj pristup na nekoliko načina ,

  • Prepoznajte ograničene podatke koje NHST može pružiti. Kao primarni statistički okvir za pomicanje našeg razumijevanja učenja i poučavanja naprijed, on se pogrešno primjenjuje jer nam u konačnici ne govori ništa što zapravo želimo znati. Nadalje, doprinosi širenju lažnih nalaza u obrazovanju potičući upitne istraživačke prakse i izvještavanje o precijenjenim efektima intervencije.
  • Umjesto da se oslanjaju na NHST, istraživači bi se trebali usredotočiti na postavljanje teoretski informiranih predviđanja i zatim osmišljavanje eksperimenata kako bi ih testirali na smislene alternative. Umjesto da odbacimo nezanimljivu hipotezu „nema razlike“, glavni cilj trebao bi biti poboljšati naše razumijevanje utjecaja intervencija, a najbolji način za to je usporediti modele koji se natječu za opisivanje opažanja koja proizlaze iz eksperimentiranja.
  • Umjesto dihotomnim prosudbama o tome djeluje li intervencija u prosjeku ili ne, veći bi se evaluacijski naglasak trebao posvetiti istraživanju utjecaja intervencija na podskup učenika i uvjeta. Nijedna intervencija ne djeluje jednako dobro za svakog učenika i to je kreativan i maštovit rad pokušaja razumijevanja zašto i gdje intervencija uspije ili uspije, što je najvrjednije. Moramo naučiti prihvaćati neizvjesnost i prihvaćati varijacije, a ne ignorirati je.

Reference

Ashton, J. C. (2013). Eksperimentalna snaga dolazi iz moćnih teorija - pravi problem u ispitivanju nulte hipoteze. Nature Nature Neuroscience, 14, 585–585.

Ovaj se komad izvorno pojavio u izmijenjenom obliku na EdSurgeu.