Ne, nastavnici i kreatori politika ne bi trebali samo „raditi ono što pokazuju istraživanja“

Moj prijatelj Mike Petrilli i ja upravo smo završili sedmu skupinu stipendista programa novih obrazovnih politika. Vrijeme koje provodimo s ovom talentiranom mladom dr. Sc. znanstvenici su uvijek ispunjeni razgovorima o tome kako istraživanje utječe na politiku i praksu, i njihovu frustriranost da se čini da u glavama političara i čelnika sustava to više ne izgleda. Iskustvo je snažno i ono iz kojeg neminovno mnogo učim. No također se rutinski nudim verzijom iste meditacije o tome kako i kada istraživanje utječe na odluke u stvarnom svijetu - i zašto bi taj utjecaj trebao biti znatno zaustavniji i neodlučniji nego što to istraživači obično preferiraju.

Sa svoje strane, rutinski savjetujem kreatore politika i praktičare da budu jako nervozni kad ih akademik ili stručnjak potakne da rade „ono što istraživanje pokazuje.“ Kao što sam primijetio u Pismima mladom reformatoru obrazovanja, istraživači 20. stoljeća izvijestili su da je veličina glave Dobra mjera inteligencije, djevojke nisu bile sposobne baviti se naprednom matematikom, a retardacija je bila jaka među određenim etničkim skupinama. Sada znam što mislite: "To nije bilo pravo istraživanje!" Osim činjenice da mi se sada nalaze čudni, to zvuči kao pravo istraživanje.

Medicinski istraživači, na primjer, mijenjaju mišljenje o važnim nalazima s potresnom redovnošću. Čak i sa svojim dubokim džepovima i maštovitom laboratorijskom opremom, krenuli su naprijed i natrag na stvari poput opasnosti od kolesterola, vrline vođenja floskule, trebaju li bebe spavati na leđima, koliko vježbanja trebamo dobiti i posljedice alkohola , Stvari bi bile neuredne ako se od zakonodavaca ili osiguravatelja očekuje da promijene politiku kao odgovor na svako novo medicinsko istraživanje.

Istina je, znanost često puno manje apsolutna nego što to zamislimo. U 2015. godini, pokušajem ponavljanja 97 studija sa statistički značajnim rezultatima utvrđeno je da se više od jedne trećine nije moglo duplicirati. Više od 90 posto istraživača psihologije priznaje barem jedno ponašanje koje može ugroziti njihovo istraživanje, poput zaustavljanja prikupljanja podataka rano jer su im se sviđali rezultati kakvi jesu ili ne otkrivaju sve uvjete studije. I više od 40 posto njih priznaje da je ponekad odlučilo hoće li izuzeti podatke na temelju onoga što je učinilo s rezultatima.

Temeljita istraživanja na kraju utječu na politiku i praksu, ali to je obično nakon dugog i postupnog nakupljanja dokaza. Možda je najpoznatiji primjer sa utjecajem duhana na zdravlje, gdje je kumulativno tijelo istraživanja na koncu zasmetalo javnosti i oblikovalo politiku prema pušenju - usprkos bespomoćnim i naporno financiranim naporima duhanskih kompanija. Dosljedni konsenzus uključivao je desetine studija stotina istraživača, a dosljedni nalazi se gomilali desetljećima.

Kad stručnjaci tvrde da nešto "funkcionira", takva vrsta gomilanih dokaza gotovo nikada nije ono što imaju na umu. Umjesto toga, njihove se tvrdnje obično temelje na pregršt nedavnih studija - ili čak jednoj analizi - koju je provela mala skupina istraživača. (U obrazovanju, ti istraživači nisu retko i zagovornici programa ili politika koje ocjenjuju.) Kad netko tvrdi da može dokazati da produženo vrijeme učenja, preokreti u školama, pre-K ili stanovi za učitelje "rade", ono što obično znači da mogu ukazati na nekoliko studija koje pokazuju neke prednosti od pomno izvedenih pilot programa.

Zaključak: Kada piloti sugeriraju da politike ili programi "djeluju", to može značiti puno manje nego što bi reformatori mogli voljeti. Zašto bi to moglo biti?

Razmislite na ovaj način. "Zlatni standard" za istraživanja u medicini i društvenim znanostima je nasumično kontrolno ispitivanje (RCT). U RCT-u se polovica sudionika nasumično odabire na liječenje - recimo lijek za visoki krvni tlak. I liječničke i kontrolne skupine slijede isti plan prehrane i zdravstvene zaštite. Jedna bora je što grupa za liječenje prima i novi lijek. Budući da je lijek jedina razlika u skrbi između dviju skupina, može se pouzdano pripisati bilo kojoj značajnoj razlici u rezultatima.

RCT-ovi precizno određuju tretman, tko ga prima i kako se primjenjuje. To omogućuje relativno jednostavno kopiranje rezultata. Ako su pacijenti u uspješnom RCT-u dobili dozu od 100 miligrama našeg lijeka za krvni tlak svakih dvanaest sati, liječnici bi ga trebali primijeniti kako bi postigli iste rezultate. Da su liječnici izdali dvaput preporučenu dozu ili ako su je pacijenti uzimali upola češće od preporučene, ne biste očekivali iste rezultate. Kad kažemo da lijek "djeluje", mislimo da ima specifične, predvidljive učinke ako se precizno koristi.

Ponekad se takvo istraživanje može prilično čisto prevesti u obrazovnu praksu. Ako se pronađu precizne, korak-po-korak intervencije za izgradnju fonemičke svijesti ili ubrzanje ovladavanja drugim jezikom, replikacija može biti jednostavna. Za takve intervencije, istraživanje zaista može pokazati „što djeluje.“ I trebali bismo obratiti veliku pozornost.

Ali to također pomaže u rasvjetljavanju ograničenja istraživanja kada je u pitanju politika, imajući u vidu sve složenosti i pokretne dijelove koji su uključeni u promjenu sustava. Nove politike kojima se upravljaju stvarima poput veličine razreda, prije K ili plaće nastavnika usvajaju i provode države i sustavi na mnogo različitih načina. Nove inicijative rijetko su precizne imitacije obećavajućih pilota, čak i u onim prilikama kad je točno točno koja je bila početna intervencija, doziranje, dizajn i uvjeti.

Ako su imitatori neprecizni i nedosljedni, nema razloga očekivati ​​da će rezultati biti dosljedni. Razmislite o smanjenju veličine klase. Desetljećima su zagovornici manjih veličina razreda ukazivali na nalaze iz projekta STAR (Student Teacher Achievement Ratio), pokusa provedenog u Tennesseeu krajem 1980-ih. Istraživači su otkrili značajna postignuća učenika u vrlo malim vrtićima i razredima prvih razreda. Zaokupljeni rezultatima, kalifornijski zakonodavci usvojili su golem program smanjenja veličine klase koji je u prvom desetljeću koštao milijarde. Ali evaluacija na kraju nije našla utjecaja na uspjeh učenika.

Što se dogodilo? Pa, ono što je „radilo“ na ograničenoj skali u Tennesseeju odigralo se vrlo različito kad je usvojeno u cijeloj državi u Kaliforniji. "Replikacija" se zapravo nije ponovila mnogo više od pojma "manjih razreda." Tamo gdje su male kategorije STAR-a bile 13 do 17 učenika, male klase u Kaliforniji bile su znatno veće. STAR je bio pilot program u nekoliko stotina učionica, minimizirajući potrebu za novim učiteljima, dok je usvajanje države u Kaliforniji zahtijevalo plimni val novih zapošljavanja. U Kaliforniji, okruzi su bili prisiljeni zaposliti tisuće učitelja koji se prethodno nisu potrudili, dok su škole kanibalizirale umjetničke sobe i knjižnice kako bi pronašle dovoljno učionica. Djeca koja bi imala bolje učitelje u nešto većim učionicama sada su bila u nešto manjim učionicama s lošijim učiteljima. Nije veliki šok što su rezultati razočarali.

Istraživanje treba upotrijebiti obrazovnu politiku i praksu, ali ne bi je trebalo diktirati. Zdrav razum, praktično iskustvo, osobni odnosi i staromodna mudrost imaju ključnu ulogu u određivanju kada i kako se istraživanja mogu korisno primijeniti. Istraživači koji igraju najkonstruktivnije uloge su oni koji razumiju i prihvaćaju tu neurednu istinu.

Ovaj se post izvorno pojavio na Rick Hess Straight Up.