Moja lista za recenziju

Prošao je mjesec dana otkako sam ovdje objavio. Zašto? Čitao sam umjesto da pišem. Pregledavao sam SIGCSE radove, ICSE radove, IEEE transakcije na papirima softverskog inženjerstva, ACM transakcije na skupovima s računarskom edukacijom. Uređivao sam svoje 7 prekrasnih doktorata. Vodio sam studentske stipendije dvaju studentskih NSF-a i jednu drugu aplikaciju za dodiplomske studente. Čitao sam nekoliko desetina izvanrednih nominacija CRA za dodiplomske studije.

Sada neki ne vole recenziju. Slučajno ga volim, posebno recenziju! Povremeno učim nove ideje, pomažem svojoj akademskoj zajednici da poboljša stipendiju i da riješim vrlo specifičnu zagonetku: što mogu reći u 500–1000 riječi koja će transformirati autorsku perspektivu na njihov vlastiti rad? Učitelj u meni uživa priliku pokušati zaključiti iz nečijeg pisanja o tome kako razmišlja, a zatim pronaći samo prave riječi kako bi svoje mišljenje preusmjerio prema mojoj vlastitoj estetici istraživanja. Ne uspijevam uvijek (pogotovo u ovako prometnim mjesecima), ali obično mi je zabavno raditi to.

Nažalost, mnogi istraživači u mojim zajednicama nemaju baš tako zabavan pregled. I ne krivim ih: dobivamo kratke vremenske rokove, volonterski rad je uglavnom nezahvalan (zbog anonimnosti), a jedva da je bilo kakve interakcije s autorima ili drugih recenzija, osim vrlo asinhronih i izrazito bezličnih rasprava o slabo održavanim, loše dizajniranim grupni softver poput PCS-a ili EasyChair-a (neznatno u odnosu na programere koji to održavaju: imate teške, visoko podređene poslove samo održavanje ovih web-mjesta).

Nakon 15 godina pregleda, ipak, imam nekoliko stvari za koje mislim da bi ljudi mogli uzivati ​​u tome, a natjerali bi me da poželim još više. Evo moje liste želja za akademsku recenziju.

Ocijenite prema eksplicitnim kriterijima

Ništa me ne čini ludim od kutije na kojoj je ovdje napisano "Napišite recenziju". Ovi potpuno neobrazovani postupci stručne provjere propadaju na dva načina: rezultiraju široko različitim mišljenjima o istraživanju, ali isto tako ne daju novim recenzentima da signaliziraju koje aspekte istraživanja vrednuje zajednica ili kako ih procijeniti. Ne postoji samo jedna vrsta pregleda, beskonačno je, a posao urednika je da suzi opseg.

Međunarodna konferencija o softverskom inženjerstvu nedavno je postigla napredak u tome dodajući posebne kriterije poput:

  • Ispravnost. Jesu li tvrdnje o radovima potkrijepljene argumentima i dokazima?
  • Novost. Koliko rad napreduje naše znanje?
  • Jasnoća. Koliko je jasno pisanje i predstavljanje djela?
  • Repliciranje. Da li se djelo (tehnički, empirijski ili drugo) može ponoviti?

Ono što je sjajno u tome je što smanjuju mnoge oblike implicitnih pristranosti u procesu pregleda, natjerajući recenzente da se bave svakom dimenzijom. Koristio sam ih za strukturiranje svojih recenzija i osiguranje da li sam fer prema onome što ICSE želi odabrati.

Sada, ICSE postupak još uvijek ostavlja puno toga za poželjeti. Ovi se kriteriji ne primjenjuju na sve vrste stipendija, što isključuje neke vrste romana. Recenzenti imaju uvelike različite ideje o ovim kriterijima, što i dalje rezultira velikom raznolikošću u njihovim procjenama. I nema nikakvih smjernica sa programskih stolica o tome gdje je "bar": može li jedan papir ispuniti tri takve slike, ali ne uspjeti u novinama i dalje biti objavljen? I posljednje je prilično lako popraviti: objavite ih na pozivu za papire kako bi svi znali protiv čega im se sudi.

Unatoč tim ograničenjima, mislim da svi postupci stručne provjere trebaju imati eksplicitne kriterije. Zajednice bi se trebale okupiti i obraditi ih i vremenom ih razvijati.

Uvježbavanje recenzenata

Jedno od problema s gore navedenim eksplicitnim kriterijima je da različiti recenzenti nemaju dosljednu sposobnost ocjenjivanja svakog od njih. Zašto ne? Zato što ne učimo istraživače da pregledavaju istraživanja.

Oduvijek sam smatrao da je to najveći jaz u doktorskom obrazovanju. Dr. studentima treba što više mogućnosti za praćenje istraživanja na temelju eksplicitnih kriterija, ali malo ih je pozvano na pregled sve dok nisu stariji. A ako su pozvani na pregled, konferencije i časopisi rijetko ih osposobljavaju.

Sjećam se kad sam prvi put pregledao konferenciju. To je bio CHI rad, vjerojatno 2006. ili 2007., neposredno prije nego što sam završio doktorat. Dobio sam kutiju na kojoj je pisalo "Napišite svoju recenziju." I moja prva misao bila je: "Što bih trebao pregledati? Sve? Samo podijelite moje mišljenje? Imam puno mišljenja, jeste li sigurni da su svi važni? "Naravno, svi su bili važni, pa tako i svi drugi, pa je rad dobio divno različite rezultate, što je vjerojatno samo zbunilo autore. Nevjerojatno različite recenzije koje sam uvijek dobivao u CHI (i koje i dan danas rade) i dalje dezorijentiraju.

Kao dr. Sc. savjetnice, ne uspijevam ni u obuci svojih učenika. Kada učim svoje doktorske studente da ocjenjuju tuđi rad? Koji posao moram ocjenjivati ​​je li recenzija povjerljiva? Grupe za čitanje jedno su mjesto za to, ali često su usredotočene na čitanje najboljeg i najrelevantnijeg rada na terenu, a ne na rad za koji je potrebna pomoć. Većina pregleda čine radovi kojima je potrebna pomoć.

Osobno, ne mislim da je posao savjetnika da odlučuje o kriterijima prema kojima će radovi biti pregledani. Mislim da je to posao akademske zajednice i da smo konferencijama i časopisima tamo gdje mi izričito izrađujemo ove kriterije i osposobljavamo ih. Sljedeći put kad budem programirao konferenciju ili postao urednik časopisa, napravit ću trening za sve recenzente.

Objavite sve, uključujući recenzije

Kad ljudima kažem ovu ideju, oni misle da sam lud. Prije nego što i vi isto mislite, čujte me.

Evo osnovne ideje: kada nešto objavimo za objavljivanje, trebali bismo provoditi uobičajene postupke pregleda, a zatim objaviti sve što autori žele objaviti, pod uvjetom da se objave i sve recenzije o njihovom radu i otvorene za daljnju javnu recenziju svi u akademiji. Autori bi također mogli odlučiti povući svoje djelo i dodatno ga poboljšati. Budućnost recenziranja trebala bi biti otvorena, neprekidna i transparentna, pri čemu će svaki rad na svijetu biti podvrgnut (moderiranoj) vječnoj kritici. Na primjer, trebao bih se moći vratiti svojim starijim radovima objavljenim u Digitalnoj biblioteci ACM-a i objaviti komentar rekavši: „Ovaj papir je smeće. Ovaj drugi rad koji sam objavio ima mnogo bolji argument. "I ja bih trebao biti u stanju učiniti isto s mojim vršnjacima. I svi bi, uključujući i javnost, trebali biti u mogućnosti vidjeti naše komentare na sve objavljene radove, omogućujući tako da se znanstvena komunikacija nastavi u javnosti.

Zašto to učiniti?

  • Prvo, prošlo je vrijeme kada se moramo brinuti o troškovima ispisa. Skladištenje je jeftino, a naši dokumenti mali.
  • Drugo, već smo sve pročitali i procijenili. Kakva je svrha svih tih pisanja i pregledavanja, samo 75% toga da akademski fakulteti ne čitaju stvari?
  • Treće, zašto umjetno vračarski rad za koji vjerujemo da ima vrijednost, čak i ako posao nije savršen?
  • Četvrto, odbacivanjem toliko posla, odbacujemo ideje i napore naših zajednica, što je demoralno.
  • Četvrto, neprozirnost recenziranja nanosi štetu javnom mišljenju javnosti. Pokažite im kako se pravi kobasica.

Većina argumenata protiv gore navedene vizije svodi se na ovo: akademici žele koristiti konferencijske i časopisne publikacije za signalizaciju zasluga, uz dodatno istraživanje. "Moramo odbiti papire kako bi prihvaćeni papiri imali vrijednost", kažu oni, "u protivnom, kako bismo znali koji je posao dobar i loš?" Smiješna stvar ovog argumenta je da kratkoročno i dugoročno ne činimo " t Isključivo pomoću publikacije odlučite što je dobro i loše. Koristimo preporučna pisma, koristimo nagrade za najbolji papir, koristimo 10-godišnje najutjecajnije papirnate nagrade, gledamo citate. Svi znamo da su konferencije i časopisi, pa čak i vrhunski, prepuni radova koji nisu tako sjajni, jer naši postupci stručne recenzije nisu tako sjajni. Mala je šteta izgubiti jedan signal kad ih već imamo toliko.

Štoviše, dobili bismo nove signale. Kakav dijalog o objavljenom djelu nastao je od objavljivanja? Tko govori o djelu? Kako razgovaraju o tome? Zamislite kako bi se procjena kandidata za fakultete promijenila: to ne bi bio samo popis objavljenih radova, već umjesto toga, živopisan niz niti o značenju i značaju publikacije - ili šutnja koja govori o nečem drugom.

Drugi argumenti protiv ove vizije usredotočeni su na strahove koje ljudi više neće pregledavati ako njihove recenzije postanu javne. Za mene je to samo znak da ne edukujemo na odgovarajući način javne intelektualce. Jesu li naši egoi tako krhki da bi netko vidio naše dobro obrazložene kritike srušio našu reputaciju? Ili se bojimo da naše kritike nisu tako dobro obrazložene?

Očito, treba proći mnogo toga kako bismo napravili takav model. Ako postoji bilo koja zajednica koja to može učiniti, to su računarstvo i informacijske znanosti, posebno interakcija čovjek-računalo.

Širina pojasa ograničava naš vid

Naravno, za provođenje bilo koje od gore navedenih promjena potrebno je vrijeme. A s obzirom na to da smo već volontirali, vrijeme je ograničeno. Neki od nas trebaju obvezati dio svog vremena, a posebno zasluženi profesori poput nas, kako bi ove promjene postali stvarnost. Pokazajmo ostalim akademskim zajednicama što stručna ocjena može biti. Tko je sa mnom?