Peer Review, Autors Accept: Model za brzu publikaciju koju recenziraju

TL; DR: Ovaj dio mišljenja predlaže kompromis između brzog objavljivanja arXiv-a i kvalitete vođenog postupka ocjenjivanja. Ideja je pregledati svaki rad, ali konačnu odluku o tome hoće li objaviti rad, zajedno s njegovim recenzijama, ostaviti autorima.

ArXiv je postao popularno sredstvo za objavljivanje znanstvenog rada širokoj publici bez prolaska kroz višemjesečni postupak recenziranja. Iako model otvorenih publikacija ubrzava širenje ideja, to ide skupo u kvalitetu istraživanja. Nijedno provjeravanje ne podrazumijeva da će više publikacija sadržavati pogreške, što otežava prepoznavanje rezultata na koje se može osloniti. To može biti i rizično za autore: dobar rad s jednom iskrenom greškom može se rastrgati na javnoj pozornici prije nego što autori uopće dobiju priliku popraviti ga. U skladu s tim, tradicionalni postupak pregleda daleko je savršen i često ometa objavljivanje dobrog djela koje je pomalo nekonvencionalno.

Predlažem misaoni eksperiment: možemo li uzeti pozitivne aspekte recenziranja i arXiv i kombinirati ih u jedinstveni model objave?

Peers Review, Autori prihvaćaju

Ono što ću opisati je jedan mogući kompromis između brzog neuređenog arXiv modela i opreznog postupka ocjenjivanja vršenih kvalitetom: Peers Review, Authors Accept (PRAA). Glavna razlika u odnosu na stručnu recenziju je uloga urednika raspuštena. Umjesto toga, recenzenti se automatski dodjeljuju automatskim postupkom, a odluka o prihvaćanju delegirana je autorima. Za razliku od arXiv-a, radovi se uvijek objavljuju uz njihove recenzije, što čitateljima pruža dodatni kontekst. Eliminiranje uloga uređivača (ručni zadatak, rasprava nakon pregleda i postupci tvrdog prihvaćanja) znatno ubrzava postupak i potencijalno smanjuje uobičajeno vrijeme pregleda s dva mjeseca na dva tjedna. Istovremeno, ovlašćuje autore u slučajevima kada recenzent iskreno pogrešno razumije, zanemarno pogrešno pročita ili jednostavno ne smatra da je rad tako zanimljiv. Autori mogu u biti nadjačati preporuke recenzenata i odlučiti ih objaviti, čineći tako rad tako i (potencijalno negativne) recenzije javno dostupnima.

U PRAA-i autori prenose svoj rukopis na web mjesto, uključujući izvore kako bi se omogućila automatska anonimnost, dodjela recenzenata, uređivanje praćenja i otkrivanje zloupotrebe. Potencijalni recenzenti se dodjeljuju trenutnim automatskim postupkom. Recenzenti imaju kratko vrijeme (npr. 24 sata) da prihvate zadatak recenziranja. Ako recenzent ne prihvati zadatak unutar određenog vremenskog razdoblja, umjesto njega automatski se dodjeljuje drugi recenzent. Prihvaćanje zadatka za recenziju podrazumijeva dovršavanje pregleda u određenom roku (npr. 2 tjedna).

Nakon što autori dobiju recenziju, dobivaju 3 mogućnosti:

  1. Objavite članak kakav jest uz recenzije. Ovo će isključiti anonimnost rada i odmah će ga učiniti javnim, zajedno s numeričkim ocjenama koje su dali recenzenti. Kompletne recenzije pojavit će se na kraju rada. Autori mogu odabrati ovu opciju bez obzira na mišljenje recenzenata.
  2. Uredite papir u ograničenom vremenskom roku (npr. 1 tjedan) i ponovo ga pošaljite. Isti će recenzenti vidjeti novu verziju rukopisa uz razlike u uređivanju od prethodne verzije (automatski se otkrivaju iz izvornih datoteka) te će u skladu s njima izmijeniti svoje recenzije. Imat će slično skraćeno vremensko razdoblje (npr. Tjedan dana) za izmjenu svojih recenzija.
  3. Forfeit, u tom slučaju rad ne objavljuje. Autori ne mogu ponovo poslati članak. Ako je rad podvrgnut velikim izmjenama, autori mogu predati uređeni rukopis kao potpuno novi rukopis. Izvorni papir interno je arhiviran kako bi se omogućilo otkrivanje zloupotrebe.

prednosti

Prednosti PRAA mogu se vidjeti kroz tri uloge:

Čitatelji

  • Svježi rezultati. Brz ciklus objavljivanja znači da čitatelji mogu biti u tijeku s najnovijim rezultatima. To je vjerojatno jedan od glavnih faktora koji ubrzava znanstveni napredak.
  • Dnevno hranjenje. Rokovi konferencija stvaraju cunami publikacija koji preopterećuje čitateljstvo s ogromnom količinom radova odjednom. Umjesto toga, nedostatak rokova PRAA-e omogućava stalan protok nove literature.
  • Sve se pregledava. PRAA osigurava da nijedan rad ne postaje javnosti bez recenzije. Numeričke vrijednosti pružaju čitateljima dodatne informacije za odabir radova koji će čitati, dok komentari pružaju kontekst o potencijalnom utjecaju djela kao i njegova ograničenja.

Autori

  • Prihvaćanje je odluka autora. Recenzija je stohastički proces i daleko je od savršenog. Prijenos odluke o prihvaćanju autorima provjerava snagu recenzenata. Ako se autori ne slažu s komentarima recenzenata, svejedno mogu odlučiti objaviti.
  • Recenzije su privatne. Iako se autori rijetko slažu sa svakim argumentom u recenziji, postupak recenziranja često otkriva neke stvarne nedostatke u radu. Autori se tada mogu odlučiti ispraviti te pogreške i poboljšati svoj rad pod zaštitom privatnog postupka recenziranja. To je u velikoj suprotnosti s modelima arXiv i Open Review, u kojima popravljiva greška može javno diskreditirati dobru ideju.
  • Recenzije su dvostruko slijepe. Kontrolirani eksperimenti pokazali su da pojedinačni slijepi pregledi imaju tendenciju da budu pristrani u korist poznatih istraživača i institucija, stvarajući efekt „obogaćivati ​​bogatijim“ (vidi, na primjer, nedavna studija u zajednici za vađenje podataka). Dvostruko slijepo preispitivanje negira ovu pristranost omogućavajući dobar rad u širenju bez obzira na identitet njegovih autora.
  • Svaki dan je rok. Uklanjanje roka omogućuje istraživačima da predaju rad na pregled kada smatraju da je posao dovoljno dobar. Iako bi rokovi mogli biti korisni za interno upravljanje istraživačkim naporima, rokovi nametnuti izvana mogu potaknuti osobu da podnese napola posla ili alternativno izgubiti vrijeme na usavršavanju već ispunjenog istraživačkog napora.
  • Brzi ciklus pregleda. Ciklus brzog pregleda ograničava količinu preklopljenog konteksta koja je nanesena autorima, omogućavajući im da se brzo uvuku u članak i po potrebi dopunjuju.

Recenzenti

  • Laganiji pregled tereta. Dugoročno gledano, PRAA može iz tri razloga smanjiti radno opterećenje povezano s pregledom. Prvo, svi su urednički zadaci automatizirani; To ne samo da oslobađa urednike i stolice u području, već uklanja i licitiranje i rasprave nakon pregleda. Drugo, ciklusi brzog pregleda i izmjena mogu dramatično umanjiti promjenu konteksta, dok bi automatsko označavanje izmjena moglo uštedjeti vrijeme recenzenata usredotočenjem na te promjene. Konačno, stavljanje odluke o prihvatanju u ruke autora može potencijalno smanjiti ukupan broj recenzija smanjivanjem količine ponovnih i dvostrukih prijava.
  • Recenzije pružaju kontekst. U tradicionalnom modelu recenziranja, tri dugotrajne recenzije na kraju će se pretvoriti u binarnu odluku. Objavljivanje recenzija uz rad čini recenziju korisnijom za zajednicu, što se može vidjeti u modelu otvorenog pregleda (međutim, za razliku od otvorenog pregleda, PRAA zahtijeva suglasnost autora prije objavljivanja recenzija).

Još je puno otvorenih pitanja i detalja implementacije koje bi trebalo pažljivo proučiti prilikom implementacije takvog sustava. Na primjer:

  • Koliko vremena treba izdvojiti za pregled?
  • Kako možemo automatski rasporediti recenzente?
  • Kako potaknuti recenzente da sudjeluju?
  • Kako onemogućiti zlostavljanje i igranje modela?
  • Kako se PRAA može primijeniti na konferencije?

Iako ne mogu predvidjeti kako će PRAA raditi u praksi, nadam se da će ova ideja potaknuti daljnju raspravu o pronalaženju boljih modela publikacija koji će omogućiti brzi i zdravi znanstveni napredak.