Na mjestu gdje objavljuju

zašto ne biste trebali prosuditi istraživače prema časopisu Impacts

[Pluton serija] # 0 - Academia, strukturno Fxxked Up
[Pluton serija] # 1 - Istraživanje, industrija stvaranja znanja
[Plutonska serija] # 2 - Akademija, izdavaštvo i znanstvena komunikacija
[Plutonska serija] # 3 - Objavite, ali stvarno propadate?
[Plutonska serija] # 4 - Objavite ili propastite i izgubite uzalud
[Plutonska serija] # 5 - O mjestu gdje objavljuju
[Pluton serija] # 6 - O broju publikacija
[Plutonska serija] # 7 - O osnovama citiranja
[Plutonska serija] # 8 - O praksi navođenja
[Plutonska serija] # 9 - Na navode praćenja
[Pluton serija] # 10 - O recenzijama
[Plutonska serija] # 11 - Završetak serije

U prethodnom smo postu govorili o tome što predstavlja lošu poticajnu strukturu u akademskim krugovima. Više, originalno i robusno znanje glavni je cilj akademije u cjelini. Ako bilo kakve neželjene posljedice osim ovih pozitivnih vrijednosti potaknute poticajem ili ne uspiju uhvatiti pozitivne vrijednosti na odgovarajući način, taj se poticaj može smatrati lošim.

Časopis, izvor: Plush Design Studio, Unsplash

Ovaj post pruža prvu instancu takvih, naime Procjena istraživača gdje objavljuju. Upitno je što se ovom praksom pokušava procijeniti, i bez obzira na to što procjenjuje da se složene vrijednosti znanja ne mogu mjeriti tako pojednostavljenim sredstvima. Struktura u kojoj se održava ova praksa dala je prekomjerne ovlasti nekim dionicima, što je vodilo nedostatku transparentnosti, nepotrebnim politikama, pa čak i neetičkim prekršajima.

Zašto?

Opisujući strukturu poticaja akademske zajednice u prethodnom postu, rečeno je da istraživači često ocjenjuju njihovu produktivnost svojim bibliografskim zapisima ili popisom radova koje su objavili u akademskim časopisima, u kombinaciji s „gdje objavljuju“ koristeći Journal Impact Factors kao proxy vrijednost ovog "gdje". To „gdje“ je, naravno, skraćenica za „koji recenzirani časopis“, a naročito češće nego ne, podrazumijeva časopise uključene u glavne indekse kao što su Web of Science Core Collection (WoSCC) Clarivate Analytics ili SCOPUS Elsevier ,

Na površinu, izbor gdje će se objaviti može izgledati nevjerojatno važno. Na temelju gdje objavljujete svoja istraživanja, u kojoj mjeri se vaša publikacija distribuira može se ozbiljno razlikovati. To jest, ako odaberete odgovarajući časopis za svoju publikaciju, on može proći na stotine ili tisuće vaših vršnjaka, dok loš izbor može dovesti do toga da ga nitko u vašem relevantnom polju nikada ne pročita. To je ono što biste vidjeli kada google "gdje objaviti". (naravno s puno onih "knjižničnih vodiča" koji govore da trebate vidjeti jesu li časopisi indeksirani u WoS ili SCOPUS)

Drugi značajni aspekt koji treba uzeti u obzir pri odabiru "gdje objaviti" je uredništvo časopisa. Najistaknutija funkcionalnost akademskih časopisa je recenzija, znanstveni postupak nadzora stručnjaka na terenu. Tim postupkom stručne recenzije upravljaju uredništva i timovi. Oni unaprijed pregledavaju predane rukopise, biraju recenzere i donose konačne odluke hoće li prihvatiti, odbiti ili predložiti reviziju rukopisa. Budući da različiti časopisi imaju različite urednike, a time i različite prakse pregleda, vjerojatno je vrlo važno odabrati pristojan časopis koji će uređivati ​​autoritativni stručnjaci u vašem području i koji je dovoljno vješt da pravilno vrši pregled vaše publikacije.

Zašto NE Gdje?

Iako se jasno čini da je važno odabrati pravo mjesto za objavljivanje, to još uvijek NE znači da istraživanje treba procijeniti na mjestu na kojem je objavljeno. Prije svega, nejasno je kakvu vrijednost snima. Moguće je sjajno ako se želi obuhvatiti opseg njegovog širenja kao što je gore opisano. Ali to je vrlo izazovno i kontekstualno i tehnički. Trebamo li pogledati apsolutni broj jedinstvenih ljudi do kojih časopis doseže? Jedinstvene sesije i pristupi sveučilištima i institutima? Da li ovakav broj časopisa također predstavlja opseg širenja za pojedine publikacije? Mogu li časopisi i informacijske usluge stvarno pratiti ove statistike? Odgovor je smiješan, bilo da ili ne, sustav se zapravo nikada ne brine o tom aspektu.
(Altmetrija, statistika upotrebe mrežnih informativnih usluga odnosi se na ovaj aspekt. Ipak, oni su pokazatelji koji izravno proizlaze iz pojedinih publikacija, a ne odakle se nalazi.)

Tko odlučuje gdje?

Vrijednost uhvaćena s "gdje" vjerojatno se može zaključiti iz kriterija uključenja i procesa ocjenjivanja indeksa (WoSCC kriteriji i postupak, SCOPUS postupak i ploča). Obojica imaju zajedničke zahtjeve poput ISSN registracije i engleskih (ili rimskih) bibliografskih metapodataka (sažeci, reference itd.) Koji su značajno važni za održavanje čitave baze podataka čistom i upravljivom. Drugi je potreban uvjet da se sadržaj u časopisima pregleda s recenzijom. To je, naravno, pozitivno. Problem je kako su prikazani. Kako je to POTREBNO stanje, časopis uključen u ove indekse mora biti revidiran. Ali kako znati kad oni nikada ne dokažu da jesu? Postoje neki časopisi koji objavljuju izvješća o recenziji zajedno s izvornim publikacijama. Za ostatak časopisa u indeksima, vjerujemo li samo davateljima indeksa da su iskreno provjerili prakse stručne provjere i same dokaze?

To je potpuno isto s ostatkom procesa uključivanja. Iza potrebnih uvjeta postoji mnogo više kriterija za koje kažu da ih treba pogledati. Da napomenem samo: „Akademski doprinos polju“, „Kvaliteta i usklađenost s navedenim ciljevima i opsegom časopisa“, „Stajanje urednika“, „Novo stajalište“ i „Ciljna publika“. Oni su uglavnom uobičajeni u oba indeksa, mada su neke razlike u izrazima. Svi ti kriteriji izgledaju dobro i maštovito, a opet, pitanje je kako to oni stvarno rade. Najviše što pronalazim iz njihovih objašnjenja je to što ih ocjenjuju njihovi urednički timovi ili odbori (nemojte to brkati sa urednicima časopisa). Na kraju pronalazim BEZ podataka o uredništvu na WoSCC-u, a stranica odbora za SCOPUS daje nekih nasumičnih 17 akademika sa svojim pripadnostima, od kojih svaki predstavlja jednu meta-disciplinu (17 ljudi zaduženih za "definiranje" cijele akademske taksonomije, wow). Ukratko, KLJUČNI smo o tome tko odlučuje o uključivanju časopisa, zašto bi oni trebali biti odgovorni za taj rad ili što su zapravo odlučili na osnovu kojih dokaza.

Govorimo o indeksu indeksa. Radovi se objavljuju (tako se indeksiraju kao dio časopisa u kojem se objavljuje) u časopisima koje su uređivali stručnjaci s terena. U ovom trenutku smo nekako opušteni jer mnogo web stranica časopisa daje informacije o svojim uredništvima. * I tada su ovi časopisi meta-indeksirani u bibliografskim bazama podataka poput WoSCC ili SCOPUS, koje uređuju neki slučajni ljudi, gdje smo potpuno izgubljeni tko su i što su učinili. Uzimajući u obzir činjenicu da se ovi indeksi koriste u toliko odluka u akademskim krugovima kao kriteriji za ocjenjivanje, dopuštamo nekim komercijalnim tvrtkama da odluče gdje akademici trebaju predati svoje radove koji će se smatrati „znanstvenim saznanjima“ uz nejasne operacije. Čvrsto bih pitao je li to tako što bi trebala biti znanost.
(* Pogledajte primjerice Lancet. Osobno smatram da su ovoliki podaci o urednicima minimalni zahtjev.)

Snimanje utjecaja

Možda je odgovor najbolje predstavljen brojem koji se uglavnom koristi kao proxy za to: Časopisi Faktori utjecaja (JIF). Očito kako samo ime govori, čini se kao da JIF procjenjuju utjecaj časopisa. Ostavite sumnju što to utjecaj znači, čini se da je utjecaj časopisa jako povezan s citatima, jer se JIF-ovi izračunavaju citatnim grafikonima. (JIF je prosječan broj citata objavljenih u časopisima od interesa za dvije prethodne godine od svih publikacija indeksa ove godine. Više detalja potražite u Wikipediji)

Ne možete ubiti više ptica običnim kamenom

Doista je zbunjujuće što taj utjecaj znači. Jedno možemo jasno reći. Znači prosječno citiranje. Bilo da je riječ o utjecaju, vrijednosti, napretku, doprinosu ili bilo što drugo, pojednostavljeno, jedna metrika ne može (i ne bi smjela) predstavljati složene i raznolike aspekte znanja. Kao što su prikazani procesi inkluzije po indeksima, doprinosi polju, ciljevima i opsegu te njihovoj sukladnosti i kvaliteti, stojeći među poljima, originalnost ideja, publika, etika, transparentnost ... da ih nabrojimo vrlo malo. Nitko nikada neće pronaći način da te vrijednosti zabilježi jednom metrikom.

Korištenje pojednostavljene i jednostruke metrike nanosi ozbiljnu štetu akademskoj zajednici: ona vodi zakonu moći *. Izmislio je Robert Merton kao „Matthew Effect“, ovaj zakon moći dobro je prikazan izrazom „Bogati postaju bogatiji, siromašni siromašniji“. Ovaj zakon o moći u akademskim krugovima nepoželjan je iz dva glavna razloga. i) Novim se istraživačima u ranoj karijeri pružaju manje mogućnosti. ii) Malobrojni su odmetnici dobili vlast nego zajednica, što je protiv "organiziranog skepticizma" moderne znanosti. Znanost se postiže pažnjom vršnjaka, a ne nekolicine autoriteta.
(* Dokazi ovog zakona o vlasti uključuju: cijene ', Lotkove, Zipfove, Bradfordove zakone)

"Gdje" nikad ne zamjenjuje "Što"

Osim zabrinutosti zbog uporabe pojedinačne metrike, na sam JIF postoje kritike. Povrh svega, jer se izračunava iz citata, nasljeđuje većinu kritika na navode. Na primjer, citati se mogu igrati, stvarni brojevi mogu se značajno razlikovati ovisno o upotrijebljenom indeksu citata, a što je najvažnije broj citata ne predstavlja vrijednost publikacije. Tako čine i JIF-ovi. Više o ovom pitanju bit će obrađeno u kasnijem postu koji će razmatrati Citate.

Također se primjećuje da se JIF-ovi ne bi trebali koristiti za vrednovanje pojedinih publikacija. Značenje prosjeka obično se tumači kao prediktivna mjera, ali izvješćuje se da citate objave u časopisu sa svojim JIF-om ne možete predvidjeti. To se uglavnom događa zbog izobličene distribucije citata. JIF-i jako utječu na odmetnike. Pretpostavimo da imamo časopis s JIF = 40, od njega odaberemo nasumične publikacije da bismo vidjeli njegov broj citata, a najvjerojatnije ćemo vidjeti brojeve mnogo manje od 40. Opisujući ovo upozorenje, Nature Materials je u uvodniku sugerirao da časopisi bolje otkrivaju njihove distribucije citata.

Ono što je najvažnije, vrijednost publikacije je Universal (U CUDOS). Ne bi se trebalo mijenjati na mjestu na kojem se nalazi. Eksperimentirali ste A, prikupili skup podataka B, analizirali metodom C, dobili ste rezultat D. Bilo da ga stavite na svoj feed na Facebooku, cvrknete ga, objavite na blogu, dodate na arksiv ili ga objavite u časopisu s pretjerano visokim JIF-om, njegova vrijednost ne bi trebala biti Ne mijenjam se.

Snaga preopterećenja

Kako se istraživači ocjenjuju prema mjestu na kojem objavljuju, neki dionici u vezi s tim „mjestom“ imaju veliki utjecaj na akademske krugove. Kao što je gore opisano, gotovo virtualnu definiciju znanosti (ili „tamo gdje je potrebno objaviti da bismo je smatrali znanošću“) kontrolira nekoliko davatelja indeksa.

Izdavači i časopisi također dobivaju autoritativnu moć. Kako većina časopisa ima binarne odluke o poslanim rukopisima (tj. Prihvaćanje ili odbijanje), istraživači su podložni tim odlukama. Mnogi izdavači i časopisi ne "formalno podržavaju arhiviranje" * (tj. Preprinosi i spremišta). Iako postoje alternativna mjesta za objavljivanje koja bi mogla podržavati arhiviranje, istraživači su još uvijek skloni ne koristiti pretiske ako ih časopis za velike utjecaje ne podržava. To je jedino što sprečava istraživače da arhiviraju prije objavljivanja i krenu u drugom smjeru, zato izdavači i časopisi mogu odlučiti da ga ne podrže.
(** prema SHERPA / RoMEO, 487 od 2566 izdavača (19%) ne "formalno podržava arhiviranje". Proširenje ovog statista na razinu časopisa sigurno će povećati udio. *)

Publika prelijevanje

Izdavači s autoritativnom snagom mogu dovesti do više publikacija, a ne do boljeg i snažnijeg znanja. Budući da poslovni model većine izdavača donosi zaradu putem pretplate i APC-ova (autori to plaćaju prilikom slanja rukopisa na otvoreni pristup), očito je da bi oni željeli više publikacija. Na razini pojedinačnih časopisa to možda nije točno jer više publikacija može smanjiti JIF. (to je u nazivniku) Ali na razini izdavača, to se može koordinirati povećanjem broja publikacija, a istodobno se generira više citata iz njihovih časopisa. Zapravo se ukupan broj publikacija drastično povećao desetljećima, ali pitanje je je li i dovelo do više i boljeg znanja.

Moralne opasnosti

Sljedeće upozorenje je da izdavači i časopisi mogu utjecati na ukupni smjer istraživačkih zajednica i trendova. Kao što je već spomenuto u prethodnom postu, skloni su postavljanju politika koje bi dovele do povećanja JIF-a poput prihvaćanja privlačnih, trendovskih ili čak pogrešnih tvrdnji i odbijanja inkrementalnih, negativnih ili ponavljajućih studija.

Još gore je pogrešno ponašanje koje ima za cilj povećanje metrike. Časopisi, posebno njihovi urednici, mogu neetički prisiliti autore koji prijavljuju citiranje radova u tom časopisu. Urednici i autori iz više časopisa mogu formirati kartele za citiranje u kojima citiraju članke jednih drugih kako bi namjerno povećali utjecaj svakog od njih. Ti zlonamjerni postupci nisu samo loši jer su neetični, već dodatno umanjuju pouzdanost JIF-a kao metriku. Kao takvi, oni kontaminiraju cjelokupnu literaturu stvarajući manje relevantne, ponekad čak i besmislene citate u publikacijama. Na kraju dana pogoršavaju povjerenje u akademsku skupinu.

Poboljšati, a ne odlučivati

Uvijek će se zadržati diskutabilni aspekti o tome na kojem mjestu trebaju biti dijeljeni nalazi istraživanja. Kao temeljni dio znanstvene komunikacije, širenje znanstvenih sadržaja uvijek će uključivati ​​prijenos vrijednih istraživačkih informacija s jednog igrača na drugog. Nadalje, evaluacija od strane JIF-a (ili tamo gdje ona objavljuje) ima tu prednost u odnosu na navode citata da citat za pojedinačnu publikaciju traje ozbiljno dugo vremena, dok se proxy s časopisom može odmah koristiti. Unatoč tome, treba poboljšati trenutačnu praksu vrednovanja istraživača i njihov sadržaj na temelju mjesta na kojem objavljuju.

Kao pojednostavljena metrika postavlja pitanja o tome što obuhvaća, trebalo bi istražiti sveobuhvatnija sredstva za bolje sakupljanje različitih aspekata znanja. Uvijek treba uzeti u obzir da se znanje i njegova vrijednost ne mijenjaju na mjestu na kojem je objavljeno, dok stalno podsjećamo da je važno pitanje kome će se priopćiti.

Nekoliko zlonamjernih igrača može pojaviti nekoliko igrača koji imaju previše autoritativne moći s interesima daleko od stvaranja istinskog znanja. Konkretno, transparentnost je imperativ da se ne dopušta neprozirno djelovanje malog broja igrača usmjerenih na dobit da odluče što će se smatrati istraživanjem.

Sljedeće gore

U nadolazećem postu raspravljat će se o još jednom primjeru lošeg poticaja, o korištenju broja publikacija kao kriterija ocjenjivanja, najosnovnijem pitanju „objaviti ili nestati“.

Uvijek hvala na podršci i molimo vas da SKORO I PODIJELITE priču s vršnjacima, prijateljima i obiteljima da pozovete još diskusije.

[Pluton serija] # 0 - Academia, strukturno Fxxked Up
[Pluton serija] # 1 - Istraživanje, industrija stvaranja znanja
[Plutonska serija] # 2 - Akademija, izdavaštvo i znanstvena komunikacija
[Plutonska serija] # 3 - Objavite, ali stvarno propadate?
[Plutonska serija] # 4 - Objavite ili propastite i izgubite uzalud
[Plutonska serija] # 5 - O mjestu gdje objavljuju
[Pluton serija] # 6 - O broju publikacija
[Plutonska serija] # 7 - O osnovama citiranja
[Plutonska serija] # 8 - O praksi navođenja
[Plutonska serija] # 9 - Na navode praćenja
[Pluton serija] # 10 - O recenzijama
[Plutonska serija] # 11 - Završetak serije

Plutonska mreža
Početna stranica / Github / Facebook / Twitter / Telegram / Medium
Scinapse: Akademska tražilica
E-adresa: team@pluto.network