Na broju publikacija

više publikacija ≠ bolji učinak

[Pluton serija] # 0 - Academia, strukturno Fxxked Up
[Pluton serija] # 1 - Istraživanje, industrija stvaranja znanja
[Plutonska serija] # 2 - Akademija, izdavaštvo i znanstvena komunikacija
[Plutonska serija] # 3 - Objavite, ali stvarno propadate?
[Plutonska serija] # 4 - Objavite ili propastite i izgubite uzalud
[Plutonska serija] # 5 - O mjestu gdje objavljuju
[Pluton serija] # 6 - O broju publikacija
[Plutonska serija] # 7 - O osnovama citiranja
[Plutonska serija] # 8 - O praksi navođenja
[Plutonska serija] # 9 - Na navode praćenja
[Pluton serija] # 10 - O recenzijama
[Plutonska serija] # 11 - Završetak serije

U prošlotjednom postu objavljeno je kako na akademske i ekosustav snažno (i negativno) utječu kriteriji za ocjenjivanje "gdje" su njihova otkrića objavljena. Ova evaluacija o mjestu na kojem objavljuju ne samo da obeshrabruje cjelokupno stvaranje istinskog i robusnog znanja, već također potiče lošu atmosferu kod raznih igrača. Teško je objasniti što bi trebali predstavljati, a rezultati istraživanja dragocjeni su kakvi jesu, bez obzira na to gdje su objavljeni. Ipak, najproblematičnije je što mnogi igrači koji zapravo ne stvaraju znanje, dobivaju pretjeranu moć u sustavu, a neki igrači, čak i akademici, budu u iskušenju da pogreše kako bi povećali svoj utjecaj.

U ovom će se postupu na sličan način raspravljati o tome zašto istraživači ne bi trebali procijeniti koliko ih objavljuje (tj. Zašto je to loš poticaj). Broj publikacija ne predstavlja pozitivne vrijednosti akademskog svijeta. Naime, budući da je ovaj kriterij apsolutno kvantitativan, igrači uvijek mogu „igrati“ metriku. Ova praksa evaluacije može nadalje dovesti do neželjenih posljedica, od kojih je najgore što akademici čine sjenom u pogledu svojih rezultata.

hrpe knjiga, izvor: Darwin Vegher, Unsplash

Više publikacija, više Obscura

Kao što fraza „Objavi ili propadne“ doslovno proizlazi, na istraživače je sve veći pritisak da stvore više publikacija, jer se na taj način procjenjuje njihova produktivnost. Čini se sasvim normalnim i zvučnim da bilo tko u ovom društvu ima pritisak da radi bolje. No, pitanje je: „pritisak za što?“ Vrlo je upitno kakva je izvedba praćena ovom mjerom. Kako je ta nesavršena mjera prestala biti de facto mjera produktivnosti, mnogi istraživači, nastojeći da ne nestanu, opsednuti su objavljivanjem više radova, a ne istinskim znanjima.

Prije svega, najmanja jedinica ove mjere, publikacija, ne može predstavljati jedinicu znanja. Ovo je bolje potvrđeno izrazom „Najmanja izdavačka jedinica“. Kao što sam pojam objašnjava, ne postoji dogovorena veličina ili standard kako jedna publikacija treba biti. Čak i ako je postojao konsenzus o najmanje objavljivačkoj jedinici, još uvijek nije jasno što ova jedinica hvata. Ostavite da je izazov definirati jedinstveno znanje, vrijednost znanja nije tako jednostavna da bi se mogla uhvatiti jednim metrikom. Izravnim primjerom bilo koji bi matematičar trebao postaviti pitanje je li Perelmanovo rješenje za tri članaka Poincare Conjecture bilo stotinustruko manje produktivno od više od tisuće publikacija sumnjivog akademskog znanstvenika.

Što je još gore, stope objavljivanja razlikuju se u pojedinim disciplinama. Čak i unutar jedne discipline različiti predmeti mogu pokazati različite stope objavljivanja. To jest, iako bi istraživač u području fizike visokih energija mogao biti izazov objaviti jedan rad u godinu dana, računalnom naučniku bi moglo biti relativno lako objaviti više radova sa konferencije u godini.

Povlačenjem svih ograničenja u stranu, jednako je kontroverzno što bi trebalo smatrati objavom. Baš kao što je opisano s "gdje objavljuju", broj publikacija toliko ovisi o indeksu koji se koristi za analizu. Web of Science i SCOPUS ponovo se često koriste, pa ista pitanja postavljena u "gdje objavljuju" vrijedi i ovdje. Osim toga, još jedna polemika o tome što bi trebalo računati i dalje traje bez obzira na korišteni indeks. Trebamo li brojati samo izvorne istraživačke izvještaje? Što je s kliničkim ispitivanjima, replikacijskim studijama, preglednim člancima i tako dalje? Da li bi svi trebali računati kao isti jedinični doprinos? A autorstvo? Treba li računati samo one objavljene kao prve autore? Dopuštamo li velikodušno druge i odgovarajuće autore? Ili samo podijeliti broj jedinica publikacije na broj autora? Prilično je mučno postavljati toliko pitanja bez jasnih odgovora na njih, ali korištenje pojednostavljene mjere bez postavljanja njih još je gore.

Više publikacija, više zastarjelosti

Evaluacija na temelju broja publikacija dovela je i do neželjenih posljedica. Kao što bi se prirodno moglo pretpostaviti, broj čitavih publikacija eksplozivno se povećao. Većina literature izvijestila je o porastu objavljivanja analizom na bazi podataka Web of Science, no ako proširimo ove analize izvan Web of Science, očekuje se da će brojke jednostavno premašiti linearnu povezanost.

Naizgled više publikacija nije tako loše ako pretpostavimo da publikacije znače više znanja. No problem je u tome što se povećavaju brojke nekvalitetnih i dvostrukih ili čak lažnih nalaza. To je u izvjesnom smislu u skladu s diskursom predatorskog časopisa, gdje su poslovni modeli otvorenog pristupa i APC često krivi za porast grabežljivih časopisa. Ali kao što svi znamo, za tango je potrebno dvoje. Publikacije niske kvalitete i prijevara povećale su se ne samo zato što čini sjajan posao, već i zato što je s druge strane istraživačima bilo potrebno više publikacija jer su s njima procijenjene, bilo revolucionarnim, inkrementalnim ili lažnim.

Procjena broja publikacija također je dovela do pogrešnih ponašanja u istraživanjima. Nepoštivanje dužne revnosti u odabiru časopisa prilikom podnošenja rukopisa (tj. Podnošenja predatorskim časopisima) jedan je od takvih primjera, bilo namjeravano ili ne. Bolje, sveobuhvatnije i kontekstualne metode evaluacije potaknule bi autore da odaberu časopis u kojem je najvjerojatnije da će njihovi istraživački istraživači podvrći pažljiv nadzor od strane stvarnih vršnjaka koji razumiju njihovo stručno područje.

Teže se kršenja provode kako bi se povećala broj publikacija. Rezanje salame u određenoj je mjeri povezano s gore opisanom jedinicom za najmanje izdavanje. Neki akademici imaju tendenciju da podijele svoje nalaze na manje frakcije tako da mogu osigurati više publikacija jednim istraživačkim projektom. Možda će doći u iskušenje da čak i izmisle svoja otkrića kako bi osigurali da su objavljeni, kao što su P-sjeckanje i HARKING. Ostalo prijavljeno ozbiljno kršenje ponašanja u vezi sa sigurnošću objavljivanja je lažno predstavljanje lažnih recenzenata (tj. Recenzentima koje preporučuju autor s lažnim e-mailovima) i lažno predstavljanje autorstva.

Povrh svega, najznačajnija i loša posljedica ocjenjivanja akademskih radnika prema broju publikacija je ta što su oni sumnjivi u svojim rezultatima istraživanja. To se opet pomiruje s onim što "objavite ili propadnete". Bilo kakve radnje koje su protiv osiguranja mogućih publikacija NE su za akademce. Pod krovnim izrazom „Otvorena znanost“ bilo je mnogo prijedloga o tome kako se prenose nalazi istraživanja. Otvoreni podaci podrazumijevaju dostupnost skupova podataka jednako kao što su publikacije, a Open Notebook Science i dijeljenje laboratorijskih bilješki. Praktično nije skovan s određenim pojmovima, ali postoje mnogo vrijednije komponente u istraživanju koje bi bilo bolje priopćiti nego održati u privatnim kabinetima *: istraživačke ideje, eksperimentalne postavke, protokoli i savjeti, ograničenja i daljnje studije kako bi se probio kroz njih, itd. Ne puno se zapravo dijeli aktivno. (* ili tvrdi diskovi ili pohrana u oblaku)

Budući da se istraživači ocjenjuju brojem njihovih publikacija, podsticani su da u svojim publikacijama izveštavaju „najmanje informacija koje mogu objavljivati“. Ponekad su bitne informacije možda izostavljene iz publikacije. S obzirom na kolaborativne aspekte stvaranja znanja, svi se možemo složiti da je najbolje potaknuti ih na objavljivanje „maksimalnih“ mogućih informacija. Trenutačna ocjena jednostavnog broja publikacija prilično je suprotna ovom uvjerenju.

Prethodni bodovi uvode se jednako loše koliko i jesu, naime povećane (a posebno nekvalitetne i lažne) publikacije; izmišljeni nalazi istraživanja; i nedolično ponašanje u postupku objavljivanja. Oni su ujedno i problematični jer je stvaranje znanja revolving sistem. Loši primeri mogu dovesti do još gorih posljedica. A fiksiranje je jednako važno kao i stvaranje novih znanja.

Nema JIF-a, nema pub. Grof, što sad?

Sada smo raspravljali o dva najčešće korištena kriterija ocjenjivanja, naime utjecajima časopisa i broju publikacija, sljedeći post bit će citati. Za razliku od ove nedavne dvije teme, citat je relativno složen za obradu, jer je jasan oblik atribucije. "Publikacije izričito navode drugu publikaciju iz prošlosti kao izvor informacija." To je vjerovatno razlog zašto se većina rasprava u posljednjim desetljećima formira oko pretpostavke "da je citat konačna ocjena".

Pratite nas kako biste čuli što Pluton ima o ovome reći, a SKLJUČITE I PODIJELITE priču s vršnjacima, prijateljima i obiteljima kako biste pozvali na još rasprave.

[Pluton serija] # 0 - Academia, strukturno Fxxked Up
[Pluton serija] # 1 - Istraživanje, industrija stvaranja znanja
[Plutonska serija] # 2 - Akademija, izdavaštvo i znanstvena komunikacija
[Plutonska serija] # 3 - Objavite, ali stvarno propadate?
[Plutonska serija] # 4 - Objavite ili propastite i izgubite uzalud
[Plutonska serija] # 5 - O mjestu gdje objavljuju
[Pluton serija] # 6 - O broju publikacija
[Plutonska serija] # 7 - O osnovama citiranja
[Plutonska serija] # 8 - O praksi navođenja
[Plutonska serija] # 9 - Na navode praćenja
[Pluton serija] # 10 - O recenzijama
[Plutonska serija] # 11 - Završetak serije

Plutonska mreža
Početna stranica / Github / Facebook / Twitter / Telegram / Medium
Scinapse: Akademska tražilica
E-adresa: team@pluto.network