Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů a na jejím základě přidělované tzv. RIV body představují, přímo i nepřímo, klíčový nástroj hodnocení vědeckých pracovišť v České republice. Tento systém hodnocení má řadu nedostatků s nezamýšlenými účinky na vědeckou produkci, na které opakovaně upozorňovali členové a členky akademické obce i zahraniční expertní týmy (Technopolis). Vzhledem k tomu, že v nejbližší době není zřejmě možné očekávat zásadní změnu systému směrem ke kvalitativnímu peer review hodnocení, považujeme za velmi důležité snažit se o odstranění nejzásadnějších problémů a vad hodnocení založeného na bodování RIV.
Některé pozitivní kroky v tomto směru se již dějí. Metodika hodnocení platná pro výsledky s rokem uplatnění 2014 odstranila jeden z velkých problémů metodiky předešlé, a sice nedostatek kvalitativní diferenciace mezi evidovanými výsledky, především co se týče monografií, kterým byla dříve přidělena bodová hodnota 20 či 40 bodů, v závislosti na oboru a jazyku publikace, a to bez ohledu na to, zda knihu vydal v podstatě autor sám na svém pracovišti, nebo zda vyšla v renomovaném světovém odborném nakladatelství. Nová metodika stanovuje v případě odborných knih velké bodové rozpětí 4 až 120 bodů, přičemž o navýšení konkrétní bodové dotace ze základní úrovně 4 bodů mají rozhodovat Oborové verifikační a hodnotící panely (OVHP).
Tuto tendenci považujeme za vysoce žádoucí, přetrvává však zásadní nedostatek: hodnocení bere v úvahu především souhrnné bodové skóre bez ohledu na to, zda bylo výsledkem menšího počtu vysoce kvalitních publikací, nebo mnoha publikací podprůměrných. V důsledku toho bylo v posledních letech do RIV zanášeno obrovské množství knižních a časopiseckých výsledků. U zmíněných odborných knih se jen ve společenských vědách uplatňuje v RIV ročně kolem 1800 titulů. Podle našeho názoru není v silách OVHP tyto objemy smysluplně posoudit, a dokonce to ani není žádoucí vzhledem k transakčním nákladům, které by toto posouzení vyžadovalo. To zřejmě vyjadřuje i ten fakt, že v roce 2015 OVHP vůbec nepracovaly.
Navrhujeme proto, aby byl významně omezen počet publikačních výsledků, které by byly po zanesení do RIV bodovány a vstupovaly do hodnocení pracovišť. Dělení na bodované a nebodované výsledky zanesené do RIV je součástí i nynějšího systému. V současnosti jsou ale bodovány všechny výsledky v předem stanovených kategoriích. My navrhujeme stanovit pro každý obor resp. skupinu oborů maximální počet publikačních výsledků, které pro konkrétní rozhodné období může výzkumná organizace pro účely bodování zapsat. Kvóta zapsatelných publikačních výsledků by byla stanovena buď na instituci, v závislosti na souhrnném počtu plných výzkumných úvazků, nebo by byla vztažena na každého jednotlivého akademického pracovníka či pracovnici s ohledem na výši jeho či jejího úvazku (každá z variant má své klady i zápory, které je třeba podrobně diskutovat). Rozhodné období přitom navrhujeme v délce 5 let.
Tato změna by výzkumníky a výzkumnice vedla k tomu, aby se zaměřili na tvorbu menšího počtu skutečně hodnotných publikací, a dovolila by všechny hodnocené publikace včetně článků alespoň na základní úrovni zkontrolovat, např. v tom směru, zda se časopis nevyskytuje v tzv. Beallově seznamu predátorských časopisů pochybné kvality (http://scholarlyoa.com), v nichž zhusta neprobíhá ani recenzní řízení. V této souvislosti je třeba zdůraznit, že některé predátorské časopisy, kterých se celosvětově vydává již více než 10 000, jsou indexovány v databázích SCOPUS a Web of Science a na vypovídací hodnotu těchto databází se proto nelze slepě spoléhat.
Tento pracovní návrh předkládáme ke kritické diskuzi akademické obci. V první polovině roku plánujeme uspořádat k návrhu veřejnou debatu a její výsledky pak prosazovat na úrovni vědní politiky.
členové platformy DeRIVace
17. ledna 2016
Derivace 
Ahoj autorům, především díky za tuto aktivitu. Prostor debatovat je i zde? Nápad je to určitě fajn, ale vidím v něm dva základní problémy: (a) Kdo a jak určí, kolik který obor má publikovat výsledků? Některé obory by tyto „limity“ mohly zvýhodnit či naopak znevýhodnit vzhledem k dalšímu bodu (b) Jak se budou v tomto systému rozdělovat finance, tedy institucionální prostředky? Pokud stejně jako v dosavadním systému, podle mého tím de facto odsoudíme české lokální časopisy k zániku, protože tlak bude POUZE na publikaci v 1Q časopisech dle Web of Science. Ani toto není bohužel dobrá cesta. Obávám se, že jakýkoliv systém rozdělení publikací, podle kterého následně rozdělíme finance, povede k nějakému typu pokřivení systému.
Z hlediska hodnocení kvality knih by podle mého stačilo, kdybychom udělali kategorie podle nakladatelů, např. v Estonsku mají vyjmenované prestižní nakladatele (Sage, Springer atd.) a za knihy u nich je výrazně více bodů než za publikování v ČR. Takový systém by byl poměrně jednoduchý a na hodnocení knih by nejspíš stačil… Těším se na případnou diskuzi 🙂 David Šmahel
To se mi líbíTo se mi líbí
Davide děkujeme za komentář!
Ad a), tedy určení norem pro obory, či přesněji skupiny oborů. Fakticky by je musela stanovit RVVI, ideálně samozřejmě po debatě s odbornou veřejností. Úplně splést se myslím nemůže, protože ať už více, či méně rozumná, ta norma bude pro všechny v dané skupině oborů stejná. Hlavní je podle nás v tuto chvíli rychlost implementace, tj. jde o čas, protože kafemlejnek v současné podobě semílá mozky i charaktery českých vědců, a to bývá nevratná změna…
Ad b), tedy rozdělování financí. Tady je třeba zdůraznit, že náš návrh je pokusem o „první pomoc“, z definice dočasnou a nedokonalou. Skutečným řešením by měla být metodika 2017, ale v kuloárech se již dnes mluví o tom, že spuštěna bude nejspíš až v roce 2019. „Zastropování“ RIV, které navrhujeme, má za cíl znemožnit patologické nahrazování kvality kvantitou. Stejně jako vy se domníváme, že převádění RIV bodů na peníze vede k pokřivenému systému. Také si myslíme, že kategorie publikací, jak jsou v současné době definovány, nejsou šťastné. (Například odkaz metodiky 2014 ke kategoriím databáze ERIH, která je dnes v podstatě mrtvá a bohužel často zaměňovaná s ERIHplus, jež má vypovídací hodnotu blízkou nule. Faktické ignorování žánrů jako „edited volume“ atd.) Nic z toho v návrhu neřešíme, protože by to jen oddálilo možnou rychlou implementaci. Lokální odborné časopisy to možná opravdu trochu poškodí, ale ty životaschopné (se skutečnou čtenářskou a autorskou obcí) jistě do metodiky 2017 dožijí.
Nakonec knihy. To je dobrý nápad, tuším, že podobný systém funguje také například v Austrálii. Obávám se ale, že zejména třídění českých vydavatelství by bylo velmi sporné a konsenzus by se těžko hledal, protože by šlo o hodně. Celý návrh by se na tomto bodě mohl „zaseknout“. Asi by bylo strategické pojmout to jako samostatný komplementární návrh, který by v určitém smyslu „normoval“ práci OVHP, tj. byl vodítkem pro hodnocení jednotlivých knih, které by v rámci našeho návrhu mělo být mnohem spíše realizovatelné, než v případě dnešní přehlcené databáze výsledků k hodnocení.
Luděk Brož
To se mi líbíTo se mi líbí
Zdravím a díky za odpověď.
Ono jde spíše o to jak se to určí, než kdo to určí. Podle mého prostě neexistuje žádný dobrý způsob, jak to určit. Ony ty stropy totiž můžou de facto vytvořit nové zafixované dělení financí – to chceme? A ty stropy stanovíme na základě současného (špatného) systému? Lepší metody, obávám se, nemáme. Abych to řekl explicitně – já jsem proti určení takového stropu. Určení stropu ohne ten systém jenom zase jiným způsobem a možná i demotivuje lidi publikovat? Není dostatečným dělením kvality to, že za publikaci v TOP časopise dostane člověk 100-300 bodů a za publikaci v českém časopise 4 body? Osobně současný proces nahrazování kvality kvantitou nevidím tak jednoznačně, ale to je na dlouho debatu.
Ale možná jsem přesně nepochopil váš návrh – můžete vysvětlit detailněji, jak se budou rozdělovat finance, když bude strop na počet dodaných publikací za instituci či obor? Podobně velké instituce tedy dodají podobný počet publikací a jak se mezi nimi rozhodne o kvalitě – tj. kdo dostane víc nebo míň financí?
To se mi líbíTo se mi líbí
Díky za pokračující debatu a omlouvám se za časový odstup…
Myslím, že je dobré zdůraznit, že v současné době je dělení financí do určité míry zafixováno. Na každou skupinu oborů jdou určité objemy financí a soutěž tak probíhá v podstatě uvnitř těchto položek rozpočtu. To má své nevýhody i svá opodstatnění a je pravdou, že náš návrh absolutně nemá ambici toto měnit. V tomto ohledu je to návrh minimalistický a nijak nekonkuruje budoucí velké reformě v podobě metodiky 2017. V podstatě jediné, co navrhujeme, je nesoutěžit v rámci skupin oborů v počtech bodů získaných z neomezeného množství publikací, ale počtech bodů získaných z předem definovaného menšího množství publikací. Ze dvou modelových institucí, o kterých hovoříte, by tedy, stejně jako nyní, dostala více prostředků ta, která by vygenerovala větší množství bodů. Podstatné přitom je, že by při nižších počtech bodovaných publikací bylo reálné body částečně přidělit na základě kvalitativního posouzení (především knih), se kterým současná platná metodika 2014 sice počítá, ale které se při současných počtech zdá neproveditelné.
Naším cílem je přerušit rozmáhající se trend nahrazování kvality kvantitou. Nemyslíme si, že je tahle otázka ošetřena dostatečně různou bodovou dotací za různé publikační výstupy, praxe ukazuje, že řada lidí je v některých oborech schopna za několik let nasbírat v obskurních publikacích více bodů, než seriózní badatel za stejné období v publikacích špičkových. V jistém smyslu nám právě jde o to, abychom, jak říkáte, demotivovali lidi od publikování: od publikování podměrečného, parazitického, od publikování pro publikování viz http://casopis.hostbrno.cz/aktualni-rocnik/2015/06-2015/texty-bez-ctenaru-aneb-horecna-nehybnost-vedy, a naopak motivovali k publikování co nejkvalitnějšímu. Méně je někdy více…
To se mi líbíTo se mi líbí