Komitet Ewaluacji Jednostek Naukowych został powołany 31 grudnia 2010 na mocy ustawy o zasadach finansowania nauki. Trzydziestu członków pierwszej czteroletniej kadencji wybrano z ponad sześciuset kandydatów zgłoszonych przez jednostki naukowe i organizacje społeczno-gospodarcze. Z tego grona piętnaście osób otrzymało powołania na dwa lata, co umożliwiło praktykowaną w latach kolejnych wymianę połowy członków KEJN w takim właśnie cyklu. Z pierwotnego składu komitetu pozostało w nim sześć osób. Podstawowym zadaniem KEJN było stworzenie systemu oceny działalności naukowej i badawczo-rozwojowej, a następnie przeprowadzenie na jego podstawie ewaluacji blisko tysiąca jednostek naukowych (JN). Jej wyniki miały posłużyć do podziału środków na działalność statutową i pokazania możliwie pełnego obrazu nauki polskiej. Oceny jednostek przeprowadzane były od połowy lat dziewięćdziesiątych, zasadniczo co cztery lata. W tworzeniu kolejnych odsłon systemu ewaluacji uczestniczyły różne gremia, w tym KBN, Rada Nauki i Rada Polityki Naukowej, jednak w znacznej mierze o jego kształcie decydowało Ministerstwo Nauki (potem MNiSW).

Działający od 1 stycznia 2011 KEJN otrzymał pilne zadanie przygotowania nowej propozycji już w pierwszych miesiącach swojej działalności, aby ministerstwo jak najwcześniej mogło opublikować rozporządzenie do przeprowadzenia oceny za lata 2009-2012. Propozycję przedstawiliśmy w czerwcu 2011, jednak doprecyzowanie szczegółów zajęło niemal rok. Zadanie to było szczególnie trudne, zważywszy krótki czas wyznaczony komitetowi i fakt, że z całego składu KEJN tylko trzy osoby brały udział w poprzednich ocenach, a zasięg ewaluacji obejmował wszystkie dyscypliny nauki i sztuki oraz wszystkie typy jednostek naukowych. Dodatkowo kierownictwo ministerstwa podkreślało, że powinien to być system inny od poprzednich i uwzględniający krytyczne głosy środowiska. KEJN zaproponował rozszerzenie zakresu ewaluacji i wyodrębnienie czterech kryteriów oceny, z których pierwsze, dotyczące osiągnięć naukowych i twórczych (dorobek publikacyjny, wynalazki, dzieła artystyczne), miało zdecydowanie największą wagę we wszystkich grupach nauk i wszystkich typach jednostek naukowych. Zakres kryteriów i szczegóły punktacji starano się tak doprecyzować, aby uwzględniały specyfikę zarówno poszczególnych obszarów nauki, jak i typów jednostek. Z uwagi na złożoność obrazu życia naukowego wypracowanie kompromisu wymagało długich i często trudnych dyskusji.

Wprowadzono nową klasyfikację Grup Wspólnej Oceny i nowy system porównywania JN w ich obrębie. Po wstępnych analizach zaproponowano szeregowanie JN w GWO poprzez wielokryterialne porównanie parami (jednostki porównywane każda z każdą). Powstał jednak problem ustalania punktów granicznych wyznaczających poszczególne kategorie. W tym celu komisje komitetu opracowały do każdego obszaru algorytm obliczania tzw. jednostek referencyjnych (JR), biorący pod uwagę najwyższe wyniki w danej GWO oraz – tam, gdzie było to możliwe – pozycję międzynarodową dyscyplin w ramach tejże grupy. Po zakończeniu ewaluacji jednostek naukowych ich wyniki posłużyły do automatycznego wyliczenia wartości JR A (próg wejścia do kategorii A) i JR B (próg wejścia do kategorii B). Przyjęto, że najwyższa kategoria naukowa (A+) będzie przyznawana w wyniku oceny eksperckiej tym jednostkom, które w wyniku porównania parami znalazły się na najwyższych pozycjach w danej GWO, a przy tym uzyskały szczególnie wysokie wyniki w kryterium publikacyjnym.

Generalna opinia była pozytywna

Pierwszej oceny KEJN dokonał w 2013 roku na podstawie ankiet złożonych przez jednostki naukowe ubiegające się o przyznanie kategorii. Do pomocy mieliśmy Departament Nauki i przede wszystkim zespoły ewaluacji, które weryfikowały dane, dokonując niezbędnych korekt. Trudną do przecenienia rolę odegrała wówczas firma Index Copernicus International, która opracowała system teleinformatyczny i przeprowadziła niezbędne obliczenia, w tym porównanie parami. W efekcie ewaluacji KEJN przedstawił ministrowi propozycję kategorii naukowej dla każdej JN. Zgodnie z otrzymanymi wskazówkami około trzydziestu jednostek miało zostać wskazanych do kategorii A+. Ostatecznie już wstępna lista przyznanych kategorii zawierała zmiany wprowadzone przez ministra, a w wyniku odwołań złożonych przez część jednostek niektóre kategorie skorygowano po przeprowadzeniu powtórnej oceny. Po zakończeniu procesu odwoławczego opublikowane zostały listy ostateczne. KEJN przeprowadził wówczas wśród kierowników JN ankietę sondującą ich opinie – udział wzięło prawie 70% JN. Generalna opinia była pozytywna, a zgłaszane uwagi miały charakter bardziej szczegółowy niż fundamentalny.

Jeszcze przed ostatecznym zakończeniem ewaluacji 2013 komitet rozpoczął prace nad kolejną, planowaną na rok 2017. Opieraliśmy się na wspomnianej wyżej ankiecie, informacjach napływających ze środowiska, a także na naszych analizach poprzedniej oceny. Zdecydowanie przeważały opinie, że system powinien pozostać niezmieniony, ale należy dopracować wiele elementów, o różnym ciężarze gatunkowym. Tym razem system teleinformatyczny pozostawał w gestii Ośrodka Przetwarzania Informacji.

Metodę wielokryterialnego porównania parami ograniczono do porównania każdej JN tylko z wartościami JR, doprecyzowano sposób przyznawania kategorii A+ oraz wprowadzono pojęcie niejednorodnej jednostki naukowej (NJN), tj. jednostki prowadzącej badania w więcej niż jednym obszarze nauki. Ta ostatnia zmiana była próbą rozwiązania problemu nieporównywalności jednostek repezentujących duży rozrzut badań, ale z konieczności wtłaczanych do jednej GWO z jednostkami o bardziej jednolitym profilu. KEJN od początku swojej działalności opowiadał się za sensownością oceny jednostek naukowych na poziomie struktur możliwie jednorodnych (np. instytutów, a nie wydziałów), jednak ze względów formalnoprawnych nie było to możliwe. Wprowadzenie NJN niewątpliwie przyczyniło się do sprawiedliwszej oceny takich jednostek, jednak proces ich ewaluacji był niezwykle złożony i czasochłonny (jedną jednostkę oceniało niekiedy wiele zespołów ewaluacji). Planowana na 2021 ewaluacja w ramach dyscyplin wyeliminuje powyższe problemy.

W ewaluacji 2017 dokonano także zmian w poszczególnych kryteriach, co staramy się przedstawić i uzasadnić w dalszej części tekstu. Pierwsza wersja rozporządzenia o ewaluacji 2017 ukazała się pod koniec roku 2015, jednak po zmianach w kierownictwie ministerstwa wprowadzono dwie nowelizacje – objęły one pewne szczegóły, nie naruszając zasadniczo kształtu rozporządzenia pierwotnego. Jedną z ważnych spraw, których nie udało się ująć w nowym rozporządzeniu, był podział punktów za publikacje w zależności od wkładu autorów.

Pełne przedstawienie założeń dwu ewaluacji przeprowadzonych przez KEJN, dobrze środowisku znanych, nie byłoby ani uzasadnione, ani możliwe. W niniejszym tekście przybliżamy zatem nasze stanowisko w tych kwestiach, które podnoszone były szczególnie często, zarówno w listach kierowanych do ministerstwa, jak i bezpośrednio do komitetu, a które naszym zdaniem wymagają wyjaśnienia.

Kwadratura koła, czyli o monografiach

Najważniejsze kryterium ewaluacji (kryterium I: osiągnięcia naukowe i twórcze) objęło przede wszystkim publikowany dorobek JN, w tym monografie i publikacje w czasopismach. Trzeba to jasno powiedzieć: obiektywna ocena monografii w ramach masowej ewaluacji JN jest po prostu zadaniem niewykonalnym. Monografie, przez humanistów i część nauk społecznych uważane za najważniejszą formę publikacji, są tym rodzajem dorobku, którego ewaluacja jest szczególnie niewymierna. Środowisko jest zasadniczo zgodne co do tego, że jedyną właściwą byłaby ekspercka ocena jakości każdej opublikowanej pozycji (z tym zastrzeżeniem, że należałoby się liczyć z kwestionowaniem kompetencji recenzenta…). Z uwagi na ogromną liczbę zgłoszonych przez JN monografii (kilkanaście tysięcy) i wielokrotnie jeszcze większą liczbę rozdziałów, taki tryb oceny nie jest jednak możliwy, toteż należało przyjąć kryteria pozwalające niemal automatycznie kwalifikować i punktować ten rodzaj dorobku naukowego. Doświadczenie pokazuje, że każda próba „ryczałtowej” oceny łatwo poddaje się krytyce.

W 2013, gdy punktacja za monografie różnicowała język wydania (25 pkt. za język „kongresowy” lub podstawowy dla danej dyscypliny, 20 pkt. za pozostałe), środowisko nauk humanistycznych i społecznych protestowało przeciw degradowaniu roli języka polskiego, a także innych niepremiowanych punktowo języków, ważnych dla poszczególnych dyscyplin albo obszarów badań.

Gdy w ewaluacji 2017 zastosowano jedną (podwyższoną do 25 pkt) punktację niezależną od języka, do ministerstwa i KEJN napływały protesty przeciw jej spłaszczeniu, zrównywaniu produkcji o przeznaczeniu lokalnym z tą o wiele ważniejszą, obcojęzyczną, mającą świadczyć o umiędzynarodowieniu badań. W rzeczywistości część tego „międzynarodowego” dorobku stanowiły monografie wydawane co prawda w języku obcym, ale nieobecne na szerszym rynku wydawniczym nawet w obiegu krajowym. Co więcej, autorami wielu tych pozycji byli badacze np. z Ukrainy, niezatrudnieni w polskich jednostkach naukowych, a uwzględniani w ramach limitu dopuszczalnych 20% dorobku spoza kadry naukowej JN. Część jednostek domagała się uznania języka polskiego za „podstawowy”, kierując się faktem uprawiania w Polsce danej dyscypliny po polsku, a nie tym, że w obiegu światowym język polski nie jest w tej dyscyplinie wykorzystywany ani jako główny, ani nawet istotny.

Zastrzeżenia budził też drugi parametr oceny: objętość. Pierwotnie sugerowany ze strony MNiSW limit minimum 10 arkuszy wydawniczych został przez KEJN obniżony do 6 arkuszy, co zdaniem jednych było właściwe, np. z uwagi na praktyki wydawnicze nauk prawnych (zwyczajowo mniejsze objętości książek), ale zdaniem innych krzywdzące wobec częstych w humanistyce potężnych opracowań liczących dziesiątki arkuszy. Z góry można było przewidzieć, że przyjęcie niskiego limitu będzie skutkowało wysypem monografii o niewielkiej objętości albo wręcz dzieleniem większych publikacji na oddzielnie wydawane części. Skutki obecnie przyjętego całkowitego zniesienia limitu trudno nawet przewidzieć.

Składanki i edycje krytyczne

Kolejny problem zidentyfikowany w wyniku oceny parametrycznej 2013 stanowiły książki zbiorowe, przez wielu nazywane „syntezami introligatorskimi”. Nawet jeśli część takich opracowań to istotnie przypadkowe składanki niekwalifikujące się jako monografie, to jednak w humanistyce ta kategoria publikacji obejmuje także ważne wieloautorskie opracowania powstające np. w wyniku realizacji projektów bądź jako pokłosie prestiżowych konferencji. Niska punktacja przyznawana pojedynczym rozdziałom (4 pkt) zniechęcała jednostki do tego typu wydań, z dużą szkodą dla inicjatyw podejmowanych przez badaczy we współpracy. Dlatego też w 2017 Komisja ds. Grupy Nauk Humanistycznych i Społecznych KEJN zaproponowała możliwość łącznej punktacji (15 pkt) za udział pracowników JN (bądź autorów afiliowanych w JN) w takiej monografii. Nawet jeśli to nowe podejście traktowane było przez niektórych z przekąsem, kierownicy jednostek mogli dzięki niemu ocalić ten szczególny rodzaj monografii jako liczący się składnik dorobku.

Przyjęte w 2013 i 2017 szerokie rozumienie monografii nie tylko jako „typowej” książki, lecz także z uwzględnieniem edycji krytycznych, było rozwiązaniem słusznym, ponieważ pozwalało docenić prace trudne, żmudne, wymagające niekiedy rzadkich kompetencji (np. znajomości łaciny średniowiecznej) i mające podstawowe znaczenie dla poszczególnych dyscyplin nauk humanistycznych. Nie było jednak możliwości odróżnienia tych pozycji od opracowań polegających np. na przedruku źródła, poprzedzonych krótkim wstępem. Nadużycia w tym zakresie spowodowały zmianę, którą humanistyka boleśnie odczuje. Wprowadzone obecnie drastyczne zmniejszenie punktacji za wydania źródłowe zniechęci część badaczy do podejmowania wieloletniego mozołu.

Niezrozumiałe mogło się wydawać ograniczenie liczby wykazywanych przez jednostki naukowe monografii, rozdziałów i redakcji, np. w naukach HS wynosiło ono 40% dorobku publikacyjnego uwzględnianego w ewaluacji. Wobec braku narzędzi do weryfikowania poziomu monografii i przy łatwości „produkowania” tychże nawet własnym sumptem rezygnacja z ograniczeń groziła zalewem pseudonaukowej makulatury, która mogłaby wypaczyć wyniki ewaluacji jednostek dążących do jak najwyższego wyniku punktowego bez dbałości o jakość.

W ewaluacji 2017, aby przynajmniej częściowo docenić ważkie, znaczące pozycje książkowe, wprowadzono dodatkowo kategorię monografii wybitnych, nagradzanych podwójną liczbą punktów (50). Świadectwem szczególnie wysokiego poziomu monografii były przyznane jej ważne nagrody naukowe. Przedmiotem oceny ekspertów była zatem nie tyle sama monografia, ile prestiż nagrody. Pomimo ograniczenia liczby możliwych zgłoszeń, ta kategoria monografii niewątpliwie odegrała pewną rolę w ocenie JN, zwłaszcza na etapie wyłaniania jednostek kategorii A+.

Dyskutowane od lat zastosowanie do monografii – analogicznie jak w przypadku publikacji w czasopismach naukowych – tzw. dziedziczenia prestiżu nie było możliwe, ponieważ KEJN nie dysponował ani narzędziami, ani upoważnieniem do tworzenia wykazów wydawców. Jakkolwiek reakcje środowiska na obecne zmiany w tym zakresie pokazują, że także i to rozwiązanie budzi szereg zastrzeżeń, to jednak zniknie zjawisko tzw. „wydawnictw garażowych”. Niewątpliwie zmniejszy to zakres patologicznych praktyk, jakie w przypadku monografii mogliśmy obserwować, choć z pewnością ich nie wyeliminuje.

Clou ewaluacji, czyli publikacje

Z uwagi na ograniczony dopuszczalny udział monografii, o wynikach ewaluacji w obrębie kryterium pierwszego we wszystkich grupach nauk i typach jednostek naukowych decydowały głównie publikacje w czasopismach naukowych, skrótowo określane po prostu jako „publikacje” (Na początku dla KEJN-owskich humanistów niemałym zaskoczeniem była przyjęta na potrzeby ewaluacji terminologia, w której pojęcie „publikacja” nie obejmowało monografii. Czas robi jednak swoje – po latach ta drobna niekonsekwencja wydaje się już nikomu nie przeszkadzać). W grupie nauk ścisłych i inżynierskich oraz grupie nauk o życiu odegrały one szczególnie istotną rolę, przyczyniając się do znacznego zróżnicowania wyników JN.

Należy przypomnieć, że KEJN decydował jedynie o punktacji przyznawanej monografiom i publikacjom spoza wykazów ministra, natomiast nie miał wpływu na wartości punktowe publikacji w czasopismach z wykazu, te ustalał zespół specjalistyczny do oceny czasopism naukowych na potrzeby przyszłej oceny parametrycznej i sporządzenia wykazu wybranych czasopism naukowych. Część środowiska nie była tego świadoma i niesłusznie przypisywała komitetowi odpowiedzialność za wykazy czasopism.

W ewaluacji 2013 podstawą oceny publikacji był wykaz ministra, złożony z części A, B i C. Część A wykazu objęła publikacje w czasopismach naukowych mających współczynnik wpływu impact factor (IF), znajdujących się w bazie Journal Citation Reports (JCR). Lista ta, z uwagi na swój zakres, odegrała pierwszoplanową rolę w ewaluacji jednostek z grupy nauk ścisłych i inżynierskich oraz grupy nauk o życiu. Ponadto w tej grupie jednostek znaczenie miały publikacje w recenzowanych materiałach z konferencji międzynarodowych uwzględnionych w bazie Web of Science (WOS). W części B wykazu znalazły się czasopisma naukowe nieposiadające IF, przede wszystkim (choć nie wyłącznie) krajowe, reprezentujące wszystkie obszary nauki. Część C, uwzględniająca czasopisma z listy ERIH (European Reference Index for the Humanities), głównie z obszaru nauk humanistycznych, w mniejszym zakresie także społecznych, znalazła zastosowanie w tych właśnie grupach nauk, a także w grupie twórczości artystycznej. Odrębną kategorię stanowiły recenzowane publikacje naukowe w języku innym niż polski, o objętości co najmniej pół arkusza wydawniczego, zamieszczone w zagranicznym czasopiśmie naukowym nieuwzględnionym w wykazie czasopism naukowych. Były one punktowane tak jak rozdziały w monografiach. W ewaluacji 2017 nastąpiły znaczne zmiany: wykaz czasopism objął znacznie większą ich liczbę, a górna granica punktacji została podwyższona.

Kwestią szczególnie burzliwie dyskutowaną był sposób dzielenia punktów za publikacje wieloautorskie. Na potrzeby ewaluacji 2013 przyjęto uproszczony sposób dotyczący tylko publikacji z ponad 10 współautorami. Wobec głosów wskazujących, że taki sposób dzielenia punktacji powoduje jej „namnożenie” (jeden artykuł znacząco zasilał wynik wielu jednostek), KEJN zaproponował nowe rozwiązanie uwzględniające nie tylko procentowy udział autorów, lecz także pozycję naukową czasopisma. Nie uzyskało ono akceptacji ministerstwa i ostatecznie w ewaluacji 2017 zachowano poprzednie regulacje.

Wyniki ewaluacji 2017 pokazały znaczny wzrost liczby publikacji polskich badaczy w czasopismach z części A wykazu. Część B wykazu rozrosła się niepomiernie, a jej struktura uwidoczniła przepaść między wiodącymi, najwyżej punktowanymi tytułami a periodykami z dolnej części listy, często mającymi zasięg bardzo lokalny. Nie ulega wątpliwości, że obie edycje oceny parametrycznej wywarły swoistą presję na publikowanie prac naukowych w czasopismach o jak najwyższej punktacji. W środowisku nauk ścisłych i inżynierskich oraz nauk o życiu oznaczało to publikacje o wysokim IF, uważanym (nie zawsze zgodnie z rzeczywistością) za wyznacznik jakości naukowej. W środowisku nauk humanistycznych i społecznych, częściowo także w obszarach sztuki, uwidoczniła się tendencja do publikowania w najbardziej prestiżowych czasopismach krajowych, a także czasopismach międzynarodowych z listy ERIH. Nastąpił też swoisty szturm polskich czasopism na bazę ERIH Plus, trwający zresztą do chwili obecnej.

Wielkość (JN) ma znaczenie, czyli kryterium II

Istotą kryterium drugiego (potencjał naukowy) było określenie zakresu i siły oddziaływania JN na życie naukowe. W ewaluacji 2013 ocena objęła m.in. takie parametry, jak posiadanie uprawnień do nadawania stopni naukowych lub stopni w zakresie sztuki, rozwój własnej kadry naukowej, posiadana baza laboratoryjna, status państwowego instytutu badawczego. Uwzględniano także osiągnięcia drobniejsze, m.in. prestiżowe funkcje pracowników jednostki w ważnych zagranicznych lub międzynarodowych organizacjach, towarzystwach i instytucjach naukowych. Sumarycznej punktacji uzyskanej przez JN w tym kryterium nie odnoszono do liczby pracowników zatrudnionych przy realizacji badań naukowych lub prac rozwojowych (N). Była to świadoma decyzja pozwalająca docenić duże JN, których wpływ na środowisko naukowe i zewnętrzne – z uwagi na skalę działania – jest potencjalnie większy. Gwoli ścisłości należy dodać, że małe jednostki miały nieco większe szanse uzyskania dobrego wyniku w kryterium pierwszym.

Uzgodnienie szczegółowych parametrów charakteryzujących potencjał naukowy i ich wartość punktową było wynikiem dyskusji w poszczególnych komisjach. Kryterium to zostało też opatrzone różnymi wagami dla poszczególnych grup nauk. Po analizie zarówno wyników samej oceny parametrycznej 2013, jak i ankiety przeprowadzonej następnie wśród jednostek naukowych, komitet za uzasadnione uznał usunięcie lub skorygowanie niektórych podkryteriów, a wyeksponowanie bądź wprowadzenie innych. I tak w ewaluacji 2017 zrezygnowano z punktowania mniej istotnych osiągnięć dotyczących udziału pracowników JN w funkcjonowaniu czasopism naukowych, wprowadzono natomiast ważny nowy element w ocenie rozwoju kadry – mobilność pracowników realizowaną w formie co najmniej trzymiesięcznych pobytów w ośrodkach zagranicznych lub krajowych. Propozycja modyfikacji zapisów i podwyższenia punktacji przeznaczona była dla laboratoriów posiadających potwierdzone kompetencje w zakresie akredytacji i notyfikacji.

Szczególnie podkreślić należy wprowadzoną w tym kryterium ewaluację aktywności JN w realizacji międzynarodowych i (najważniejszych) krajowych projektów obejmujących badania naukowe i prace rozwojowe. Elementem oceny była w tym przypadku zarówno ranga konkursu grantowego, jak i rola JN w realizacji grantu (ze szczególnym uprzywilejowaniem roli koordynatora) oraz wysokość pozyskanego finansowania. Ten rodzaj osiągnięć, pokazujący skuteczność JN w pozyskiwaniu środków z recenzowanych źródeł zewnętrznych, stał się jednym z głównych elementów systemowej oceny doskonałości w nauce.

Nauka w praktyce, czyli kryterium III

Zgodnie z zapisami kolejnych rozporządzeń w sprawie kryteriów i trybu przyznawania kategorii naukowej jednostkom naukowym, wśród czynników służących ocenie jakości działalności naukowej lub badawczo-rozwojowej (N+BR) jednostek naukowych znajduje się ocena efektów praktycznych, czyli wpływu zastosowania wyników tej działalności na funkcjonowanie szeroko rozumianej praktyki społecznej i gospodarczej.

W ocenie jednostek przeprowadzonej w roku 2013 w kryterium III (materialne efekty działalności naukowej) wszystkie jednostki naukowe – przy czym było to szczególnie ważne dla grupy nauk ścisłych i inżynierskich oraz grupy nauk o życiu – prezentowały uzyskane efekty finansowe wynikające z nakładów poniesionych na realizację działalności N-B+R (z wyłączeniem działalności statutowej) oraz umów z tytułu sprzedaży np. nowych technologii, materiałów, wyrobów, procedur, komercjalizacji wyników, przygotowania ekspertyz i opracowań, a także wdrożeń.

W kolejnej ewaluacji (2017) kryterium III otrzymało nową nazwę, odzwierciedlającą zmianę jego zakresu: ocena praktycznych efektów działalności naukowej. W ramach tego kryterium jednostki naukowe, obok poprzednio już docenionych wdrożeń i komercjalizacji, mogły zaprezentować tzw. aplikacje, czyli zastosowanie tych wyników działalności naukowej i artystycznej, które nie generują bezpośrednich wymiernych korzyści materialnych dla jednostki (ani naukowej, ani wdrażającej), ale mają istotne znaczenie społeczne. Aplikacje, potwierdzone przez korzystające z nich podmioty zewnętrzne, oceniane były na podstawie zasięgu oddziaływania (lokalny, krajowy lub międzynarodowy). To nowatorskie podejście miało na celu wyeksponowanie znaczenia zastosowania w praktyce społecznej i gospodarczej wyników działalności naukowej bądź artystycznej. Nastąpiło zatem wyraźne zaakcentowanie i docenienie zastosowań wyników badań, a nie tylko publikacji. Szczegóły analizy takiego podejścia zostały przedstawione w pracy Barbary Rymszy. Podkreślić należy, że to właśnie KEJN zaproponował wprowadzenie zasady, w myśl której obok publikacji należy docenić działalność wdrożeniową JN, rozumianą jako efekty wynikające z zastosowania w praktyce społecznej i gospodarczej wyników jej dorobku naukowego i artystycznego.

Kryterium III, pozwalające ocenić zarówno skalę, jak i innowacyjność wyników badań przekazywanych do praktyki społecznej i gospodarczej, odegrało różną rolę w ewaluacji JN w zależności od grupy nauk i typu jednostki. W 2017, z uwagi na wprowadzenie aplikacji, po raz pierwszy mogło znaleźć rzeczywiste, różnicujące zastosowanie także do ewaluacji jednostek z obszarów humanistyki, nauk społecznych i twórczości artystycznej.

Paradoks oceny eksperckiej, czyli kryterium IV

Jednym z ważniejszych elementów ewaluacji 2013 i 2017 był udział oceny eksperckiej. Został on wprowadzony w odpowiedzi na liczne apele środowiska wywołane zastrzeżeniami wobec procesu kwantyfikacji osiągnięć naukowych, która – zwłaszcza w środowiskach humanistycznych, choć nie tylko – budziła i nadal budzi znaczne emocje.

W okresie powoływania KEJN artykułowano potrzebę nadania większego znaczenia tym osiągnięciom naukowym, które w ocenie opartej na ilościowych wskaźnikach pozostają niedowartościowane czy wręcz niezauważalne. Myślano zwłaszcza o niezwykle rzadkich, ale bardzo prestiżowych osiągnięciach, takich jak monumentalne monografie czy wydawanie prestiżowych serii wydawniczych, honorowe wyróżnienia, aplikacje, patenty i wdrożenia o społecznie doniosłym znaczeniu, a także nagrody i medale za szczególne odkrycia naukowe. Pomnikowym przykładem była niemożność uwzględnienia w ankiecie ewaluacyjnej Nagrody Nobla czy Medalu Fieldsa. Słusznie dostrzeżono, że szczególnie wartościowe wyróżnienia są na tyle rzadkie i specyficzne dla poszczególnych dziedzin, że trudno je ująć w biurokratyczne ramy i nadać im punktową wartość, zwłaszcza w relacji do innych osiągnięć jednostek naukowych.

Członkowie KEJN od początku podzielali przekonanie o konieczności uwzględnienia komponentu jakościowego w ocenie jednostek naukowych i wprowadzenia kryterium, które uchwyciłoby wybitność poszczególnych osiągnięć jednostki naukowej, niezależnie od średniego poziomu uprawianej w niej nauki. W efekcie powstało kryterium IV, które w treści rozporządzeń widniało pod ogólnikową nazwą „Pozostałe efekty działalności naukowej i artystycznej jednostek”. Jakkolwiek z założenia miało ono dotyczyć najlepszych osiągnięć naukowych JN, to nieprecyzyjna nazwa, sugerująca, że należy wykazywać osiągnięcia niemieszczące się w poprzednich kryteriach, została zachowana także w kolejnej wersji rozporządzenia (2016), wprowadzając niepotrzebne konfuzje interpretacyjne.

W ewaluacji 2013 jednostki miały możliwość wprowadzenia do ankiety maksymalnie 10 wybitnych osiągnięć, których zakres opisu był ograniczony wyłącznie liczbą znaków. Pozwolono kierownikom jednostek z dużą dowolnością opisać osiągnięcia, z których byli szczególnie dumni. Różnorodność zgłoszonych „zdarzeń” była ogromna, odzwierciedlając poziom prowadzonych w jednostkach badań. Obok prestiżowych grantów, wybitnych monografii czy uczestnictwa w przełomowych dla nauki projektach badawczych znalazły się też „jubileusze dziekańskie” oraz „spotkania integracyjne” kadry naukowej. Ocenę prowadzili eksperci zasiadający w zespołach ewaluacji.

KEJN niewątpliwie zdołał wprowadzić do myślenia o instytucjonalnej ewaluacji zupełnie nowy element, ale – jak pokazała przeprowadzona w 2013 ankieta wśród kierowników JN – kryterium IV wzbudziło najwięcej kontrowersji. Okazało się, że tak silnie krytykowany parametryczny wymiar oceny jednostek naukowych jest bardziej intersubiektywny, a jego wyniki (choć będące niekiedy przedmiotem drwin) mniej kontrowersyjne ze względu na wymierny charakter niż ocena ekspercka. Tymczasem w odniesieniu do kryterium IV podnoszono zbyt dużą swobodę i dowolność, jaką dysponowali ewaluatorzy.

W odpowiedzi na środowiskowe głosy, a także postulaty członków KEJN, w 2017 rozwinięto i doprecyzowano reguły ewaluacji jednostek naukowych w obrębie kryterium IV. W gruncie rzeczy powstały dwa podkryteria, z których każde zawierało dwa szczegółowe parametry. W ten sposób ułatwiono kierownikom JN kwalifikację zgłaszanych osiągnięć, a jednocześnie znacząco ograniczono swobodę ekspertów, których rola w dużym stopniu polegała na przypisaniu każdemu osiągnięciu określonej wartości punktowej.

Ewolucja kryterium IV jak w soczewce pokazuje wszystkie napięcia i problemy związane z procesem ewaluacji jednostek naukowych w Polsce. Głośno artykułowanej potrzebie wprowadzenia peer review jako przeciwwagi dla ujmowania nauki w formie punktów towarzyszy, jak widać, głęboka nieufność wobec roli ekspertów. Są oni zatem jednocześnie pożądani i niechciani. Zjawisko to – określane mianem „paradoksu IV kryterium” – pokazuje, że prowadzenie oceny eksperckiej w warunkach dużej środowiskowej nieufności jest skrajnie trudne, a obecne deklaracje zapewnienia ekspertom odpowiedniej swobody w formułowaniu oceny jednostek wybitnych stoją w sprzeczności z nastawieniem znacznej części środowiska, która takich ocen wolałaby uniknąć.

Ach, ci artyści! Parametryczna ocena sztuki

W obszarze sztuki niezmiennie kwestionuje się sensowność stosowania ewaluacji parametrycznej w odniesieniu do działań z natury rzeczy odmiennych od opartych na przesłankach racjonalnych badań naukowych, tj. do twórczości artystycznej z jej specyfiką i bardzo zróżnicowanymi formami zaistnienia w obiegu publicznym. O ile w odniesieniu do nauki możliwe jest wyznaczenie parametrów wspólnych większości dyscyplin i obiektywnie „mierzalnych” (artykuły, monografie, patenty, wdrożenia itd.), o tyle każda z dziedzin sztuki posługuje się swoistym katalogiem „zdarzeń ewaluacyjnych”, w dodatku ciągle rozszerzanym. Ocena dzieł artystycznych według kryteriów ilościowych jest więc bardzo wątpliwa, a ocena jakościowa, estetyczna – ze zrozumiałych względów subiektywna.

W kolejnych rozporządzeniach, opierając się na doświadczeniach z kolejnych ewaluacji (2013 i 2017), KEJN wskazywał na potrzebę doprecyzowania kryteriów adekwatnych do różnych rodzajów osiągnięć artystycznych, np. przybliżonego czasu trwania dzieła z zakresu sztuk muzycznych, teatralnych i filmowych czy pojęć związanych z zaistnieniem w przestrzeni publicznej dzieł plastycznych, analogicznie do wskazywania minimum objętościowego niektórych typów publikacji naukowych.

Generalnie większość nieporozumień w kwestii ewaluacji wiąże się z błędnym domniemaniem, że eksperci oceniają wartość artystyczną dzieła, podczas gdy w rzeczywistości jedynie kwalifikują jego formę do odpowiedniej kategorii punktowej.

W sztukach filmowych w ostatniej parametryzacji niefortunne było wprowadzenie jednolitego kryterium metrażu w odniesieniu do wszystkich form twórczości; członkowie KEJN bezskutecznie zabiegali o korektę tego zapisu z uwagi na to, że film animowany realizowany jest w inny sposób niż film aktorski. Najnowsze rozporządzenie o ewaluacji wylewa dziecko z kąpielą, likwidując metraż jako kryterium (skutkiem czego w ten sam sposób punktowane będą pięciominutowe etiudy i dwugodzinne monumentalne freski), a do tego przywracając punktowanie seriali. Kontrowersje budziła i będzie zapewne budzić kwestia scenariusza: z jednej strony jest to literacki projekt dzieła filmowego, będący (także w rozumieniu ustawy o prawach autorskich) samodzielnym dziełem, z drugiej zaś szuflady twórców i producentów filmowych pełne są niezrealizowanych scenariuszy, które (z nielicznymi wyjątkami) nie są upubliczniane przed powstaniem filmu. W przypadku sztuk plastycznych wprowadzono, także budzące szereg zastrzeżeń, rozróżnienie dzieł (i punktacji) ze względu na miejsce ich upowszechniania w przestrzeni publicznej lub w obiegu galeryjnym oraz sieci Internetu i środowisku elektronicznym.

Ponieważ wiele artystycznych środowisk akademickich podziela przekonanie o konieczności uznawania specyfiki sztuki za najważniejsze kryterium w ocenie działalności jednostek artystycznych, kluczowa w ostatniej ewaluacji okazała się ocena ekspercka, która w przypadku tej specyficznej materii wydaje się być bardziej adekwatna niż liczbowe parametry i - jak się zdaje - nie wypaczyła wyników końcowych.

Wyniki ewaluacji 2017 w obszarze jednostek artystycznych wskazują na wzrost w stosunku do roku 2013 liczby jednostek najwyższych kategorii (A+ i A), co świadczy o lepszym przygotowaniu JN do wypełniania ankiety i znajomości rozporządzenia. Wyniki tej ostatniej ewaluacji były zbieżne ze środowiskową opinią na temat prestiżu poszczególnych uczelni i wydziałów oraz obiegowego rankingu jednostek, co można uznać za – przynajmniej częściowe - potwierdzenie trafności zapisów zawartych w rozporządzeniach z 2015 i 2016 r.

Nadal jednak na wynikach ewaluacji niektórych jednostek zaważyły ich własne błędy w kwalifikowaniu danych w ankiecie, wynikające z niedostatecznej analizy rozporządzenia lub chęci kreowania wyniku ilościowego. Wśród zdarzeń szczególnie często odrzucanych przez zespoły ewaluacji znalazło się zgłaszanie artystycznych działań edukacyjnych jako aplikacji, traktowanie udziału w jury konkursu jako udziału w zespołach eksperckich, opublikowanie utworu muzycznego jako równoznaczne wydaniu monografii itp. W imię źle pojmowanego „wyższego celu” zdarzało się manewrowanie danymi (szczególnie liczbą N), przypisywanie zdarzeń niższej rangi do wyżej punktowanych katalogów ankiety, nadużywanie określenia „cykl prac” itp., co trudno interpretować jako niezamierzone błędy zapisu lub przypadkowe pomyłki.

Komisja do spraw Grupy Nauk o Sztuce i Twórczości Artystycznej z najwyższym uznaniem odnosiła się do pracy zespołów ewaluacyjnych, w których zasiadali specjaliści najwyższej klasy w swoich dziedzinach, wykonujący swoje zadania z pełnym poświęceniem, mimo ekstremalnie trudnych warunków (opóźnienie procesu ewaluacji spowodowane wadliwością systemu SEDN, niejednoznaczność zapisów w katalogach osiągnięć). Pozostaje mieć nadzieję, że Komisja Ewaluacji Nauki wyciągnie z minionej parametryzacji pożyteczne wnioski, choć realia tzw. Ustawy 2.0 w wielu aspektach spowodują w wyższym szkolnictwie artystycznym rewolucyjne zmiany, których skuteczność będzie można ocenić dopiero po fakcie.

Garść refleksji na pożegnanie…

KEJN – co oczywiste i zrozumiałe – nigdy nie miał pełnej swobody działania. Ocena parametryczna obwarowana była szeregiem warunków prawnych, które pośrednio lub bezpośrednio wpływały na jej charakter. Do najważniejszych zaliczyć należy konieczność stworzenia praktycznie jednolitego systemu oceny dla wszystkich JN, jako podstawy do podziału finansowania ze wspólnej puli budżetowej. W ramach uczelni musieliśmy oceniać całe wydziały, często będące zlepkiem dyscyplin, a nawet dziedzin. Niekiedy konieczne było uproszczenie bądź odstąpienie od oceny osiągnięć trudnych lub niemożliwych do ewaluacji, względnie specyficznych tylko dla małych dyscyplin.

Tak więc wiele uwag i zastrzeżeń do ewaluacji, często słusznych, nie wynikało z niedostrzeżenia lub niedocenienia pewnych kwestii przez KEJN, tylko z konieczności dostosowania się do sytuacji prawnej. Komitet widział te problemy i podejmował nie zawsze skuteczne próby ich rozwiązania. Można tu wymienić nasze starania w celu uniknięcia tworzenia GWO z pojedynczymi jednostkami czy trudności ze stosowaniem list czasopism.

Jedno musimy z całą mocą sprostować. W dyskusjach o ewaluacjach 2013 i 2017 często pojawiało się, niekiedy także ze strony przedstawicieli ministerstwa, wielce krzywdzące KEJN sformułowanie zarzucające nam krzewienie „punktozy”, rozumianej jako rzekoma zachęta do „ciułania” punktów za wiele drobnych osiągnięć w celu dorównania wysoko punktowanym publikacjom („dziesięć rozdziałów po 5 pkt jest warte tyle, co artykuł w Nature ”). Ten absurdalny zarzut wynika z zupełnego niezrozumienia istoty ewaluacji, w której w kryterium publikacyjnym liczyła się nie SUMA, tylko ŚREDNIA liczba punktów. A przecież średnia z dziesięciu rozdziałów po 5 pkt to nadal tylko 5 pkt, a za artykuł w „Nature” – 50. W rzeczywistości wszystkich umiejących czytać ze zrozumieniem wprowadzony przez nas system oceny bardzo do „ciułania” punktów zniechęcał.

Jednostki niezadowolone z uzyskanej kategorii uważały, że ewaluacja powinna się bardziej opierać na ocenie eksperckiej niż parametrycznej, natomiast w odwołaniach i dyskusjach środowisko najbardziej krytykowało właśnie ocenę ekspercką. Po doświadczeniach z obu parametryzacji KEJN jest zdania, że przy tak wielkiej skali ewaluacji ocena powinna mieć charakter parametryczny, natomiast udział ekspertów byłby właściwy i celowy na etapie opracowania zasad i przy weryfikacji dorobku przedłożonego przez JN do oceny.

Niezaprzeczalnym efektem wprowadzenia szerokiej ewaluacji było wyraźne zwiększenie aktywności naukowej JN i poszczególnych naukowców nie tylko w zakresie publikacyjnym, ale także w kierunku pozyskiwania środków na prace badawcze i rozwojowe. Wzrosła także świadomość znaczenia zastosowań wyników badań w obszarze gospodarczym i społecznym, o czym dobitnie świadczą wyniki ewaluacji 2017.

Komitet Ewaluacji Jednostek Naukowych od początku starał się zachować dobrą komunikację ze środowiskiem, m.in. poprzez częstą obecność przewodniczącego i innych członków KEJN na spotkaniach i konferencjach w całym kraju. Nasze wyobrażenia i przekonania co do racji istnienia komitetu wyłożyliśmy w publikacji Po co komu KEJN? , która ukazała się po roku naszej działalności i na rok przed pierwszą przez nas przygotowaną i przeprowadzoną ewaluacją. W kolejnych publikacjach na łamach „Forum Akademickiego” podejmowaliśmy różne zagadnienia związane z kolejnymi ewaluacjami, aby wyjaśniać zarówno to, co ma nastąpić (zasady oceny), jak i to, co nastąpiło (wyniki).

Dziś, w dziewiątym i ostatnim roku istnienia tego ciała, po doświadczeniach w przygotowaniu dwóch rozporządzeń i przeprowadzeniu dwu ocen parametrycznych, jesteśmy przekonani, że misja KEJN została wypełniona najlepiej, jak to było możliwe, wziąwszy pod uwagę wszystkie jej uwarunkowania i ograniczenia. Wykonywaliśmy nasze zadania z pełnym zaangażowaniem i determinacją ludzi, którzy sami są częścią środowiska naukowego, a więc nie stawiają się wobec ewaluowanych jednostek po drugiej stronie, tylko dążą do rozwiązań obiektywnych i sprawiedliwych dla wszystkich. Czy była to mission impossible ?

Przypisy bibliograficzne

Rymsza B., Ocena potencjału innowacji społecznych jako element kategoryzacji jednostek naukowych , w: Innowacje społeczne. Pomiar potencjału nakładów i efektów , Monografie IBRKK, Warszawa 2017, s. 21-30.

Korytkowski, P., Kulczycki, E. Examining how country-level science policy shapes publication patterns: the case of Poland , „Scientometrics”, 2018.

Dahlig-Turek, E. (et al.), Po co komu KEJN , FA 5/2012.

Skoczeń B. (et al.), Kategoryzacja jednostek naukowych po kampanii odwołań , FA 7-8/2014.

Zabel M. (et al.), Punktoza, czyli wskaźniki bibliometryczne stosowane przez KEJN w ocenie parametrycznej jednostek naukowych , FA 9/2014.

Zabel M., Ocena parametryczna 2017 , FA 12/2015.

Antonowicz D. (et al.), Ewolucja czy rewolucja? , FA 4/2016.

Skoczeń B. (et al.), Kategoryzacja jednostek naukowych 2017 , FA 2/2018 .