Trudno w to uwierzyć, że ewaluacja rozpoczęta w 2017 roku trwa do dzisiaj, z uwagi na wciąż niezakończony proces rozpatrywania odwołań bądź dokonywania ponownej oceny jednostek. W chwili oddawania niniejszego artykułu do druku dziewięć jednostek nie otrzymało jeszcze ostatecznej decyzji o przyznanej kategorii.

Tuż po zakończeniu zasadniczej oceny, w terminie 30 dni przewidzianym w art. 47 ust. 2 ustawy o zasadach finansowania nauki z 2010 r., zaczęły napływać odwołania składane przez jednostki naukowe, które miały zastrzeżenia do decyzji o niezaakceptowaniu konkretnych osiągnięć (tzw. zdarzeń ewaluacyjnych). Po rozpatrzeniu odwołań niektóre jednostki, nie godząc się z powtórną niekorzystną oceną, wystąpiły na drogę sądową zakończoną wyrokiem nakazującym ponowną ewaluację. Część jednostek przeprowadziła przekształcenia i ponownie przesłała do MNiSW ankietę (w terminie 60 dni od procesu przekształcenia). Niektóre jednostki z kategorią C przeprowadziły działania naprawcze, po czym ponownie złożyły ankietę (w terminie 12 miesięcy po uzyskaniu kategorii C).

W celu ułatwienia jednostkom odniesienia się w procesie odwoławczym do poszczególnych zdarzeń ewaluacyjnych uruchomiono w systemie teleinformatycznym specjalny moduł umożliwiający podgląd karty oceny, zapoznanie się z decyzjami ekspertów i uzasadnieniami odrzuconych zdarzeń. Ku zaskoczeniu ewaluatorów i członków KEJN część jednostek wprowadziła do odwołań nowe osiągnięcia, niezgłoszone w ankiecie jednostki, powołując się w uzasadnieniu na art. 145 kodeksu postępowania administracyjnego.

Do oceny poszczególnych przypadków powołane zostały – na wzór zespołów ewaluacji (Skoczeń i in., FA 2/2018) – zespoły odwoławcze złożone z części ewaluatorów biorących udział w pierwotnej ocenie. Trzymano się przy tym zasady, by żaden członek zespołu nie oceniał ponownie osiągnięć danej jednostki w tym samym kryterium. Podobnie jak w parametryzacji z roku 2013 (rozciągniętej przez procedury odwoławcze na rok 2014), skutkiem odwołania nie mogło być obniżenie kategorii. Ewentualne podwyższenie kategorii nie wpływało na kategorie innych jednostek z tej samej grupy wspólnej oceny (GWO), ponieważ poziomy jednostek referencyjnych (JRA, JRB) pozostawały niezmienione.

Rodzaje odwołań i wyniki ogólne

Dla usprawnienia procesu rozpatrywania odwołań wyodrębniono w nich kilka elementów składowych, takich jak: odwołania od liczby N i N0, odwołania od zdarzeń ewaluacyjnych, od oceny w kryterium IV, odwołania od innych aspektów oceny oraz tzw. odwołania papierowe. Te ostatnie często były pismami przewodnimi albo zawierały podsumowanie pozostałych odwołań jednostki złożonych w systemie teleinformatycznym. W grupie odwołań „innych” i „papierowych” znalazły się m.in. odwołania od nieprzyznania kategorii A+ oraz zastrzeżenia natury ogólnej. Zdarzały się sugestie, aby z różnych względów (np. w przypadku małej jednostki) zmienić zasady oceniania jednostki, co oczywiście nie mogło nastąpić z uwagi na wiążące zapisy rozporządzenia MNiSW. Z grupy odwołań „innych” i „papierowych” wyodrębniono te, które dotyczyły osiągnięć nieuwzględnionych w karcie oceny jednostki (tzw. nowe zdarzenia).

Jednostki odwoływały się najczęściej od decyzji o odrzuceniu konkretnego zdarzenia ewaluacyjnego lub obniżeniu przyznanej mu punktacji. Łącznie zanotowano 19 885 takich przypadków, co biorąc pod uwagę całkowitą liczbę 1026.242 ocenianych zdarzeń oznacza, że zakwestionowano jedynie 1,9% wszystkich decyzji ewaluacyjnych. W kategoryzacji 2013 r. frakcja takich odwołań była trzykrotnie mniejsza, co może wskazywać na pewną trudność, jaką miały jednostki w wypełnianiu ankiety osiągnięć w ostatniej ewaluacji, ale też na większą determinację w dążeniu do poprawy kategorii. Odwołania tego rodzaju okazały się bardzo skuteczne, albowiem odsetek zaakceptowanych (OZ) zdarzeń wyniósł aż 80%. Znakomita większość tych odwołań zamykała się w liczbie kilkunastu na jednostkę, jednak rekordzistami okazały się dwa instytuty badawcze z dziedziny nauk technicznych, które zgłosiły odpowiednio ponad 6.400 oraz 1600 odwołań. W odrzuconych zdarzeniach ewaluacyjnych tych jednostek eksperci zakwestionowali m.in. środki finansowe uzyskane z tytułu ekspertyz i opracowań naukowych, ze względu na nieudokumentowany naukowo-badawczy charakter osiągnięć, wskazali na nieprawidłowe przypisania osiągnięć do danego typu komercjalizacji badań, ujawnili braki formalne w kartach aplikacji. W wyniku procesu odwoławczego, po uzupełnieniu dokumentów i złożeniu wyjaśnień, większość osiągnięć została zaakceptowana, co poskutkowało zmianą kategorii obu jednostek.

Zgłoszenia nowych zdarzeń były następnymi co do liczebności elementami odwołań (3792), z których zaakceptowano 67%. Od decyzji związanych z wyznaczeniem liczby pracowników N i N0 odwołano się 1103 razy (OZ = 59%), a od oceny w kryterium IV odwołano się 233 razy (OZ = 48%). Warto zauważyć, iż w odwołaniach od kryterium IV znalazły się postulaty dotyczące zmiany przyporządkowania osiągnięć jednostki do dwóch zakresów tematycznych wyróżnionych w tym kryterium oraz postulaty wprowadzenia nowych osiągnięć podmiotu, o których jednostka „zapomniała” w czasie składania pierwotnej ankiety.

W wielu przypadkach uzyskana w wyniku odwołania dodatkowa punktacja, choć skutkowała lepszymi ocenami w poszczególnych czterech kryteriach, nie wystarczyła do pokonania jednostki referencyjnej i podniesienia kategorii. Patrząc na ten proces globalnie (Tabela 1, Rys. 1), na 999 jednostek odwołało się 390 (39%), natomiast kategorię zmieniły 122 jednostki, zatem współczynnik sukcesu (WS) w odwołaniach wyniósł 122/390 = 31%. Oznacza to również, że w stosunku do wszystkich jednostek awans odnotowało 122/999 = 12% jednostek. Czy jest to dużo czy mało? Wyniki te możemy odnieść do kategoryzacji 2013 r. (zob. Skoczeń i in., FA 7-8/2014). Od decyzji o przyznanej kategorii odwołało się wówczas znacznie mniej jednostek (29%), kategorię zmieniło tylko 5,2%, a WS był prawie dwukrotnie niższy niż obecnie (18%), co mogło być m.in. skutkiem niedopuszczenia wówczas w odwołaniach nowych zdarzeń.

Ocena jednostek naukowych w ewaluacji 2017 znacząco się poprawiła w wyniku rozpatrzenia odwołań: 16 jednostek awansowało z kategorii A do A+, 69 z kategorii B do A, jedna jednostka z C do A, a 36 jednostek z C do B. Porównując wyniki kategoryzacji z 2013 roku do obecnej, zauważamy także (Rys. 2):

wzrost udziału jednostek naukowych kategorii A+, z 3,8% do 6,3%,

wzrost udziału jednostek naukowych kategorii A, z 32% do 39%,

zmniejszenie udziału jednostek kategorii B, z 56% do 44%,

wzrost udziału jednostek kategorii C, z 8% do 11%.

W porównaniu z poprzednią ewaluacją i kategoryzacją zwiększyła się zatem polaryzacja ocen: 9% jednostek przeszło z niższych kategorii do A i A+. Jednocześnie nastąpił wzrost liczby jednostek najsłabszych (kat. C), co przypuszczalnie wynika z zaostrzenia kryteriów i standardów oceny jakości i poziomu badań. Zauważmy ponadto, że aż 83% jednostek uzyskało kategorię A lub B, co uzasadnia wprowadzenie dodatkowej kategorii (B+) w ewaluacji w 2021 roku, aby lepiej zróżnicować poziom naukowy dyscyplin prowadzonych w podmiotach naukowych.

Ponieważ liczba i skuteczność odwołań znacznie różniła się w poszczególnych grupach nauk i typach jednostek, bardziej szczegółowe wyniki procedury odwoławczej przedstawiamy z podziałem na grupy nauk.

Nauki humanistyczne i społeczne (HS)

W ewaluacji 2017 ocenie poddało się 286 jednostek, z których od decyzji o przyznaniu kategorii odwołało się 36%, a sukcesem zmiany kategorii cieszyło się 24% z nich. W ewaluacji 2013 odwołania złożyło jedynie 20% jednostek HS, z których 15% zdołało polepszyć kategorię. Oznacza to, że jakkolwiek w jednostkach naukowych wzrosła świadomość znaczenia skutków ewaluacji oraz znajomość przepisów, co skutkowało większą skalą odwołań w 2017 r., to decyzje ewaluacyjne były w znakomitej większości właściwe, wobec czego odwołania często okazywały się bezzasadne. W stosunku do wszystkich jednostek HS, które przystąpiły do ewaluacji, kategorię zmieniło 8,4% – proporcjonalnie najmniej spośród wszystkich grup nauk, z niejednorodnymi jednostkami naukowymi (NJN) włącznie (Rys. 1).

Pod względem typu jednostek odwołujących się przodowały instytuty PAN, z których aż 54% złożyło odwołania (Tabela 1). Odnotowały one najwyższy współczynnik sukcesu nie tylko w HS, ale i w pozostałych grupach nauk – 57%. Jednostek uczelnianych odwołało się znacznie mniej (35%) i tylko 21% z nich mogło odnotować awans do wyższej kategorii. W różnych profilach nauk (GWO) ujawniły się również znaczące różnice. Najwięcej odwołań złożono w grupie nauk historycznych (57%), następnie w naukach ekonomicznych (42%) i naukach prawnych (38%). Grupa nauk historycznych przodowała w skuteczności odwołań (WS = 30%). Natomiast na drugim biegunie znalazły się jednostki z grupy nauk prawnych, z których tylko 3% poprawiło swoją kategorię.

Przedmiotem największej liczby odwołań w naukach HS były zdarzenia oceniane w kryterium I. Niestaranność przy sporządzaniu ankiety, brak kompletu danych pozyskanych od pracowników we właściwym terminie czy też zgłaszanie dorobku niespełniającego kryteriów rozporządzenia skutkowały obniżonym wynikiem, a często także kuriozalnie wysoką liczbą N0 (w skrajnym przypadku przekraczającą 33% wszystkich zatrudnionych w jednostce pracowników naukowych). W składanych odwołaniach jednostki protestowały przeciw odrzuceniu przez ewaluatorów poszczególnych pozycji lub przyznaniu im zbyt niskiej punktacji. Zgłaszały też nowe publikacje. Jak się okazało, niekiedy dopiero szokująco zły wynik ewaluacyjny mobilizował kierowników do rzetelnego przygotowania danych.

Aż 68% jednostek kwestionowało w swoich odwołaniach decyzje o punktacji w kryterium IV. Można przypuszczać, że stało za tym przekonanie, iż ocenę uznaniową – nawet tak sparametryzowaną, jak w ewaluacji 2017 – łatwiej zakwestionować niż np. odrzucenie konkretnych publikacji.

Nauki o sztuce i twórczości artystycznej (TA)

W stosunku do ewaluacji 2013 wyniki edycji 2017 w obszarze TA wskazują przede wszystkim na wzrost liczby jednostek zakwalifikowanych do kategorii A+ i A: w 2013 r. w kategorii A+ znalazły się tylko dwie jednostki (1,9% wszystkich), natomiast w 2017 sześć (6%); w 2013 kategorię A uzyskało 20% jednostek, w 2017 – 37% (Rys. 2). Może to świadczyć o rosnącym poziomie naukowym jednostek, ale także o tym, że były one lepiej przygotowane do wypełniania ankiety i skuteczniej potrafiły interpretować zapisy rozporządzenia.

W kampanii odwołań obszar TA był najskuteczniejszy spośród wszystkich grup nauk (WS = 49%). W wyniku odwołań z kategorii A awansowały do A+ dwie jednostki, z B do A – 11 jednostek, natomiast z C do B – 6. Najwięcej jednostek (16) odwołało się w GWO TAPK (sztuki piękne), ale współczynnik sukcesu był akurat w tym obszarze najniższy (38%). Największą skuteczność odnotowały za to sztuki projektowe TAPR (83%) i to one najbardziej poprawiły swój wynik, osiągając udział jednostek z kategorią A+ i A na wysokim poziomie 62%.

Liczba wszystkich elementów składowych odwołań w jednostkach TA wyniosła 1660. Jednostki zakwestionowały odrzucenie 791 zdarzeń ewaluacyjnych, z czego 47% w toku analizy odwołań ostatecznie uwzględniono. Od liczby N i N0 było 59 odwołań (OZ wyniósł 54%), a tylko śladowa liczba odwołań dotyczyła kryterium IV – 25 (OZ = 52%). Nowością było dodanie do odwołań nowych zdarzeń ewaluacyjnych, nieuwzględnionych w pierwotnie złożonej ankiecie jednostki – były to 603 zdarzenia (OZ = 6,6%). Warto tu zauważyć szczególną aktywność jednostek GWO TAPK, które zgłosiły w ramach odwołań niemal 75% wszystkich nowych zdarzeń w obszarze TA, przy jednoczesnym najniższym odsetku zaakceptowanych – 3,6%.

Wśród najczęściej powtarzających się odwołań w kryterium IV, które nie mogły zostać uwzględnione z racji błędnej interpretacji zapisów rozporządzenia, znalazło się np. zgłaszanie działań popularyzatorskich o lokalnym zasięgu, bez szerszego oddziaływania społecznego. Wskazywano także działania organizacyjne o charakterze edukacyjnym (warsztaty itp.) jako przedsięwzięcia artystyczne czy też prowadzenie studiów doktoranckich w języku angielskim jako efekt działalności artystycznej o zasięgu międzynarodowym. Jak się okazało, wielu problemów przysparzało jednostkom interpretowanie niektórych zapisów rozporządzenia, dotyczyło to np. pojęcia „prezentacji [dzieła] w przestrzeni publicznej”. Błędne przyporządkowanie zdarzenia ewaluacyjnego skutkowało jego odrzuceniem, a w rezultacie – obniżeniem wyniku punktowego.

Nauki o życiu (NŻ)

W grupie NŻ od decyzji odwołało się 89 jednostek (40%). Wiele z nich, bo aż 34 (15%), poprawiło swoją kategorię. Z całkowitej liczby elementów składowych odwołań (5252) aż 79% zostało zaakceptowane. Największa liczba odwołań dotyczyła konkretnych zdarzeń ewaluacyjnych, których zakwestionowano aż 3719, z czego 86% zostało zaakceptowane. Jednostki zgłosiły ponadto 766 nowych zdarzeń, których nie podały w ankiecie, a zaakceptowane zostało 77%. Wpływ odwołań na ostateczne kategorie jednostek był różny. Największa liczba odwołań pojedynczej jednostki z grupy NŻ wyniosła 356, przy czym wszystkie zostały uznane i jednostka awansowała z kategorii B do A. Druga pod względem liczby odwołań jednostka przedstawiła ich niemal tyle samo (348), ale pomimo uznania 344 za zasadne, pozostała w kategorii C.

W wyniku odwołań wzrosła o pięć liczba jednostek w kategorii A+ (cztery jednostki uczelniane i jeden instytut PAN). Z kategorii B do A awansowało 20 jednostek (16 uczelnianych, jeden instytut PAN oraz 3 instytuty badawcze), a z kategorii C do B – 9 (8 jednostek uczelnianych i 1 instytut badawczy). Łącznie zatem 34 jednostki otrzymały ostatecznie wyższą kategorię. Po odwołaniach ponad 8% jednostek z grupy NŻ otrzymało kategorię A+, a 47% kategorię A. W obydwu przypadkach jest to najlepszy wynik spośród wszystkich grup nauk.

Nauki o życiu równie znakomicie wypadły w innych statystykach. Przykładowo aż 89% jednostek z grupy NF1 (nauki farmaceutyczne) uzyskało kategorię A lub A+, co stanowi najwyższy odsetek ze wszystkich grup nauk. Nauki biologiczne mogą z kolei cieszyć się największą liczbą jednostek z kategorią A+ (6). Nauki medyczne, z liczbą 44 jednostek w kategoriach A i A+, lokują są na czele wszystkich grup nauk, przodowały też pod względem liczby wszystkich zmian kategorii (10 jednostek) oraz zmian kategorii z B na A (8 jednostek). W zakresie awansów z kategorii z C do B, na czele są nauki rolnicze (4 jednostki), ex aequo z naukami społecznymi z grupy HS.

Nauki ścisłe i inżynierskie (SI)

W grupie nauk SI od decyzji o kategorii odwołała się rekordowa liczba 117 jednostek, tj. ponad 41%. Odwołania były skuteczne w 30%, co zaowocowało podniesieniem kategorii 35 jednostek, głównie uczelnianych (24) i instytutów badawczych (9). Liczba jednostek A+ wzrosła z 14 do 20, dając największą bezwzględną liczbę jednostek wiodących spośród wszystkich grup nauk. W skład tej grupy wchodzi 16 jednostek uczelni oraz 4 jednostki PAN. Bardzo dobrze wypadły nauki chemiczne i technologia chemiczna, w których odsetek jednostek z kategorią A+ lub A wyniósł 74%. Natomiast największym odsetkiem skutecznych odwołań (63%) może poszczycić się GWO górnictwo i energetyka.

Całkowita liczba odwołań od poszczególnych elementów oceny wyniosła 13 787, z czego aż 84% zostało zaakceptowanych. Największa liczba odwołań dotyczyła zdarzeń ewaluacyjnych (12 161), z których zaakceptowano aż 87%. Zgłoszono również 566 nowych osiągnięć ewaluacyjnych (OZ 61%). Były także 233 odwołania od liczby N i N0, uwzględnione w 58% przypadków.

Część jednostek miała trudność w prawidłowej klasyfikacji przedstawianych osiągnięć lub (niepotrzebnie) przedstawiała niemal wszystkie rezultaty swojej działalności, także te nieuwzględniane w parametrach oceny. Podobnie jak w innych obszarach nauk, często spotykanym mankamentem była niestaranność przy sporządzaniu ankiety lub zgłaszanie zdarzeń niespełniających zasad rozporządzenia, co niekiedy przekładało się na wadliwe wyniki oceny parametrycznej, a tym samym konieczność składania przez jednostkę odwołania.

Niejednorodne jednostki naukowe (NJN)

Ta grupa jednostek w porównaniu z innymi wypadła nieco słabiej w pierwszej ocenie, mając statystycznie najmniejszy udział jednostek kategorii A+ i A (26%), a jednocześnie największy odsetek jednostek kategorii C (28%). Po odwołaniach złożonych przez 43 jednostki, tylko 10 z nich zmieniło kategorię, co poprawiło nieco wyniki grupy. Odpowiedni odsetek dla jednostek kategorii A+ i A wzrósł do 30%, a dla kategorii C spadł do 24%, jednak w porównaniu z jednostkami z jednorodnych GWO pozycja NJN się nie zmieniła (Rys. 2). Trzeba jednak przyznać, że poziom naukowy niejednorodnych JN też okazał się niejednorodny: w grupie wyróżniają się np. wszystkie instytuty PAN (4 jednostki), które uzyskały wyłącznie najwyższe kategorie, A+ lub A.

Jednostki niejednorodne miały najmniejszy współczynnik sukcesu w odwołaniach (23%), na co głównie wpłynął wynik odwołań najliczniej składanych przez jednostki uczelniane (WS = 21%). Część jednostek miała spore kłopoty z prawidłowym raportowaniem osiągnięć publikacyjnych w odpowiednich obszarach nauk. Pojawiały się też braki stosownych dokumentów poświadczających osiągnięcia naukowe, co najczęściej jednostki tłumaczyły błędami technicznymi przy załączaniu plików.

Podsumowanie

Przyglądając się procesowi odwołań jednostek, należy mieć na względzie to, że w algorytmie przyznawania środków na działalność statutową (obecnie subwencja) istnieje ścisłe powiązanie wysokości finansowania z kategorią naukową. Fakt ten mógł znacząco wpłynąć na wzrost świadomości znaczenia ewaluacji. Dodatkowo założenia Ustawy 2.0 przewidywały – co ustawa ostatecznie potwierdziła – ścisły związek pomiędzy kategorią naukową a wieloma przywilejami, jak np. status uczelni badawczej czy możliwość tworzenia szkół doktorskich. Kierownicy jednostek naukowych, świadomi nie tylko prestiżu, ale i praktycznego przełożenia kategorii naukowej na warunki funkcjonowania jednostki, z tym większą determinacją przystąpili do składania odwołań.

Jeżeli spojrzymy na skalę odwołań w liczbach bezwzględnych, to wydaje się, że było ich bardzo wiele, jednak na tle wszystkich zdarzeń ewaluacyjnych zgłoszonych w ankietach rysuje się inny, znacznie mniej krytyczny obraz. Do tego zdecydowana większość zgłoszonych odwołań była faktycznie uzupełnieniem lub udokumentowaniem niewłaściwie zgłoszonego zdarzenia, co znalazło odbicie w stosunkowo wysokim odsetku zaakceptowanych zdarzeń. Zauważmy, że część odwołań wnosiły jednostki, które już a priori powinny wiedzieć, że ich odwołanie nie może być skuteczne co do zmiany kategorii, nawet po zaakceptowaniu wszystkich zakwestionowanych zdarzeń.

Nowością w odwołaniach 2017 było wzięcie pod uwagę nowych zdarzeń, tzn. niezgłoszonych w pierwotnej ankiecie, do czego zobligowała KEJN decyzja Ministerstwa Nauki i Szkolnictwa Wyższego, mimo zgłaszanych przez KEJN uzasadnionych zastrzeżeń. Ten fakt nie tylko skomplikował proces odwoławczy, lecz także zniekształcił nieco porównanie wielu parametrów ewaluacji 2017 i 2013.