Kategoryzacja jednostek naukowych AD 2013 stała się faktem. Warto przy tej okazji podsumować wyniki, które mogą posłużyć do naszkicowania mapy polskiej nauki na przestrzeni ubiegłych czterech lat. Zanim jednak przedstawimy rezultaty prac KEJN i decyzji ministra, kilka słów o zasadach przyjętych w aktualnym wydaniu ewaluacji i kategoryzacji jednostek naukowych na tle edycji 2010. Ta ostatnia nosiła cechy podejścia elementarnego, łatwego w odbiorze, ale niekoniecznie poprawnego metodologicznie. Aby uzyskać wynik punktowy jednostki naukowej, dodawano bowiem wprost wartość punktową za osiągnięcia naukowe i twórcze do wartości punktowej za inne formy działalności naukowej (w tym efekty materialne) czy potencjał naukowy jednostki. To oznacza, że w ten sam sposób traktowano często bardzo odległe przejawy działalności jednostek i nadawano im równorzędne znaczenie.

Metodologia ewaluacji

W tym kontekście KEJN podjął prace nad reformą metodyki przeprowadzania ewaluacji i kategoryzacji jednostek, o czym pisano już w FA 5/2012 oraz FA 7-8/2012. Warto jednak przypomnieć, iż przyjęta obecnie metoda porównań parami, z zastosowaniem tzw. relacji przewyższenia, sama w sobie ma walor naukowy, wynika bowiem z zastosowania metod tzw. analizy wielokryterialnej. Do oceny jednostki wytypowano następujące kryteria: osiągnięcia naukowe i twórcze (I), potencjał naukowy (II), efekty materialne działalności naukowej (III) oraz pozostałe efekty (IV). Warto zwrócić uwagę na fakt, że kryterium I i III ma charakter „intensywny”, tzn. wartość punktowa jest odnoszona do liczby pracowników zatrudnionych przy realizacji badań naukowych lub prac rozwojowych (N). Pozostałe kryteria (II i IV) mają charakter wybitnie „ekstensywny”, przy czym kryterium IV jest typowym kryterium eksperckim, polegającym na ocenie 10 najważniejszych osiągnięć jednostki naukowej. KEJN starał się wyjść naprzeciw postulatom wielu rozmaitych środowisk, których formy działalności naukowej mogą być bardzo różne, często dość odległe od siebie. Ponadto kryteria te zostały opatrzone różnymi wagami, aby wyeksponować specyfikę danego środowiska naukowego. Przyjęto osobny zestaw wag dla jednostek naukowych PAN i podstawowych jednostek organizacyjnych uczelni (zwykle 65%, 10%, 15%, 10%), i odrębny dla instytutów badawczych oraz tzw. innych jednostek (w niektórych nawet 35%, 10%, 45%, 10%). Można więc stwierdzić, że najwyższe wartości wagowe przyłożono do takich form działalności naukowej, które są charakterystyczne i podstawowe dla danego środowiska. W ślad za tym postanowiono utworzyć grupy wspólnej oceny (GWO), odrębne dla poszczególnych obszarów badań i rodzajów jednostek naukowych (PAN, uczelniane, badawcze, inne). Uniknięto w ten sposób słabości poprzedniej parametryzacji i uzyskano efekt względnie dobrej jednorodności w poszczególnych GWO. Wydaje się, że tak przyjęty podział na grupy dał dobre efekty.

Nowością obecnej parametryzacji jest wyróżnienie kategorii A+. Jest ona wyrazem docenienia przez KEJN roli liderów w świecie nauki – kategorię A+ otrzymują bowiem te jednostki, które spełniają kryteria wysokiej jakości i efektywności naukowej.

KEJN, wspomagany przez firmę Index Copernicus International (ICI), wdrożył program do oceny parametrycznej jednostek naukowych, który realizuje założenia algorytmu określonego w rozporządzeniu ministra. W konsekwencji ocena jednostek na podstawie złożonych przez nie ankiet przebiegała znacznie sprawniej. Warto przy tej okazji odnotować duży wkład zespołów ewaluacji powołanych przez KEJN do weryfikacji ankiet, w tym czasochłonnej oceny kryterium IV. To właśnie środowisko naukowe jest powołane do tego, by ocenić, na ile osiągnięcia przedstawione przez daną jednostkę są wybitne. W tej pracy zespoły ewaluacji były całkowicie autonomiczne. Warto zatem podkreślić, iż wynikiem pracy KEJN jest nie tylko bieżąca ocena jednostek naukowych, ale również powstanie instrumentu, który także w przyszłości pozwoli sprawnie przeprowadzić proces ewaluacji/kategoryzacji. To także wielkie ułatwienie dla użytkowników (w tym samych jednostek), którzy mogą sprawnie i wygodnie poruszać się po przeznaczonej dla nich części systemu teleinformatycznego.

Celem strategicznym działalności KEJN jest poprawienie jakości i efektywności polskich jednostek naukowych na tle ich odpowiedników w Europie i na świecie. W aktualnym procesie kategoryzacji jednostek położono na ten fakt szczególny nacisk. Poziomy jednostek referencyjnych, których osiągnięcie było potrzebne do zakwalifikowania do kategorii A lub B, zostały zbudowane w odniesieniu do pozycji międzynarodowej dyscyplin naukowych. Pozwala to na odzwierciedlenie kondycji polskiej nauki w zagranicznych bazach danych (takich jak WoS, WoK czy Scopus) w procesie oceny parametrycznej, poprzez zróżnicowanie poziomu jednostek referencyjnych w funkcji siły naukowej najpierw grupy nauk, a następnie poszczególnych dyscyplin nauki. W tym również przejawia się rola KEJN jako instytucji inspirującej rozwój i monitorującej osiągnięcia jednostek naukowych w Polsce.

Kategoryzacja w grupach nauk i obszarach badań

Poddane kategoryzacji jednostki naukowe (JN) zostały podzielone na cztery grupy nauk. Przeprowadzenie ewaluacji w każdej grupie było powierzone osobnej komisji KEJN, która ustalała własne zasady przypisywania jednostkom kategorii, w ramach przepisów prawa i ogólnych wskazań KEJN. W każdej grupie nauk zostały wyróżnione obszary badań, do których komisje KEJN zakwalifikowały jednostki naukowe. W każdym takim obszarze jednostki zostały dodatkowo podzielone na cztery typy (uczelnie, PAN, instytuty badawcze, inne), do których w ramach jednego obszaru były tworzone osobne grupy wspólnej oceny (GWO).

Analizie kategoryzacji wg typów instytucji poświęcony jest następny rozdział. Tu koncentrujemy się jedynie na analizie według grup nauk i wyróżnionych w nich obszarów badań. W Tabeli 1 podano liczbę jednostek przypisanych do poszczególnych grup, liczbę obszarów, na jakie zostały podzielone oraz procentowy udział jednostek poszczególnych kategorii w danej grupie.

Liczba jednostek przypisanych do poszczególnych obszarów była bardzo zróżnicowana, nawet w obrębie jednej grupy nauk. Trzy największe obszary (HS Nauki społeczne, HS Nauki ekonomiczne i NZ Nauki medyczne) obejmowały po około 100 jednostek każda, a najmniejsze składały się z ok. 10 jednostek. Zróżnicowanie jednostek znalazło swój wyraz także w ostatecznie przyznanych kategoriach. W Tabeli 2 zestawiono obszary, w których przeszło połowa jednostek otrzymała kategorię A lub A+ oraz te, w których udział takich jednostek jest mniejszy niż 25%.

Bardzo zróżnicowany jest również udział jednostek kategorii C w poszczególnych obszarach. W Tabeli 3 podano dane dotyczące obszarów, w których mniej niż 3% lub więcej niż 10% jednostek i nie mniej niż 3, zostało zakwalifikowanych do kategorii C.

Interesujące są zmiany kategorii jednostek w stosunku do poprzedniej kategoryzacji, które są podsumowane w Tabeli 4.

Należy pamiętać, że zmiany mogą wynikać nie tylko z intensyfikacji lub spowolnienia pracy jednostki, ale także innych, zewnętrznych przyczyn: zmiany grupy porównawczej, w której jednostka jest klasyfikowana, zachowań konkurentów nawet przy niezmienionej aktywności jednostki, a także zmiany zasad parametryzacji (o czym była mowa na początku niniejszego artykułu). Rezygnacji z prostego sumowania osiągnięć materialnych i stricte badawczych należy zapewne przypisać największe zmiany w grupach SI i TA.

Do obecnej kategoryzacji zgłosiło się 71 jednostek, które nie brały udziału w poprzedniej – najwięcej, bo aż 43, w grupie HS. Przeszło 40% nowych jednostek otrzymało kategorię C, a tylko jedna – kategorię A.

Na zakończenie przedstawionych analiz należy z całą mocą przypomnieć, że udziały jednostek kategorii A (z A+), B i C w poszczególnych grupach i obszarach odzwierciedlają wyłącznie zróżnicowanie parametrów jednostek w ramach poszczególnych obszarów, a nawet GWO. Wysoki udział jednostek kategorii A (z A+) świadczy o wyrównanym poziomie czołówki w danym obszarze (GWO). Duży udział jednostek kategorii C świadczy natomiast o dużej rozpiętości parametrów. Powyższe uwagi odnoszą się tym bardziej do wyników punktowych jednostek, ogłoszonych przez MNiSW w komunikacie o wynikach kompleksowej oceny. Dokonywanie na ich podstawie porównań jednostek działających w różnych obszarach badań, a nawet różnego typu, jest po prostu bezsensowne.

Kategoryzacja na tle rodzajów jednostek naukowych

Instytucjonalna różnorodność polskiej nauki została po części odzwierciedlona w procesie kategoryzacji – w naukach ścisłych i inżynierskich oraz naukach o życiu – w zmodyfikowanych wagach poszczególnych kryteriów, tak aby odpowiadały zróżnicowanym profilom jednostek oraz realizowanym przez nie zadaniom. Analiza wyników kategoryzacji przy uwzględnieniu kryterium odnoszącego się do typu jednostek naukowych pokazuje, że rozkład kategorii prezentuje się odmiennie w trzech podstawowych kategoriach instytucjonalnych.

Proste zestawienie ocen (patrz: Tabela 5) poświadcza jednoznacznie, że to wśród instytutów Polskiej Akademii Nauk największe jest nasycenie jednostek, które uzyskały najwyższe kategorie (A oraz A+). Nieco inaczej prezentuje się rozkład wyników w jednostkach uczelnianych oraz instytutach badawczych, tam stosunkowo niewielki odsetek stanowią jednostki A+, największy – gdyż prawie 60% – należy do kategorii B. Czwarta kategoria jednostek – zresztą najmniej liczna, ale organizacyjnie najbardziej zróżnicowana – w której skład wchodzą jednostki niemieszczące się w poprzednich trzech kategoriach, czyli podmioty komercyjne, muzea, fundacje, ośrodki badawczo-rozwojowe itd., charakteryzuje się największym (aż 50%) udziałem jednostek, które uzyskały kategorię C. W wielu przypadkach niska ocena wynika z tego, że badania naukowe, a zwłaszcza publikacja ich wyników nie jest głównym celem funkcjonowania tych organizacji, dlatego nie powinno dziwić, iż spora cześć z nich legitymowała się naprawdę skromnymi osiągnięciami i wyraźnie odstawała od pozostałych.

Zestawienie wyników parametryzacji 2010 i 2013 w podziale na typy jednostek naukowych (patrz: Tabela 6) wskazuje na istotne przesunięcia. Podczas parametryzacji w 2010 roku nie przyznawano kategorii wyróżniającej A+, dlatego porównania można dokonywać jedynie w obrębie trzech podstawowych kategorii. Największą zmianę widać w obrębie instytutów badawczych, wśród których znacząco stopniał odsetek jednostek z najwyższą kategorią (– 31,0%) natomiast zwiększył się odsetek jednostek w kategorii B (+ 24,9%) oraz C (+ 6,1%). Istotny spadek zanotowano również wśród instytutów PAN, wśród których liczba jednostek z najwyższą kategorią spadła o 18,6%; wzrosła natomiast liczba jednostek z kategorią B (17,1%). Na tym tle niewielkie, wręcz kosmetyczne zmiany odnotowano w jednostkach uczelnianych. W ostatniej grupie („Inne”) można z kolei zaobserwować skokowy (+ 27,4%) wzrost odsetka podmiotów, które uzyskały najniższą kategorię.

Istotny spadek pozycji instytutów badawczych może być powodowany metodologią wyznaczania kategorii naukowej, w której końcowy wynik nie jest już prostą sumą wartości poszczególnych kryteriów, ale wynikiem porównania parami w ramach poszczególnych kryteriów. Tak więc w przypadku ocenianej jednostki nawet ekstremalnie wysoka wartość jednego kryterium (w przypadku instytutów badawczych były to często wysokości kontraktów) nie wystarcza do zrównoważenia braku w pozostałych. Podobne przyczyny wyjaśniają przesunięcie wielu jednostek z kategorii B do C w ostatnim typie jednostek, określanym mianem „inne”. Potwierdzałby to fakt, że największe spadki w kategorii instytutów badawczych odnotowano w grupach nauk ścisłych oraz inżynierskich, a także nauk o życiu.

Analiza rozkładu przyznawania poszczególnych kategorii naukowych wskazuje, że nie ma znaczących rozbieżności – gdy chodzi o rozkład kategorii naukowych – w poszczególnych grupach nauk (patrz: Tabela 7). Pojawiające się różnice można traktować jako mało znaczące. Warto jednak zwrócić uwagę na kilka ciekawostek. Największy odsetek jednostek PAN wyróżnionych kategorią A+ znalazł się w naukach społecznych oraz humanistycznych (28,6%) i na tle jednostek PAN w innych obszarach wiedzy prezentują się one zdecydowanie najlepiej, bowiem 85,7% uzyskało kategorię A bądź A+. Wśród uczelni z kolei największe nasycenie najlepiej ocenianych jednostek jest w grupie nauk ścisłych oraz inżynierskich (A+ 4,2%; A 35,7%). Warto wskazać, że w obszarze nauk o życiu aż 10,5% jednostek uzyskało kategorię C.

Elitarna kategoria A+

Kategorii A+ nie było w poprzednich parametryzacjach. Jej powstanie miało na celu wyłonienie i dodatkowe finansowanie najlepszych z najlepszych. Kandydaci do tej kategorii byli wybierani spośród 25% najwyżej ocenionych jednostek naukowych w poszczególnych GWO, a ponadto musieli spełnić szereg innych wymagań. Rozpatrując przydział do kategorii A+, komisje KEJN brały pod uwagę nie tylko 4 podstawowe kryteria, lecz także inne parametry, takie jak: średnia liczba cytowań przypadająca na jednego pracownika, średnia liczba cytowań jednej publikacji bądź średnia wartość punktowa 25% najwyżej ocenianych publikacji. Zaobserwowaliśmy dużą zbieżność tych parametrów z kryteriami głównymi.

Kategoria A+ jest nieliczna – należy do niej 37 jednostek naukowych spośród 963 instytucji, które poddały się kategoryzacji, to jest 3,8% całości lub 12% z 308 placówek, które uzyskały kategorię A. Jednym z powodów ograniczonej liczby jednostek A+ jest fakt, że dodatkowe ich finansowanie uszczupla środki dla innych jednostek, w tym takich, którym do A+ brakowało niewiele. By zostać zaliczoną do kategorii A+, instytucja musiała uzyskać doskonałe wyniki we wszystkich czterech kryteriach. Dostały się do niej jednostki ze ścisłej czołówki.

Nieco statystyki. Spośród 303 instytucji z dziedziny nauk humanistycznych i społecznych kategorię A+ uzyskało 12, tj. około 4,0% jednostek. Spośród nauk o życiu uhonorowano tak 9 placówek z 233 klasyfikowanych tj. 3,9%. Nauki ścisłe i inżynierskie to 14 spośród 323 jednostek, co stanowi 4,3% i odzwierciedla ich wysokie miejsce w rankingach międzynarodowych. Nauki o sztuce reprezentowane są przez 2 ze 103 jednostek, stanowi to 1,9% tej liczby. Spośród 70 instytucji PAN wyłoniono 12 jednostek kategorii A+, stanowi to 17,1% całości. Tak więc PAN wypada lepiej niż instytuty badawcze, wśród których 2 (1,7%) ze 115 placówek uzyskały tę kategorię, a zarazem lepiej niż uczelnie, gdzie 23 wydziały spośród 756 jednostek (to jest około 3,0%) uzyskało wynik A+. Przodowały tutaj Uniwersytet Warszawski (6 wydziałów A+), oraz Jagielloński (4 takie wydziały).

Podsumowując, aby uzyskać kategorię A+, należało publikować dużo i dobrze, należało również dbać o parametr N, czyli liczbę zatrudnionych. Wydaje się, że w niektórych przypadkach znaczny wzrost N, spowodowany dużymi projektami badawczymi, skutkować mógł spektakularnymi spadkami jednostek w tej parametryzacji.

W stronę kategoryzacji 2017

Trudno nam ocenić wartość zastosowanego systemu oceny jednostek naukowych. Będziemy wsłuchiwać się przede wszystkim w opinie środowiska, ale także uczestników procesu ewaluacji, w tym ekspertów ICI, oraz opinie kierownictwa MNiSW. Szczególnie interesować nas będzie odpowiedź na pytanie, czy zasada systemu została zaakceptowana, czy nie. To da nam wskazówkę, czy mamy go modyfikować, czy zmienić całkowicie. Członkowie KEJN zdecydowanie popierają zaakceptowanie obecnego systemu oceny parametrycznej jednostek naukowych z wprowadzeniem wielu koniecznych zmian. Jesteśmy obecnie bogatsi o nabyte doświadczenia oraz dane, które mogą posłużyć nam do przyszłych symulacji. Pamiętać należy, że tworzyliśmy nowy system, w którym aż 3 kryteria spośród 4 (poza kryterium I) nie miały odpowiedników w poprzednich ocenach, przez co nie mieliśmy danych do koniecznych analiz.

Ocenimy, które z parametrów nie miały wpływu na ostateczne wyniki, które stwarzały możliwość dowolności oceny, a które – mimo że precyzyjne – powodowały trudności i częste pomyłki przy wypełnieniu ankiet. Nie możemy jednak przy tym zapomnieć, że nasz system musi dać szansę oceny wszystkich jednostek, w tym także tych słabszych, będących „na dorobku”. Dlatego obok parametrów ogólnych dla wszystkich, wprowadzono parametry opisujące jednostki wyróżniające się, co w obecnej ocenie stosowaliśmy do wyłonienia kategorii A+. Także te parametry będziemy doprecyzowywać i ulepszać.

Liczymy, że kolejna ocena, niezależnie od jej kształtu, będzie doskonalsza i w szerszym zakresie skorzysta z baz POL-on, co zwiększy możliwość weryfikacji danych i ułatwi pracę ekspertów.