Kategoryzacja 2013/14 została definitywnie zakończona. Można już zatem podsumować okres składania odwołań i ponownej ewaluacji tych jednostek, które odczuwały niedosyt po pierwszym etapie kategoryzacji. Procedura składania odwołań została bardzo starannie przygotowana. Za pośrednictwem systemu teleinformatycznego jednostki naukowe miały dostęp nie tylko do swojej karty oceny, ale również do kompletnej ankiety jednostki oraz do wszystkich zdarzeń ewaluacyjnych zakwestionowanych przez ekspertów. Co więcej, mogły się one zapoznać szczegółowo z opiniami ekspertów na temat złożonego przez nie dorobku oraz z poziomem jednostek referencyjnych JRB i JRA, który warunkował uzyskanie kategorii odpowiednio B lub A.

Z uwagi na zakres informacji, którym dysponowała każda jednostka naukowa, można śmiało stwierdzić, iż podstawa nadania kategorii była transparentna. Niemniej jednak nie wszystkie jednostki pogodziły się ze swoim wynikiem. Spośród 962 jednostek, które podlegały procesowi oceny, 280 jednostek naukowych zgłosiło wniosek o ponowne rozpatrzenie sprawy nadania kategorii naukowej (często jednak chodziło jedynie o odwołanie od zdarzenia ewaluacyjnego, a nie od kategorii). Warto przypomnieć, iż w wyniku przeprowadzonej w ubiegłym roku ewaluacji jednostka naukowa mogła otrzymać kategorię: A+ (poziom wiodący), A (poziom bardzo dobry), B (poziom zadowalający) lub C (poziom niezadowalający). Jednostki odwoływały się od wszystkich kategorii, włącznie z kategorią A+ (2 jednostki), co w tym ostatnim przypadku mogło skutkować jedynie podtrzymaniem kategorii.

Warto zwrócić uwagę na dwa istotne aspekty procedury odwoławczej. Po pierwsze, z zasady żadnej jednostce nie groziło obniżenie kategorii w wyniku złożonego odwołania. Po drugie, zmiana kategorii danej jednostki nie wpływała na kategorie uzyskane przez pozostałe jednostki w danej grupie wspólnej oceny (GWO). Przyjęto bowiem zasadę (co wynika z rozporządzenia MNiSW), że ponowna ewaluacja pojedynczej jednostki nie może wpływać na wynik ewaluacji uzyskany przez inne i usankcjonowany nadaniem stosownej kategorii. Tak więc, technicznie rzecz ujmując, ewentualne zmiany w karcie oceny jednostki wynikające z ponownego rozpatrzenia zdarzeń ewaluacyjnych kwestionowanych przez jednostkę mogły wpłynąć jedynie na awans jednostki w stosunku do „zamrożonej GWO”, co nie zawsze oznaczało jednak zmianę kategorii na wyższą. W wielu przypadkach uzyskana w wyniku odwołania dodatkowa punktacja skutkowała przesunięciem jednostki w górę, ale nie wystarczała do pokonania jednostki referencyjnej JRA lub JRB. Dodatkowa punktacja mogła być wynikiem nie tylko uznania skreślonych wcześniej zdarzeń ewaluacyjnych (np. w wyniku braku stosownej dokumentacji), ale także mogła wynikać z prac badawczych o charakterze niejawnym (np. na rzecz obronności państwa), którymi jednostka mogła się pochwalić w specjalnym trybie, uwzględnionym również na etapie składania odwołań.

Generalnie, w ciągu całego procesu kategoryzacji, jednostki naukowe zgłosiły łącznie 950 139 zdarzeń ewaluacyjnych. Przez zdarzenie ewaluacyjne rozumiemy tutaj pojedynczy element dorobku naukowego (np. konkretny artykuł naukowy, monografię, realizowany projekt badawczy etc.). Natomiast jednostki naukowe odwołały się poprzez system teleinformatyczny od 5981 negatywnych decyzji, co stanowi około 0,6% wszystkich zdarzeń ewaluacyjnych, ale jedynie 3382 (tj. 0,35%) to odwołania faktyczne, bowiem pozostałe nie mogły być uwzględnione z powodu niezrozumienia przez jednostki naukowe zapisów w rozporządzeniu MNiSW. Stanowi to zatem marginalny odsetek całkowitej liczby zdarzeń. Można i warto podkreślić, iż ta stosunkowo niewielka liczba kwestionowanych zdarzeń świadczy o dobrej jakości procesu kategoryzacji.

Jednostki naukowe miały pełne prawo odwołać się od każdej decyzji podjętej w toku ewaluacji. Złożone odwołania dotyczyły najczęściej następujących zagadnień:

zdarzeń ewaluacyjnych zakwestionowanych przez ekspertów jako niepoprawne z powodów merytorycznych; zdarzeń ewaluacyjnych, dla których ustawodawca nie przewidział miejsca w karcie oceny (dla tego konkretnego typu jednostki naukowej); zdarzeń ewaluacyjnych (np. publikacji i monografii), które nie mogły zostać uwzględnione w karcie oceny z powodu nałożonych w treści rozporządzenia ministra warunków ograniczających (np. liczba zdarzeń w kryterium I ograniczona do 3N-2N0); liczby punktów przyznanych jednostce naukowej przez zespół ekspertów w ramach kryterium IV.

Warto podkreślić, iż jednostki naukowe korzystały w całej rozciągłości z przysługującego im prawa, a KEJN stworzył za pomocą systemu teleinformatycznego (autorstwa Index Copernicus International) dobre warunki do współpracy z jednostkami w zakresie formułowania i rozpatrywania odwołań.

Zasady rozpatrywania odwołań

Każda jednostka naukowa miała prawo zgłosić do Ministerstwa Nauki i Szkolnictwa Wyższego wniosek o zmianę przyznanej kategorii naukowej, mogła przy tym wskazać konkretne decyzje podjęte przez dany Zespół Ewaluacji KEJN, z którymi się nie zgadzała, wraz z podaniem argumentów. Można było również podawać przyczyny do wszystkich pozostałych aspektów procesu kategoryzacji, w tym natury ogólnej.

Jednostki kwestionowały najczęściej decyzje o odrzuceniu zdarzenia ewaluacyjnego (4869 takich przypadków), decyzje związane z wyznaczeniem liczby 3N-2N0 (911 przypadków) oraz te, gdy wystąpiło obniżenie punktacji (211 przypadków).

Podstawą przyjętą przy rozpatrywaniu odwołań była zasada nieuwzględniania w procesie ponownej oceny nowych „zdarzeń ewaluacyjnych” (takich jak nowe publikacje, patenty itd.), chyba że w procesie składania ankiety wystąpiły błędy techniczne, co zdarzyło się jedynie w pojedynczych przypadkach.

Do oceny odwołań powołane zostały zespoły ewaluacyjne (ZE) w nowym składzie, przy zachowaniu zasady, że żaden członek zespołu nie mógł ponownie oceniać tej samej jednostki. KEJN przeprowadził szereg szkoleń członków ZE do spraw odwołań. Zespoły ewaluacyjne rozpatrywały odwołania od kryterium I, które obejmowało osiągnięcia naukowe i twórcze, kryterium II obejmującego potencjał naukowy jednostki oraz od kryterium III odnoszącego się do efektów materialnych działalności naukowej. Przewodniczący ZE mogli konsultować decyzje swoich zespołów podejmowane w trakcie procesu odwoławczego z opiekunami ze strony KEJN. Sami opiekunowie rozpatrywali natomiast odwołania od kryterium IV, dotyczącego pozostałych efektów działalności naukowej oraz tzw. inne odwołania. Dotyczyły one m.in. prawidłowości wyznaczania liczby N, kwestionowania przydziału do grupy wspólnej oceny (GWO), nieprzyznania kategorii A+, a także filozofii ewaluacji i zapisów rozporządzenia MNiSW. Odwołania odnośnie do prac objętych klauzulą poufności lub tajności były rozpatrywane przez specjalny zespół oceniający (posiadający stosowne uprawnienia).

Spośród 307 instytucji naukowych, którym przyznano kategorię A, co piąta (60 placówek) odwołała się od nieprzyznania kategorii A+. Paradoksalnie odwołały się również 2 jednostki, które kategorię tę uzyskały, co było przedmiotem pewnej zadumy całego KEJN z uwagi na fakt, że jednostki odwoływały się od zdarzeń, a nie uzyskanej kategorii. Nie trzeba dodawać, że kategoria A++ nie została stworzona.

Rozpatrywanie odwołań od nieprzyznania kategorii A+ odbywało się zgodnie z procedurą określoną w rozporządzeniu „odnośnie do sposobu wyłonienia jednostek wiodących kategorii A+”. Brano pod uwagę treść złożonej ankiety, dodatkowe argumenty przedstawiane przez jednostkę naukową, wyniki, które uzyskała w zakresie poszczególnych kryteriów oraz całość odwołania. Awans do kategorii A+ uzyskało 8 instytucji. Po 4 jednostki awansowały do kategorii A+ w grupie nauk humanistycznych i społecznych (20% skuteczność) oraz w obszarze nauk ścisłych i inżynierskich (14% skuteczność). W rezultacie procesu odwoławczego 45 placówek naukowych spośród 962 zostało zaliczone do kategorii A+, co stanowi prawie 5% instytucji naukowych w kraju.

Wynik procedury odwoławczej w grupach nauk

Omówimy wyniki odwołań w grupach nauk, którym odpowiadają komisje KEJN: Humanistyczno–Społecznych (HS), Twórczych i Artystycznych (TA), Ścisłych i Inżynierskich (SI), Nauk o Życiu (NZ). W Tabeli 1 przedstawiono liczbę JN w poszczególnych grupach, które złożyły odwołania w odniesieniu do łącznej liczby jednostek, które otrzymały daną kategorię oraz dane dotyczące skutków odwołań w odniesieniu do liczby jednostek, które otrzymały daną kategorię oraz do liczby odwołań.

Na uwagę zasługuje to, że spośród 50 awansów kategorii, aż 28 (56%) przypada na grupę SI, w której skupione jest tylko 33% JN. W tej grupie jest też wyższy niż w pozostałych grupach udział odwołujących się JN oraz znacznie wyższy wskaźnik sukcesu odwołań – aż 24%. Interesująca jest też analiza odwołań JN, które otrzymały kategorię C. W grupie HS odwołały się tylko dwie spośród 21 JN kategorii C, z których jedna awansowała do kategorii B. Spośród 7 JN kategorii C w grupie TA żadna nie awansowała. Natomiast w licznej grupie NŻ odwołało się aż 65% jednostek, ale współczynnik sukcesu wyniósł jedynie 15%. Natomiast w grupie SI odwołało się blisko połowa JN kategorii C, spośród których awansowało aż 24%. W poszczególnych grupach występowały bardzo duże różnice między poszczególnymi Grupami Wspólnej Oceny w zakresie udziału odwołujących się jednostek, jak też współczynnika sukcesu. W każdej grupie (poza TA) znalazły się GWO, w których odsetek odwołań był bardzo wysoki. Poniżej wyróżniamy w każdej grupie nauk GWO specjalnej troski, a więc takie, które liczą więcej niż 10 JN, a w których odsetek odwołań był większy niż 33%.

Uderzającą cechą GWO o najwyższym udziale odwołujących się jednostek jest ponadprzeciętny współczynnik sukcesu, znacznie powyżej średniej. Rekordzistą w zakresie udziału odwołań jest GWO w dziedzinie elektrotechniki i dziedzin pokrewnych, zarówno wśród instytutów badawczych (odwołały się wszystkie poza jednym) oraz wydziałów uczelni. Współczynnik sukcesu odwołań w tych grupach jest także wysoki, a więc te odwołania zostały uznane za uzasadnione. Jednej z przyczyn wysokiego odsetka odwołań w obszarze nauk prawnych można zapewne poszukiwać w specyfice tej dyscypliny. Zauważmy też ciekawą prawidłowość – małej liczbie odwołań w GWO towarzyszy niski współczynnik sukcesu.

Wynik procedury odwoławczej na tle rodzajów jednostek naukowych

Na 963 analizowane jednostki odwołania od przyznanej kategorii złożyło 280, co stanowi 29,1% całkowitej liczby poddanych parametryzacji. Jak zostało wyżej pokazane, rozkład odwołań nie był równomierny w poszczególnych grupach nauk, ale również istotnie się różnił ze względu na typ parametryzowanych jednostek. W tym drugim przypadku łatwo dostrzec, że relatywnie największy odsetek odwołań odnotowano wśród instytutów badawczych (IB) (42,6%) oraz instytutów PAN (37,1%), podczas gdy jedynie 26,4% jednostek uczelnianych odwołało się od decyzji o przyznanej kategorii oraz 22,7% jednostek zaliczanych do kategorii „inne”.

Wprawdzie trzeba mieć świadomość, że – jak już zostało to wspomniane – przyczyny oraz skala każdego odwołania mogą być różne, w tym zarówno błędy po stronie oceniających, jak i ocenianych. Niemniej znacząca różnica odsetka odwołań pomiędzy różnymi typami instytucji wyraźnie wskazuje na pewne niezadowolenie z procesu oceny parametrycznej lub wyników kategoryzacji wśród IB oraz instytutów PAN. Taki stan rzeczy nie powinien być jednak zaskoczeniem, bowiem prezentując pierwsze wyniki kategoryzacji na łamach FA (nr 10/2013), wskazywaliśmy, że te dwa typy jednostek najbardziej „pogorszyły” swoje pozycje w stosunku do kategoryzacji 2010. W tym sensie zrozumiała wydaje się wysoka liczba składanych odwołań wynikająca z rozczarowania wynikami kategoryzacji.

Przy tej okazji warto spojrzeć na to, w jakim stopniu odwołania te okazały się skuteczne w wymiarze zasadniczym, bowiem wiele jednostek odwoływało się od pojedynczych zdarzeń ewaluacyjnych, które w istocie nie miały znaczenia dla oceny jednostek. Wskaźnikiem skuteczności odwołań jest współczynnik sukcesu, definiowany jako odsetek jednostek, które w toku procedury apelacyjnej uzyskały zmianę kategorii naukowej. Generalnie współczynnik skuteczności odwołań wyniósł 17,9%, ale istotnie różnił się w zależności od typów odwołujących się jednostek. Najwyższą skuteczność odnotowano w kategorii IB, wśród których ponad jedna czwarta odwołań została rozpatrzona pozytywnie (26,5%), następnie wśród „innych jednostek” pozytywnie rozpatrzono jedną piątą odwołań (20%), natomiast wśród jednostek podstawowych uczelni było to 17%. Wyraźnie najniższy wskaźnik odnotowały jednostki PAN (7,7%), wśród których jedynie 2 spośród 26 uzyskało zmianę kategorii naukowej.

Odsetek odwołujących się jednostek jest nierówny w poszczególnych grupach nauk, co ma swoje odzwierciedlenie we wszystkich typach jednostek. Jak już tu wcześniej wspomniano, największy odnotowano w obszarze nauk ścisłych oraz inżynierskich. Tam też wyraźnie największy był odsetek jednostek składających odwołania: 47,8% wśród instytutów badawczych oraz 46,3% wśród instytutów PAN. Zresztą nie tylko odsetek odwołujących się jednostek był najwyższy, ale również bezsprzecznie najwyższy współczynnik skuteczności odwołań, który w całej grupie wynosił 24,1%, a w grupie instytutów badawczych aż 34,8%.

We wszystkich grupach nauk (poza grupą jednostek w naukach artystycznych oraz teatralnych, gdzie są niemal wyłącznie jednostki uczelniane) największe nasycenie jednostek odwołujących się od przyznanej kategorii odnotowano wśród instytutów badawczych oraz jednostek PAN. Jednocześnie warto podkreślić, że poza grupą nauk ścisłych oraz inżynierskich, w której zdecydowanie najwyższy był procent składanych odwołań, żadne odwołanie instytutów PAN nie odniosło pozytywnego skutku.

Podsumowując, trzeba zwrócić uwagę na dwie istotne prawidłowości, jeśli chodzi o wyniki odwołań na tle rodzajów jednostek naukowych. Po pierwsze, liczba i skuteczność odwołań zasadniczo różniła się w poszczególnych typach jednostek. Po drugie, nasycenie odwołań było zdecydowanie najwyższe wśród IB oraz instytutów PAN, których – o czym pisaliśmy w pierwszej edycji naszego artykułu – ogólna ocena najbardziej pogorszyła się w stosunku do poprzedniej kategoryzacji. Po trzecie, tylko w przypadku tych pierwszych skuteczność potwierdziła zasadność składanych odwołań, bowiem w przypadku IB skuteczność wyniosła 26,5%, podczas gdy dla jednostek PAN okazała się wyjątkowo niska – 7,7%.

Podsumowanie ostatecznych wyników kategoryzacji 2013/14

Kategoryzacja 2013/14 wniosła nową jakość do rozwijanego w Polsce od lat systemu oceny parametrycznej. Przełomowe było niewątpliwie uporządkowanie grup wspólnej oceny poprzez rozdzielenie jednostek naukowych reprezentujących PAN, uczelnie akademickie, jednostki badawcze oraz tzw. jednostki inne. Zbudowanie niezależnych grup wspólnej oceny dla tych kategorii miało na celu wprowadzenie zasady równorzędności wobec klasyfikowanych jednostek, zarówno z punktu widzenia reprezentowanego przez nie środowiska (kultury pracy badawczej), jak i stosowanych zasad oceny parametrycznej. Wydaje się, że ten cel został osiągnięty, ponieważ liczba odwołań dotyczących przyporządkowania jednostek do GWO była niewielka.

Drugim elementem przełomowym było zastosowanie metody porównań parami w obrębie poszczególnych GWO. W przyjętej metodzie zastosowano tzw. relację przewyższenia, która sama w sobie ma pewien walor naukowy, wynika bowiem z zastosowania metod analizy wielokryterialnej. Jednostki porównano ze sobą w obrębie 4 kryteriów (2 intensywnych i 2 ekstensywnych), opatrzonych stosownymi wagami, z których najwyższą przypisano do osiągnięć naukowych i twórczych (0,65) w przypadku jednostek uczelnianych i PAN (najwyższa wyniosła 0,75, dla jednostek PAN w NoŻ) oraz do efektów materialnych działalności naukowej (0,45) w przypadku instytutów badawczych i tzw. innych. Dzięki zastosowaniu metody porównań parami do poszczególnych kryteriów uniknięto dodawania do siebie wyników jednostek w całkowicie odmiennych obszarach (np. punkty za publikacje i materialne efekty wyrażone w złotówkach).

Kolejnym ważnym osiągnięciem było wprowadzenie koncepcji jednostek referencyjnych, których parametry zostały w pewnym stopniu skorelowane z pozycją danej dziedziny/dyscypliny nauk w międzynarodowych bazach danych. Jest to krok w stronę uwzględnienia siły poszczególnych dziedzin nauki uprawianych w kraju w międzynarodowej przestrzeni badawczej, której Polska jest częścią. Istotnym novum stało się wreszcie wyróżnienie najlepszych jednostek emblematyczną kategorią A+, do której zbudowano osobny zestaw kryteriów, niełatwy do spełnienia nawet w przypadku bardzo prestiżowych jednostek naukowych.

Na zakończenie warto podkreślić, że zasadniczym postulatem jednostek naukowych jest stabilność systemu oceny parametrycznej. Chodzi więc o to, aby dalsze zmiany miały charakter ewolucyjny, a nie rewolucyjny. Wychodząc naprzeciw postulatowi stabilności, KEJN przystąpił do prac nad rozwojem systemu oceny w następujących kierunkach:

ocena wynalazków oraz innowacji w grupach nauk, efekty materialne działalności naukowej (wdrożenia), jednoznaczna definicja GWO oraz ewaluacja jednostek niejednorodnych, definicja jednostek referencyjnych i usprawnienie metody porównań parami, ocena monografii, wartości wagowe przypisywane poszczególnym kryteriom, wyłanianie jednostek kategorii A+.

Nie jest to, rzecz jasna, zamknięta lista kierunków ewolucji systemu oceny parametrycznej. Powyższy zestaw wskazuje na wolę usprawnienia zbudowanego w Polsce systemu oceny parametrycznej, tak aby kolejne edycje kategoryzacji budziły jeszcze mniej wątpliwości i chęci do składania odwołań.

Tabela 3. Liczba odwołań w zależności od typów jednostek

2013	Liczba JN	Jednostki, które złożyły odwołania	Liczba jednostek zmieniających kategorię w wyniku odwołań	Współczynnik sukcesu
PAN	70	26 (37.1%)	2	7,7%
Uczelnie	756	200 (26.4%)	34	17%
Instytuty badawcze	115	49 (42,6%)	13	26,5%
Inne	22	5 (22.7%)	1	20%
	963	280 (29%)	50	17,9%

Tabela 4. Rozkład odwołań według typu jednostki w grupach nauk

Obszar	Typ	N	Liczba JN, które złożyły odwołania	Liczba  JN zmieniających kategorię w wyniku odwołań	Współczynnik sukcesu
Obszar HS		303	61 (20,1%)	9	14,70%
	Uczelnie	276	55 (19,9%)	9	16,40%
	PAN	14	3 (21,4%)	0	0%
	Instytuty	9	2 (22,2%)	0	0%
	Inne	4	1(25%)	0	0%
Obszar NZ	NZ	233	74 (31,7%)	9	12,20%
	Uczelnie	162	48(29,6)	7	14,60%
	PAN	30	11(36,6%)	0	0%
	Instytuty	39	15(38,5%)	2	12,30%
	Inne	2	0 (0%)	0	0%
Obszar SI	SI	323	116(35,9%)	30	25,90%
	Uczelnie	216	68(31,4%)	16	23,50%
	PAN	26	12(46,1%)	2	16,70%
	Instytuty	67	32 (47,8%)	11	34,40%
	Inne	14	4(28,5%)	1	25%
Obszar TA	TA	103	29 (28,1%)	2	6,90%
	uczelnie	102	29(28,4%)	2	6,90%
	Inne	1	0 (0%)	0	0%

Tabela 5. Odsetek odwołań w grupach nauk zakończonych zmianą kategorii

Grupa nauk	Odsetek skutecznych odwołań
Nauki humanistyczno - społeczne	3%
Nauki ścisłe i inżynierskie	9%
Nauki o życiu	4%
Nauki o sztuce i twórczości artystycznej	2%