Przeprowadzona w 2013 roku kompleksowa ocena jednostek naukowych była pierwszą dokonaną na podstawie ustawy o zasadach finansowania nauki (2010), która uczyniła Komitet Ewaluacji Jednostek Naukowych współodpowiedzialnym za proces jej przeprowadzenia.

Parametryzacja 2013 była nowym otwarciem wprowadzającym kilka istotnych zmian do kryteriów oraz sposobu wyznaczania kategorii naukowej. O ile jednak dyskusja nad kryteriami prowadzenia oceny parametrycznej była poprzedzona szerokimi konsultacjami środowiskowymi, o tyle dyskusja postewaluacyjna ograniczyła się w zasadzie do osób rozczarowanych jej wynikami. Ich głosy, choć na pewno ważne, nie mogą stanowić jedynej przesłanki do przemeblowania całego systemu. Stąd w KEJN narodził się pomysł, aby empirycznie sprawdzić, jaki był rzeczywisty odbiór oceny parametrycznej przeprowadzonej w 2013, co wpisuje się we współczesny trend w polityce wobec nauki i szkolnictwa wyższego, która szuka oparcia w badaniach (ang. research based policy), starając się wyeliminować działania ad hoc, będące efektem jednostkowych wypowiedzi czy prasowych publikacji określanych mianem anegdotic evidence.

Po zakończeniu procesu odwołań KEJN przeprowadził wśród kierowników jednostek naukowych badanie kwestionariuszowe; ich wybór podyktowany był zarówno zaangażowaniem (każdy kierownik składa podpis pod ankietą jednostki), jak i reprezentatywnością. Celem badania było poznanie opinii na temat reguł (zastosowanych kryteriów), a zwłaszcza samego procesu prowadzenia oceny parametrycznej. Jednocześnie – co było równie istotne – badanie miało na celu włączenie kierowników jednostek naukowych do współtworzenia zasad oceny parametrycznej, gdyż mogą być one instrumentem pomocnym w zarządzaniu jednostkami naukowymi.

Badania przeprowadzono pomiędzy 23 czerwca a 20 lipca 2014 na całej populacji (963) kierowników, których jednostki podlegały ocenie parametrycznej. Drogą elektroniczną została skierowana do nich prośba o wypełnienie kwestionariusza ankiety (dostępnej za pomocą linku) oraz dołączenie swoich uwag w formie komentarzy. W odpowiedzi otrzymaliśmy aż 624 wypełnione ankiety, struktura respondentów (pod względem typów jednostek, obszaru nauki oraz kategorii naukowej) była bardzo zbliżona w całej populacji, co pozwala nam na budowanie pewnych generalizacji i wyciągnięcie wniosków dotyczących kolejnej oceny wyników jednostek naukowych.

Kwestionariusz ankiety

Kwestionariusz ankiety składał się z dwóch części i uwzględniał zarówno ocenę zakończonego procesu parametryzacji, jak i sugestie do przyszłej parametryzacji. W części pierwszej pytaliśmy o ocenę: adekwatności uzyskanej oceny parametrycznej; sprawiedliwości dokonanych ocen (za wysokie, za niskie) również innych jednostek, porównywalnych z własną; składu grupy wspólnej oceny (GWO), w której jednostka była oceniana (zbyt heterogeniczna czy jednorodna); rzetelności rozpatrywania odwołania (jeżeli jednostka się odwoływała) oraz sposobu prezentowania ostatecznych wyników parametryzacji (nadmiernie szczegółowe lub adekwatne). Duża grupa pytań w tej części ankiety dotyczyła zaufania do procesu parametryzacji oraz oceny kontaktu z podmiotami odpowiedzialnymi za przeprowadzenie oceny. Pytaliśmy o zaufanie do KEJN, jeśli idzie o ustalanie kryteriów oceny parametrycznej oraz typowanie jednostek do kategorii A+ oraz o zaufanie do decyzji ekspertów oceniających jednostkę. Inne pytania dotyczyły oceny obsługi systemu informatycznego oraz kontaktu z pracownikami obsługi informatycznej. Ważne pytanie dotyczyło stopnia zrozumienia procedury porównywania parami.

Druga część ankiety dotykała jakościowej oceny kryteriów parametryzacji oraz sugestii na przyszłość. Kierownicy jednostek mogli się wypowiedzieć na temat 26 szczegółowych elementów dorobku jednostki, które mogą być brane pod uwagę przy ocenie parametrycznej, z prośbą o przypisanie im odpowiedniej wagi do oceny jednostek podobnych do własnej. Te ilościowe oceny były uzupełniane odpowiedziami na dwa pytania otwarte, w których kierownicy jednostek mogli dodać inne elementy dorobku warte uwzględnienia w procesie oceny oraz wymienić ważne osiągnięcia własnej jednostki, których obecna ankieta jednostki nie uwzględniała.

Ocena zakończonego procesu

Większość ankietowanych (51,6%) wyraziła przekonanie, że kierowana przez nich jednostka została adekwatnie oceniona, a w odpowiedzi na kolejne pytania respondenci wskazywali, że nie są im znane przypadki jednostek, które otrzymały niesprawiedliwie niską (79,8%) lub niesprawiedliwie wysoką ocenę (67,5%). Można zatem powiedzieć, że wyniki w dużej mierze oddają środowiskową hierarchię jednostek. Warto przy okazji wspomnieć, że prawie nikt (0,06%) nie uznał, że kierowana przez niego jednostka uzyskała ocenę niesprawiedliwie wysoką, podczas gdy prawie 48% uznało ocenę swojej jednostki za nazbyt niską. Spośród wszystkich typów jednostek najbardziej zadowoleni okazali się kierownicy instytutów Polskiej Akademii Nauk (61,1%), najmniej zadowoleni kierownicy instytutów badawczych (33%). Jeśli idzie o obszar nauki, najbardziej zadowolone okazały się jednostki reprezentujące nauki humanistyczne i społeczne (ponad 56%), najmniej – nauki o sztuce i twórczości artystycznej (33%). Spośród jednostek odwołujących się od dokonanej oceny 48% oceniło proces odwołań jako rzetelny, a 23,5% jako mało rzetelny (reszta nie miała zdania). Wysoko oceniona została obsługa procesu parametryzacji. Sprawność obsługi systemu komputerowego oceniło pozytywnie 58% (36% ocen negatywnych), kontakt z Ośrodkiem Przetwarzania Informacji pozytywnie oceniło 72,7% respondentów (8% ocen negatywnych), kontakt z Index Copernicus – firmą obsługującą parametryzację – pozytywnie oceniło 67,5% (3,5% ocen negatywnych). Pozostałe osoby nie miały na dany temat zdania. Wielu kierowników jednostek prawdopodobnie nie miało z tymi instytucjami bezpośrednio do czynienia, delegując te zadania na inne osoby.

Grupę wspólnej oceny (GWO), do której została przypisana jednostka, za jednorodną (a więc pozwalającą na rzetelne porównanie dorobku) uznało 60,9% kierowników jednostek, podczas gdy 39,1% uznało ją za niejednorodną. Należy też podkreślić, że ocena jednorodności GWO wyraźnie różnicowała jednostki zadowolone i niezadowolone z uzyskanej oceny. Własną GWO za niejednorodną oceniło tylko 24,2% kierowników zadowolonych z oceny własnej jednostki oraz aż 55,4% kierowników jednostek niezadowolonych. Niejednorodność jednostek naukowych w ramach GWO stanowi zatem największe wyzwanie dla KEJN w obliczu kolejnej parametryzacji (2017).

Drugim wyzwaniem, przed którym stanie kolejna ocena parametryczna, jest sposób budowania zintegrowanej ostatecznej oceny jednostki i jej pozycji wśród innych jednostek. Procedurę porównywania parami za niezrozumiałą uznało 45,7% kierowników ocenianych jednostek, choć – co może budzić zdziwienie – znacznie częściej przyznawali się do tego kierownicy, którzy uznali otrzymaną ocenę za rzetelną, niż ci, którzy byli nią nieusatysfakcjonowani (57,2% vs. 33,9%).

Wiele kontrowersji – skrajnych opinii – wzbudziła ocena IV kryterium (inne osiągnięcia naukowe i artystyczne), która jako jedyna miała charakter całkowicie ekspercki. W komentarzach umieszczanych przez ankietowanych kierowników jednostek wskazywano dużą dowolność ekspertów w formułowaniu ocen, którym towarzyszyły jednocześnie nazbyt lakoniczne uzasadnienia. Dowodzi to, że – pomimo zastrzeżeń zgłaszanych do oceny opartej na skwantyfikowanych parametrach – respondenci nie są skłonni zawierzyć w pełni subiektywnym ocenom ekspertów i preferują wskazanie ewaluatorom sformalizowanych wytycznych dotyczących zasad i kryteriów oceny. Stoi to w sprzeczności z jednocześnie zgłaszanymi postulatami zwiększenia zakresu ocen eksperckich.

Co warte jest szczególnego podkreślenia, kierownicy w przytłaczającej większości (85,4%) wskazywali na konieczność szerszego udostępnienia informacji o dorobku jednostek naukowych. Większa transparentność na pewno poprawi legitymizację oceny parametrycznej, a osiągnięcia najlepszych jednostek mogłyby być doskonałą formą rozpowszechniania dobrych praktyk i pokazania, czym się zajmują jednostki najlepiej oceniane w poszczególnych GWO.

Zaufanie

Centralnym elementem procesu oceny jednostek naukowych jest zaufanie, zarówno do tych, którzy wyznaczają reguły, jak i do tych, przy pomocy których dokonywana jest ewaluacja działalności naukowej. Element zaufania jest tym bardziej istotny, że ważną częścią ewaluacji była ocena ekspercka, w przypadku której szczególnie potrzebne jest zaufanie, jakim darzy się ekspertów.

Wbrew różnym obiegowym opiniom przeprowadzona ankieta ujawniła znaczny poziom zaufania kierowników jednostek naukowych zarówno do procedury oceniania, jak i ciał oceniających. Zaufanie do KEJN w zakresie ustalonych kryteriów oceny wyraziło 55,6% respondentów (31,7% ocen negatywnych), zaufanie do ekspertów oceniających jednostkę wyraziło 70% respondentów (16,5% ocen negatywnych), zaufanie do sposobu typowania przez KEJN jednostek do kategorii A+ wyraziło 50% respondentów (26,7 ocen negatywnych, reszta nie miała zdania).

Jak należało się spodziewać, największym zaufaniem obdarzają KEJN kierownicy jednostek, które uzyskały najwyższą kategorię naukową (70,3% ocen pozytywnych w przypadku kategorii A+, 67,5% – kategorii A, 46,6% – kategorii B, a 42,9% – kategorii C). Zasadnicza granica w zakresie zaufania przebiega zatem pomiędzy jednostkami, które uzyskały kategorię A lub A+, a pozostałymi jednostkami. Pewne zróżnicowanie wyrażanego zaufania zaobserwowaliśmy w zależności od typu jednostki: najwyższy poziom zaufania u przedstawicieli instytutów Polskiej Akademii Nauk (63,0% ocen pozytywnych), nieco mniejsze w przypadku jednostek organizacyjnych uczelni (57,8%), najniższe – instytutów badawczych (40,2%). Jeśli idzie o grupy nauk (nauki ścisłe, o życiu, społeczne, humanistyczne oraz o sztuce i twórczości artystycznej), to uzyskane wyniki wskazują na zdecydowanie niższe niż w pozostałych obszarach zaufanie wyrażane przez kierowników jednostek artystycznych (w obszarze nauk o sztuce i twórczości artystycznej jedynie 31%, podczas gdy w pozostałych obszarach nauki zaufanie do KEJN jako podmiotu tworzącego kryteria oceny parametrycznej wynosi około 60%). Niewątpliwie ilustruje to problemy różnorodności jednostek artystycznych, złożoności oceny w obszarze sztuki, a przede wszystkim legitymizacji oceny parametrycznej w środowiskach artystycznych, z którymi KEJN musi się jakoś zmierzyć.

Jako podsumowanie tej części ankiety spróbowaliśmy wyodrębnić te aspekty procesu parametryzacji, które w największym stopniu przewidywały satysfakcję kierowników z oceny własnej jednostki. W tym celu podzieliliśmy wszystkie jednostki na dwie grupy: jednostki usatysfakcjonowane własną oceną (51,9% jednostek) oraz jednostki, które ten proces oceniły jako nierzetelny (48,1%). Analiza regresji wykazała, że najlepszymi predyktorami uznania oceny własnej jednostki za rzetelną były: (1) uznanie, że jednostka została przydzielona do adekwatnej jednorodnej GWO, a więc że ocena była wynikiem porównań z jednostkami podobnymi do siebie; (2) zaufanie do ekspertów dokonujących ocen; (3) zaufanie do KEJN w zakresie ustalania kryteriów oceny parametrycznej. Wszystkie te czynniki można uznać za ważne składniki tzw. sprawiedliwości proceduralnej.

Postulaty na przyszłość

Wyniki drugiej części ankiety ujawniły silne zróżnicowanie, zależne od obszaru nauki, jeśli idzie o wagę przywiązywaną do poszczególnych potencjalnych kryteriów oceny. W porównaniu z innymi dziedzinami nauki w grupie nauk o życiu najwyższą wagę przypisano publikacjom z listy A, grantom i współpracy międzynarodowej, w grupie nauk ścisłych i inżynieryjnych – patentom, wdrożeniom, współpracy z przemysłem i infrastrukturze badawczej, w grupie nauk społecznych – czasopismom z listy B, monografiom, rozdziałom w monografiach i redakcjom tychże. Nauki humanistyczne oraz nauki o sztuce i twórczości artystycznej miały najbardziej zróżnicowane postulaty. W grupie nauk humanistycznych podkreślano wagę czasopism krajowych (lista B), monografii i rozdziałów w monografiach, a także popularyzacji wiedzy, działalności na rzecz środowiska, organizacji konferencji, uznania krajowego i międzynarodowego, ocen eksperckich, a także uprawnień doktorskich i habilitacyjnych. Kierownicy jednostek z grupy nauk o sztuce i twórczości artystycznej podkreślali z kolei wagę popularyzacji wiedzy, działalności na rzecz środowiska, organizacji konferencji, uznania krajowego i międzynarodowego, uprawnień doktorskich i habilitacyjnych, ale przede wszystkim dorobku artystycznego.

Na otwarte pytania o istotne osiągnięcia, których jednostka nie mogła w obecnym kształcie ankiety sprawozdać, zdecydowanie najczęściej wymieniana była działalność na rzecz środowiska zewnętrznego, w tym: popularyzacja wiedzy, współpraca ze środowiskiem lokalnym, udział w pracach eksperckich, współpraca z przemysłem i przedsiębiorstwami, udział w pracach krajowych i międzynarodowych zespołów jury, pełnienie funkcji publicznych czy organizacja specjalistycznych usług. Na drugim miejscu uplasowały się postulaty dotyczące publikacji, obejmujące m.in.: podniesienie oceny monografii, dowartościowanie prowadzenia serii wydawniczych, postulat uwzględniania w ocenie czasopism spoza list MNiSW (tzw. working papers, materiałów konferencyjnych, publikacji elektronicznych, podręczników), uwzględnianie wydawnictw niemających postaci papierowej (nuty, niektóre albumy, płyty CD), a także przyznawanie punktacji jednostkom wydającym czasopisma również o niższej punktacji niż założona w poprzedniej ocenie (wówczas 8 pkt.). Na trzeciej pozycji wśród wymienianych postulowanych kryteriów ocen znalazło się docenienie współpracy międzynarodowej i międzynarodowych grantów, wybitnych osiągnięć międzynarodowych pojedynczych autorów, a także grantów niefinansowanych przez uznane polskie agencje (NCN czy NCBR). Warto zwrócić uwagę, że kryteria opracowywane do nowej parametryzacji (2017) wiele z tych postulatów uwzględniają.

Zgłaszane w tej części kwestionariusza ankiety sugestie należy oceniać ostrożnie. Z jednej strony zapewne część respondentów istotnie wskazała te czynniki, które są ważne w ocenie jednostek naukowych i pozwalają w szczególności wyodrębnić jednostki bardzo dobre i pozytywnie się wyróżniające. Z drugiej wszakże strony można odnieść wrażenie, że część jednostek wskazywała te czynniki, na podstawie których chciałaby być oceniana (gdyż w tych obszarach osiąga dobre wyniki). Trzeba także zwrócić uwagę na duże zróżnicowanie opinii respondentów w odniesieniu do tej kwestii: tabela 1 przedstawia sugerowane przez respondentów wartości wag poszczególnych kryteriów (średnia arytmetyczna), z uwzględnieniem zróżnicowania tych ocen (odchylenie standardowe). Z uwagi na to, że w obszarze nauk humanistycznych, społecznych oraz o sztuce i twórczości artystycznej udział jednostek innych niż uczelniane jest bardzo niski (i jednocześnie wartości postulowane przez przedstawicieli instytutów PAN niewiele różnią się od postulatów respondentów z uczelni wyższych), zaprezentowano jedynie wartości średnie dla całych obszarów.

Generalnie można zauważyć, że postulowane jest obniżenie znaczenia I kryterium (głównie publikacji) na rzecz podwyższenia znaczenia potencjału naukowego (II kryterium); ocenie wszelako winien podlegać głównie dorobek (dokonania) jednostki, nie zaś potencjał do jego generowania. Wyniki wskazują także, że kierownicy jednostek humanistyczno-społecznych chcieliby przydać też większego znaczenia materialnym efektom działalności naukowej (choć osiągnięcia jednostek z tej grupy nauk nie były w tym obszarze spektakularne). Wartości postulowanej wagi dla kryterium IV są nieco niższe od faktycznie obowiązujących w grupie nauk humanistyczno-społecznych, a w pozostałych grupach nauk – zbliżone do poziomu uwzględnionego w ocenie parametrycznej. Można zatem wnosić, że środowisko naukowe nie oczekuje zwiększenia znaczenia oceny eksperckiej.

Opisanych wyżej postulatów nie można bezkrytycznie przyjąć jako wyznaczników kierunków zmian kryteriów oceny. Do tego zadania przydatna jest analiza m.in. dokumentów określających strategię rozwoju nauki polskiej, a także – w pewnym zakresie – stanowisko Komitetu Polityki Naukowej w zakresie wskaźników doskonałości naukowej. (Stanowisko to nie może zostać wykorzystane w pełni, gdyż po pierwsze odnosi się do oceny dorobku indywidualnych naukowców, nie zaś jednostek naukowych, po drugie wskazuje czynniki ważne w poszczególnych obszarach lub nawet dyscyplinach nauki, zaś kryteria oceny jednostek naukowych nie powinny być aż tak różnicowane; kryteria są definiowane dla grup nauk.) W tym ujęciu należy podkreślić przede wszystkim znaczenie czynników sprzyjających poprawie międzynarodowej pozycji nauki polskiej (czemu sprzyjają w szczególności: publikowanie artykułów w uznanych międzynarodowych czasopismach, publikowanie monografii w renomowanych wydawnictwach, pozyskiwanie grantów na badania – w tym zwłaszcza z instytucji międzynarodowych, mobilność naukowców itd.), a także czynników związanych z komercjalizacją wyników badań (czemu sprzyjają w szczególności pozyskiwane granty na działalność badawczo-rozwojową, a także wdrożenia i aplikacje). Jakkolwiek część czynników uznawanych za ważne przejawy doskonałości naukowej ma charakter ekspercki, wymykający się ocenie parametrycznej, możliwe jest ich pośrednie uwzględnienie w ocenie jednostek naukowych. Przede wszystkim jest to dokonywane w ramach IV kryterium (np. nowatorstwo prowadzonych badań, oddziaływanie na otoczenie społeczne, gospodarcze, kulturowe itd.). Dodatkowo element oceny eksperckiej jest uwzględniony w szerszej analizie jednostek pod kątem przyznania im kategorii A+ (w tym z uwzględnieniem wskaźników bibliometrycznych), a także poprzez zróżnicowanie punktacji przyznanych grantów (w zależności od rangi projektów oraz roli jednostki w zarządzaniu projektem) oraz uwzględnienie dodatkowej kategorii osiągnięć wybitnych (wybitnych monografii, wybitnych dzieł artystycznych). Te aspekty zostały uwzględnione w rozporządzeniu regulującym kryteria oceny parametrycznej na rok 2017.

Konkluzje do przyszłej parametryzacji

Przeprowadzone badania przede wszystkim pokazały, w jaki sposób odbierana jest ewaluacja jednostek naukowych przez osoby najbardziej w nią zaangażowane. Odbiór ten, naszym zdaniem, jest umiarkowanie pozytywny, ale przede wszystkim jest on różny i tę różnorodność staraliśmy się bardzo pokazać. Jest to o tyle ważne, że w dyskursie medialnym dominują głosy tych, którzy najgłośniej artykułują swoje niezadowolenie i często przypisują sobie reprezentowanie całego środowiska naukowego.

Kierownicy jednostek naukowych deklarowali zrozumienie dla zasad parametryzacji, a co ważniejsze – w dużej liczbie zaangażowali się w jej ulepszanie poprzez udział w ankiecie, co jest dla nas wyrazem zaufania dla działań KEJN. Jednocześnie badania pokazują, że największe grono niezadowolonych z parametryzacji 2013 reprezentuje sektor instytutów badawczych, a pod względem obszaru badań wywodzi się głównie z nauk o sztuce i twórczości artystycznej. Aktywność obu środowisk odbiega od klasycznej akademickiej aktywności, zwłaszcza pod względem form prezentacji wyników badań naukowych. Ich ujęcie we wspólne ramy parametryczne stanowi jedno z największych wyzwań dla oceny jednostek naukowych 2017.

Dokonana przez nas analiza pokazała jednocześnie, że najsłabszymi elementami procesu oceny jednostek naukowych jest przede wszystkim: (a) niejednorodność GWO, (b) skomplikowany mechanizm porównania parami oraz (c) sposób ocen osiągnięć naukowych i artystycznych w ramach IV kryterium. Z tego powodu każdy z tych elementów stał się przedmiotem prac specjalnie powołanych w tym celu zespołów, a zaproponowane przez nie rozwiązania znalazły się w nowym rozporządzeniu (o którym mowa była w FA 4/2016). Należy podkreślić, że ani w pytaniach zamkniętych, ani też w komentarzach, które ankietowani mogli umieszczać, nie pojawiały się sygnały o konieczności wprowadzenia radykalnych zmian. Przeciwnie – podkreślano potrzebę stabilizacji całego systemu oceny jednostek, przewidywalności zasad oceny. Warto przy tym zauważyć, że istnieją znaczne różnice w poszczególnych grupach nauk w zakresie tego, co jest ważne w ocenie parametrycznej.

Ocena parametryczna była i będzie budzić środowiskowe kontrowersje, trudno bowiem oczekiwać, że następujący w jej wyniku proces kategoryzacji, budujący hierarchię prestiżu i oddziałujący na wysokość publicznego finansowania, będzie przez wszystkich równie pozytywnie oceniany. Naszym zdaniem, mimo dobrego odbioru trudno nie zauważyć, że istnieją środowiska wyraźnie negatywnie nastawione do oceny parametrycznej i kolejne badanie postewaluacyjnie chcielibyśmy wzbogacić w narzędzia umożliwiające nam lepszą diagnozę jego przyczyn.