Od dwóch lat na łamach czasopism naukowych, takich jak m.in. „Forum Akademickie”, „Nauka” oraz „Pauza”, i opiniotwórczych dzienników, takich jak m.in. „Rzeczpospolita”, „Gazeta Wyborcza” oraz „Polityka”, toczy się ożywiona dyskusja na temat aktualnej oceny parametrycznej jednostek naukowych. Z reguły skupia się ona na sprawach ogólnych. Takiej też problematyce, o charakterze naukoznawczym, poświęciłem niedawno artykuł opublikowany w „PAUzie” nr 246. W tym zaś artykule analizuję nie mniej ważne kwestie szczegółowe – bo moim zdaniem „diabeł tkwi w szczegółach” – przede wszystkim o charakterze formalnoprawnym i matematyczno-rachunkowym.

Zakładam, że znamy zarówno rozporządzenia określające reguły oceny parametrycznej jednostek naukowych w grupach wspólnej oceny (GWO) z 2013 r. i grupach jednorodnych (GJ) z 2010 r., jak i rezultaty tej oceny. Tym niemniej dla lepszego zrozumienia poniższych rozważań przypominam, że w 2013 roku ocena jednostki naukowej oparta jest na algorytmie metody porównań parami w ramach GWO, wykorzystującym ważoną relację przewyższania. Dane początkowe stanowią: a) wartości czterech kryteriów kompleksowej oceny („osiągnięcia naukowe i twórcze”, „potencjał naukowy”, „materialne efekty działalności naukowej”, „pozostałe efekty działalności naukowej”) dla każdej jednostki naukowej i b) wartości czterech kryteriów dla jednostek referencyjnych kategorii naukowej A i kategorii naukowej B, w każdej z GWO – zob. Rozporządzenie MNiSW z dnia 13 lipca 2012 r. w sprawie kryteriów i trybu przyznawania kategorii naukowej jednostkom naukowym , §6 – §12.

Paradoksy i nieporozumienia

Zauważmy, że wartości trzech kryteriów dla każdej jednostki naukowej wyznaczane są według algorytmów zdefiniowanych rozporządzeniem MNiSW, zaś wartość czwartego kryterium jest wyznaczana przez członków KEJN w sposób uznaniowy. Ponieważ liczba członków KEJN (35) jest stosunkowa mała, reprezentują oni tylko wybrane dyscypliny. Dlatego nie mają oni dostatecznej wiedzy (nawet przy najlepszych chęciach), by w obiektywny sposób oceniać dorobek innych dyscyplin.

Z kolei bardzo poważne formalnoprawne zastrzeżenie budzi fakt, że w aktualnej ocenie parametrycznej nie opublikowano parametrów jednostek referencyjnych poszczególnych grup wspólnej oceny (choć w istotnym stopniu determinują one wynik tej oceny). Stoi to bowiem w jawnej sprzeczności z zasadą transparentności działań instytucji publicznych w sferze nietajnej.

Z formalnoprawnego i matematyczno-rachunkowego punktu widzenia jest też wysoce wątpliwe umieszczanie w grupie wspólnej oceny niewielkiej liczby jednostek naukowych: w skrajnym przypadku jednej (istnieje 11 tego typu „grup”: HS4HS, HS2PR, HS3SP, HS4SP, NZ4B, NZ4M, NZ3Z, SI2BA, SI2MI, SI4EG oraz TA4PR) lub dwóch (6 takich „grup”: HS2EK, HS4EK, SI2GE, SI2IM, SI2MH, SI4EI). Skąd wynika powyższe zastrzeżenie? Otóż nie można w takich grupach wprowadzić ocenianym jednostkom kategorii A+ bez łamania opisanego rozporządzeniem algorytmu nadawania tej kategorii; nie ma bowiem możliwości porównania takich jednostek z innymi jednostkami, których istnienia wymaga odpowiedni przepis – zob. Rozporz. MNiSW z dnia 13 lipca 2012 r ., § 18.7.

Zapewne tego typu pomysł włączania do grupy wspólnej oceny niewielkiej liczby jednostek naukowych jest skutkiem rozdzielnia tych jednostek na cztery różne grupy: samodzielne jednostki uczelniane (z reguły wydziały), instytuty PAN, instytuty badawcze oraz „pozostałe, pomniejsze jednostki”.

Podział ten, łącznie z zasadą, że tylko ściśle określona procentowa część jednostek każdej grupy może posiadać kategorie A+, A, B, C, doprowadza też do paradoksalnej sytuacji, że część instytutów PAN o statystycznie najwyższej efektywności naukowej otrzymuje w aktualnej ocenie parametrycznej niższe kategorie niż statystycznie mniej efektywne jednostki naukowe należące do pozostałych grup. Wynika to z faktu, że w grupach wspólnej oceny porównywane są między sobą instytuty PAN, stąd któreś z nich muszą okazać się lepsze, a inne gorsze, choć często są one znacznie lepsze od jednostek spoza PAN. (Można łatwo się o tym przekonać, porównując wyniki z 2010 roku jakiejkolwiek grupy jednorodnej z wynikami z 2013 roku odpowiednich grup wspólnej oceny – zob.: Ujednolicony wykaz ustalonych kategorii jednostek naukowych (15.12.2010); Wykaz z dnia 30 września 2013 r. jednostek naukowych i kategorii naukowych .

Ponadto niektóre grupy wspólnej oceny zostały źle skonstruowane, bowiem znalazły się w nich jednostki reprezentujące różne dyscypliny naukowe. Stąd wzajemne porównywanie takich jednostek (w szczególności ich potencjałów) jest nieporozumieniem.

Zaciemniająca asymetria

Przyjęty algorytm oceny parametrycznej zawiera też inną fundamentalną lukę natury jakościowo-ilościowej. Mianowicie w przeciwieństwie do algorytmów oceny parametrycznej obowiązujących w poprzednich latach, w aktualnie obowiązującym algorytmie porzucono ideę normowania wszystkich kryteriów oceny względem liczby pracowników naukowych zaangażowanych w realizację zadań. Normuje się bowiem w ten sposób wartości pierwszego kryterium („osiągnięcia naukowe i twórcze”) i trzeciego kryterium („materialne efekty działalności naukowej”), natomiast nie normuje się tak drugiego kryterium („potencjał naukowy”) i czwartego kryterium („pozostałe efekty działalności naukowej”) – zob. Rozporz. MNiSW z dnia 13 lipca 2012 r. , § 6 – § 12.

Asymetria ta zaciemnia rozumienie modelu oceny przez badaczy, którzy w niedostateczny sposób „czują” język liczb. Przede wszystkim jednak wpływa w kluczowy sposób na wyniki tej oceny, promując w grupach wspólnej oceny jednostki naukowe zatrudniające większą liczbę pracowników. Stwierdzenie to wymaga dodatkowego komentarza. Niewątpliwie takie pojmowanie potencjału jednostek badawczych jest zgodne ze znaczeniem terminu „potencjał” na gruncie nauk fizycznych. Np. w przypadku pola grawitacyjnego wytwarzanego przez ciało o masie M, potencjał tego pola jest proporcjonalny do tej masy, co można sparafrazować słowami „większy może więcej”. Proszę jednak zauważyć, że zastosowanie tak rozumianego kryterium „potencjału naukowego” i analogicznego kryterium „pozostałe efekty działalności naukowej” jest niespójne z fundamentalną zasadą aktualnej reformy systemu nauki i szkolnictwa wyższego, wedle której promowana ma być jakość i wydajność pracy naukowej (czemu towarzyszyć miał wzrost wynagrodzeń „najlepszych”), a nie wielkość jednostki badawczej – zob. Strategia Rozwoju Kraju 2007–2015. Strategia Rozwoju Nauki w Polsce do 2015 roku (Warszawa, 2008); J. Wolszczak-Derlacz, A. Parteka, Produktywność naukowa wyższych szkół publicznych w Polsce. Bibliometryczna analiza porównawcza . „Sprawne Państwo. Program Ernst & Young” (Warszawa: Ernst & Young Polska Sp. z o.o. sp. k., Polska, 2010); B. Kudrycka, Warto inwestować w najlepszych , „PAP Nauka w Polsce”, 28.11.2011.

Ujawnić parametry, skorygować oceny

Skąd wynika ten jednoznaczny wniosek? Otóż, zaintrygowany rewolucyjnymi pomysłami oceniania przez MNiSW i KEJN dorobku naukowego nieugruntowanymi metodami naukometrycznymi (wiadomo to badaczom specjalizującym się w badaniach naukoznawczych w ogólności i naukometrii w szczególności), zbudowałem – opierając się na dostępnych rozporządzeniach i danych zaczerpniętych z aktualnej oceny parametrycznej – program komputerowy oceny parametrycznej, który dostarcza wyniki z większą liczbą cyfr znaczących niż podane przez MNiSW. W następnym kroku uwzględniłem w tym programie ideę normowania wszystkich czterech kryteriów oceny (przyjąłem, że są one poprawnie wyznaczone przez KEJN) względem liczby pracowników naukowych zaangażowanych w realizację zadań. Po przeprowadzeniu tego rodzaju obliczeń dla jednej z grup wspólnej oceny (w której były jednostki znacznie różniące się liczbą pracowników, ale nie było wśród nich tzw. małych placówek) okazało się, że kolejność jednostek w tej grupie uległa istotnym modyfikacjom. Mianowicie, jedna z placówek (bynajmniej nie najmniejsza w tej grupie) wyprzedziła zdecydowanie pozostałe jednostki naukowe tej grupy (wynik ten jest nieprzypadkowy, bo zgodny z klasyfikacją poprzedniej oceny parametrycznej). Oznacza to, że to właśnie ta jednostka powinna otrzymać kategorię A+, a nie A, jak głosi aktualnie obowiązujący werdykt MNiSW.

Z pewnością analogicznie przetasowanie kolejności jednostek naukowych zachodzi w wielu innych grupach wspólnej oceny, z wyjątkiem „grup” składających się z jednej jednostki i jednostek o porównywalnej liczbie pracowników (nie przeprowadziłem jednak do końca tych obliczeń z braku niektórych danych).

W świetle tych wyników, deklarowanej podstawowej zasady aktualnej reformy systemu nauki, tzn. promowania jakości i wydajności pracy naukowej oraz elementarnych zasad etycznych (które proklamuje też aktualny Kodeks etyki pracownika naukowego ), apeluję o ujawnienie parametrów jednostek referencyjnych poszczególnych grup wspólnej oceny i o skorygowanie ocen wyliczonych przez KEJN.

Podkreślam, że KEJN może tego dokonać w bardzo krótkim czasie: wystarczy tylko opublikować znane KEJN parametry jednostek referencyjnych i podzielić (w przypadku każdej jednostki naukowej) wartości drugiego i czwartego kryterium przez liczbę pracowników naukowych zatrudnionych w realizacji zadań badawczych, a tak obliczone wartości kryteriów wprowadzić do algorytmu oceny!