Historia kołem się toczy – rzec by można, czytając projekt rozporządzenia MNiSW z 27 października ub.r., regulującego „kryteria i tryb przyznawania kategorii naukowej jednostkom naukowym” w roku 2012. Od 1998 r. w ministerialnych systemach oceny parametrycznej uwidaczniają się na przemian dwie tendencje – do ich upraszczania bądź komplikowania. Przedstawiony do konsultacji owoc ponad dziewięciu miesięcy pracy Komitetu Ewaluacji Jednostek Naukowych (KEJN) stanowi przykład tego drugiego kierunku, gdyż bije rekordy obszerności (65 stron) i złożoności. Minusy i plusy tego dokumentu przedstawił już na łamach FA (nr 11) prof. Jerzy Marian Brzeziński, skupiając się na problematyce nauk humanistycznych i społecznych. Ze sporą częścią tych uwag się zgadzam (np. tych dotyczących monografii), ale i tak pewne specyficzne aspekty dorobku tej grupy nauk pozostały niezauważone. Czasopisma rejestrowane wyłącznie w bazie Arts & Humanities Citation Index , a więc jak najbardziej z listy filadelfijskiej (w tym 5 polskich tytułów), nie mają oficjalnie wyliczanych wskaźników cytowań, w tym impact factor, a zatem są w ogóle nieobecne na ministerialnej liście A czasopism punktowanych...

Z racji moich 20-letnich praktycznych doświadczeń skoncentruję się na proponowanych zasadach oceny jednostek naukowych uczelni z kręgu nauk o życiu.

Dlaczego tak dużo parametrów?

Na początek kilka uwag ogólnych na temat przyjętych podstawowych założeń ewaluacji. Proponuje się oto najbardziej skomplikowany system w historii przyznawania kategorii naukowych. I tak Ankieta jednostki naukowej (zał. nr 1; dalej: AJN) do sprawozdania obejmuje aż 21 rozbudowanych punktów. Karta kompleksowej oceny jednostki (zał. 3–6; dalej: KKO) zawiera z kolei od 8 do 11 parametrów do oceny punktowej (w zależności od grupy nauk), ujętych w cztery zestawy kryteriów: osiągnięcia naukowe i twórcze (z wagą od 65 do 75), potencjał naukowy (5–20) oraz materialne (5–15) i niematerialne (5–15) efekty działalności naukowej. W naukach o życiu to aż 33 parametry opisujące jakość prowadzonej działalności naukowej. Inne komisje KEJN już do tych ocen cząstkowych zastosowały algorytmy z różną wagą poszczególnych „podkryteriów” – jedne liczyły efektywność (dzieląc łączną liczbę punktów dla danego kryterium przez liczbę osób zatrudnionych, N), inne nie. Na koniec samo wyznaczenie kategorii (przez porównywanie jednostek parami) to dosyć złożona, choć ciekawa operacja matematyczna (nota bene, daleko jeszcze do poznania naprawdę końcowego wyniku – wielkości kwoty dotacji dla konkretnej instytucji). W tym kontekście łza się w oku kręci na wspomnienie pierwszego systemu ewaluacji z czasów KBN, autorstwa prof. Andrzeja K. Wróblewskiego, w którym można było łatwo wyliczyć w złotówkach wartość jednego punktu parametrycznego.

Ewidentnie zatem KEJN przyjął w swoich pracach pryncypialne założenie, iż im bardziej kompleksowa i dogłębna będzie ocena parametryczna, tym bardziej zbliży się ona do ideału ewaluacji „sprawiedliwej”. Tymczasem prawdą jest, iż wszystkie elementy dorobku są ze sobą najczęściej wzajemnie skorelowane. Czy można sobie wyobrazić, np. w naukach podstawowych, grupę badawczą bez znaczących sukcesów publikacyjnych, ale za to brylującą w kraju w świetle innych kryteriów? Zapewne są wyjątki od tej statystycznej reguły, ale czy warto dla nich nadmiernie komplikować system ewaluacji? Prof. Lucjan Piela wykazał na przykładzie dorobku Wydziału Chemii UW, iż nie warto (patrz: „Zagadnienia Naukoznawstwa” 31, 1995, s. 147–157), a ja z podobnym skutkiem wykonałem symulacje dla zespołowych osiągnięć w naukach o Ziemi („Zagadnienia Naukoznawstwa” 38, 2002, s. 51–58).

Wydaje się niestety, że tradycją stało się już testowanie zalet i wad kolejnych systemów dopiero w trakcie praktycznej oceny. Dobrze wiem, iż po takim sprawdzianie dąży się do optymalizacji zasad ewaluacji przy maksymalnej redukcji liczby kryteriów... Szkoda, iż KEJN skorzystał w niewielkim stopniu z doświadczeń poprzedników. W rezultacie zarówno przygotowanie ankiety w ewaluowanych jednostkach, jak i sam proces oceny przez zespoły eksperckie będą bardzo czasochłonne, a dalekosiężne skutki ewaluacji – nie zawsze zgodne z przesłankami polityki rządowej.

Szkoda potencjału

Oto trzy przykłady zbędnego trudu ocenianych i oceniających w wyniku zastosowania systemu ewaluacji przygotowanego przez KEJN.

1. Generalnie chybionym pomysłem jest powrót do szerokiego uwzględniania „potencjału naukowego jednostki naukowej” (kryterium II w KKO), z wyjątkiem kryterium odnoszącego się do relacji między sumaryczną kwotą grantów a dotacją na działalność statutową (pkt. a). Powinno się rozliczać jednostki z konkretnych dokonań, a nie z tego, co mogą ewentualnie osiągnąć – takie są przecież oczekiwania sponsorów-podatników! Dobrze przynajmniej, iż waga tego parametru nie jest zbyt wysoka. W przeciwieństwie do prof. Brzezińskiego, z następujących powodów uważam za błędne uwzględnienie liczby przyznawanych stopni i tytułów :

Awanse wynikają przecież z dorobku publikacyjnego, ewaluowanego już jako grupa I parametrów w KKO (pkt. 1 i 2, publikacje i monografie, choć te drugie to też publikacje!). Mamy więc do czynienia z przynajmniej częściowym dublowaniem oceny tych samych osiągnięć.

Niektóre jednostki, zwłaszcza w grupie nauk o sztuce i twórczości artystycznej, mogą rekompensować brak realnych osiągnięć w działalności naukowej i twórczej wysoką efektywnością w tym zakresie.

Co gorsza, owa duża „produkcja” doktoratów, habilitacji i profesur z reguły wiąże się z obniżeniem ich poziomu, zwłaszcza iż przez dwa lata można jeszcze awansować na dotychczasowych zasadach. Stoi to w jawnej sprzeczności z założeniami polityki MNiSW.

Dla tego akurat parametru autonomia działań poszczególnych komisji KEJN skutkowała zadziwiająco zróżnicowanymi rezultatami – i to abstrahując od nierównych wag. Dlaczego tylko w grupie nauk ścisłych i inżynierskich uwzględnia się liczebność kadry „samodzielnej” i kadry młodej, a jedynie w grupach nauk humanistycznych i społecznych oraz nauk o sztuce i twórczości artystycznej – udział w rozwoju kadr naukowych spoza jednostki?

2. Szczególny trud czeka osoby przygotowujące do AJN opis niematerialnych efektów działalności naukowej. Wyselekcjonowanie trzech najważniejszych osiągnięć w każdym roku poddanym ocenie będzie nie lada sztuką, zwłaszcza gdy wymogi są „od Sasa do Lasa”. Jak wiarygodnie ustalić względną rangę nagród i wyróżnień (indywidualnych i zespołowych), rozbudowy infrastruktury badawczej, organizacji konferencji czy sukcesów w upowszechnianiu nauki lub w wdrożeniach? A i tak ostateczna ocena tego przeważnie niewiele znaczącego parametru będzie ekspercka ze wszystkimi jej słabościami. W dodatku decydować będą jeszcze inne elementy wyróżnione w KKO (w naukach o życiu: zakres współpracy międzynarodowej i poziom publikacji).

3. Niewiele łatwiejsze będzie przygotowanie argumentów na rzecz przyznania prestiżowej i ekstra dotowanej kategorii A+ (§ 11. 2). Ograniczę się do przykładu z grup nauk o życiu (pkt. a) oraz nauk ścisłych i inżynierskich (pkt. i) – obowiązku podania sumy liczby cytowań publikacji według Web of Science pracowników jednostki w okresie objętym oceną, podzielonej przez liczbę N. Czy projektodawca zdaje sobie sprawę, ile czasu zajmie rzetelne przygotowanie takiego zbioru informacji dla instytucji zatrudniającej 100 i więcej osób? I czy ktoś będzie to w stanie sprawdzić? Chyba zapomniano o cytowaniach innych publikacji niż artykuły z czasopism z listy filadelfijskiej, np. książek i wydawnictw konferencyjnych. Szkoda więc, że nie nastawiono się na dużo mniej czasochłonne i łatwiejsze do weryfikacji parametry bibliometryczne, takie jak wskaźnik Hirscha (ale z ograniczonym udziałem pojedynczego pracownika np. do 2 publikacji; patrz: http://www.ibch.poznan.pl/Pl/Sprawy_Nauki/Sprawy_Nauki_RK_internet.pdf) czy średnia z 10 najczęściej cytowanych publikacji autorstwa pracowników jednostki. Należy zauważyć, iż moja propozycja nie wiąże się z koniecznością afiliacji w każdej publikacji do danej jednostki, tylko z aktualnym zatrudnieniem autora w niej jako podstawowym miejscu pracy. Bo właśnie w AJN przetrwała z poprzedniej wersji inna brzemienna w skutkach gafa – w pkt. 3.5 wymaga się przedstawienia sumy cytowań publikacji z afiliacją jednostki w ostatnim roku sprawozdawczym. A zatem mogą to być cytowania prac byłych i emerytowanych pracowników jednostki, a nawet tych śp. Trudno uciec od myśli, że żaden z członków KEJN nigdy sam nie przygotowywał tego typu statystyk...

Ciekawi mnie ponadto, jak będzie wyglądała realizacja § 9. pkt. 3 projektu rozporządzenia z 27 października br. Wartości ocen tzw. jednostek referencyjnych, kluczowe dla wyznaczenia progów punktowych kategorii, zostaną bowiem ustalone „biorąc pod uwagę pozycję dyscyplin naukowych (...) w skali międzynarodowej”. Czyli jak? I co ważne, skoro wiadomo, iż ta pozycja jest różna, to dlaczego nie wiąże się z nią proporcjonalnie zmiennej liczby jednostek kategorii A i A+ w poszczególnych grupach wspólnej oceny? Może nie w każdej z nich powinny być wyróżnienia zaszczytnym mianem A+?

Mleko się rozlało

Zgadzam się z prof. Brzezińskim co do bardzo wartościowego novum, jakim jest No (liczba pracowników, którzy w okresie poddanym ocenie nie opublikowali nic znaczącego) i potrzebie wyznaczenia punktowego minimum do tego kryterium – 6 pkt. (w naukach o życiu to mogłoby być nawet i 10 pkt.). Jest to krok w dobrym kierunku w celu ujawnienia „ogona” obecnego w każdej jednostce – zwykle znacznej grupy mało efektywnych badaczy ukrytych za plecami nielicznych liderów. Ale to tylko pierwszy krok. Dopiero rewolucja w definiowaniu liczby 3N publikacji pokaże prawdziwą siłę jednostki, np. gdy do oceny będą się liczyć po 3 prace każdego jej pracownika naukowego.

W ogóle szkoda, iż mając taki zasób danych statystycznych z poprzednich ocen (dotąd zresztą upublicznianych w minimalnym stopniu), w MNiSW nie prowadzi się systematycznych analiz w celu odpowiedniego doboru parametrów oceny, a jedynie powołuje kolejne zespoły ds. ewaluacji. Nie wiem, czy nawet liczba 3N publikacji była przedmiotem takich szczegółowych symulacji. Parametryzacja utylitarnych elementów działalności badawczej zawsze budziła kontrowersje i trudno uwierzyć, by i tym razem stało się inaczej. Zaryzykuję twierdzenie, iż spore niespodzianki wynikną teraz z zastosowania przez KEJN kwotowej metody rozliczania grantów i materialnych efektów działalności naukowej. Na przykład, czy wzięto pod uwagę fakt, iż wysokość wynagrodzeń w strefie budżetowej była w ubiegłym roku zamrożona? Wiem od dyrektora jednego z instytutów PAN, że z tego powodu wiele jednostek nie mogło nawet skonsumować części środków zewnętrznych (w tym z 7PR) przeznaczonych na zatrudnienie nowych badaczy.

Należy przypomnieć na koniec podstawową prawdę, iż system ewaluacji powinien być: (1) tak prosty i tak transparentny, jak to tylko jest możliwe, (2) konsekwentnie długofalowo stosowany, tak by (3) skutecznie służyć realizacji precyzyjnie określonej polityki naukowej. „Sprawiedliwe” jest wszystko, co służy osiągnięciu strategicznego celu przy minimalnym nakładzie sił i środków. Z pewnością powinny być wykonane wstępne symulacje dla sprawdzenia, przy ilu i jakich kryteriach oceny końcowy ranking instytucji nie różni się zbytnio od tego uzyskanego przy maksymalnie wszechstronnej ocenie. Tak naprawdę, wystarczyłaby zgodność w przyznanych kategoriach – o to wszak w końcu chodzi! Ale mleko się rozlało i, jak rozumiem, z powodu goniących terminów narzuconych przez ustawę o zasadach finansowania nauki, do takich bardziej optymalnych rozwiązań dojdziemy poprzez trud i znój ocenianych i oceniających w trakcie tegorocznej ewaluacji.