Kilka tygodni temu ogłoszone zostały wyniki kolejnej oceny parametrycznej i opartej na nich kategoryzacji jednostek naukowych. Jak w każdym rankingu, zwłaszcza poważnym – a takim jest kategoryzacja, która przekłada się na poziom przyszłego finansowania z budżetu państwa – są tu zwycięzcy i przegrani. Zwycięzcy mają powody do satysfakcji, jakże rzadkiego uczucia w polskim życiu publicznym. Przegrani składają odwołania i krytykują zasady oceny parametrycznej, choć przede wszystkim powinni gruntownie przeanalizować słabsze od oczekiwanych wyniki konfrontacji ogólnopolskiej, a w niemałej liczbie przypadków po prostu udoskonalić proces wprowadzania danych do ankiet, bo zwierały one sporo błędów.

Elastyczność decyzyjna

Jako członek Komisji Badań na rzecz Rozwoju Nauki, składowej Rady Nauki, aktywnie uczestniczyłem w przeprowadzeniu oceny parametrycznej oraz byłem zaangażowany w proces przygotowania reguł tej oceny. Od razu trzeba powiedzieć, że udział w przygotowaniu reguł nie miał wpływu na ich ostateczny kształt, a już na pewno na odpowiedzialność za ich ustanowienie (tę, na mocy ustawy o zasadach finansowania nauki z 2004 roku, zagwarantowaną ma minister). Jednak możliwość wielomiesięcznej dyskusji z urzędnikami ministerstwa, przygotowującymi ocenę parametryczną, a także wymiana poglądów wewnątrz naszej komisji, stanowią, moim zdaniem, na tyle cenne doświadczenie, aby podzielić się nim ze środowiskiem naukowym.

Uważam, że należy docenić elastyczność decyzyjną, wykazaną przez władze ministerstwa podczas procesu oceny parametrycznej i kategoryzacji. W trakcie tego procesu zaakceptowano ideę osobnej kategoryzacji tzw. małych jednostek, o liczebności poniżej 20 osób. Wiadomo, że takim jednostkom, często legitymującym się symbolicznym zatrudnieniem, rzędu kilku osób, stosunkowo łatwo uzyskać wysoką efektywność, która na ogół nie odpowiada rzeczywistemu potencjałowi naukowemu. Przyjęto do wiadomości (i dopuszczono odpowiednie modyfikacje karty oceny jednostki), że wpływy deklarowane przez firmy jako wynik współpracy z placówkami naukowymi nie są właściwym miernikiem innowacyjności, jeśli nie potwierdza ich umowa i faktura przekazująca godziwą kwotę na konto jednostki badawczej lub rozwojowej. Uznano również to, że komórki podstawowe uczelni o charakterze „mieszanym”, jak Wydział Matematyki, Fizyki i Chemii Uniwersytetu Śląskiego, powinny być oceniane nie według reguł semantycznych (jeśli to wydział „Matematyki i …”, to do grupy jednorodnej „Matematyka i podstawy informatyki”), ale według dominującego wkładu poszczególnych dziedzin nauki (w tym przypadku chemii). Co więcej, zaakceptowano, że dziedziny lub dyscypliny nauki, które mają wysoką pozycję naukową w skali światowej, powinny mieć również większą niż 30 proc. proporcję jednostek kategorii pierwszej, więcej niż 50 proc. kategorii pierwszej i drugiej itp.

Jest zadziwiające, że to ostatnie stwierdzenie w trakcie dyskusji poprzedzających kategoryzację spotykało się zwykle ze zdecydowanym oporem, zwłaszcza ze strony przedstawicieli środowisk humanistycznych i technicznych. Tymczasem uzasadnienie jest tutaj oczywiste: wysoki (w skali światowej) poziom dziedziny lub dyscypliny nauki jest rezultatem albo intensywnego finansowania przez okres około dwudziestu lat (tak to osiągano np. w Korei Południowej czy Hiszpanii) albo, przy niższej intensywności nakładów, kultury badawczej liczącej lat dziewięćdziesiąt (jak w przypadku nauk ścisłych w Polsce) lub nawet kilkuset (jak we Francji). Niezależnie od scenariusza rozwoju, brutalna eliminacja dobrych jednostek z takiej dziedziny - bo taka jest konsekwencja kwalifikacji do niskiej kategorii - oznacza zmarnowanie znacznych nakładów poniesionych w przeszłości i jest po prostu niegospodarnością.

Oczywiście, ktoś może zadać pytanie, czy stać nas na utrzymywanie tak wielkiej liczby placówek prowadzących badania np. w zakresie fizyki, nawet jeśli są to badania na wysokim poziomie. Naturalna odpowiedź brzmi: być może nie, ale ewentualna naprawa tego stanu rzeczy jest wymarzonym polem do popisu dla aktywnej polityki negocjacyjnej (łączenie jednostek, zmiana profilu badań itp.), a nie prymitywnej i przynoszącej szkody ekonomiczne polityki eliminacji przez degradację. Pewną zadumę wywołuje również to, że wszystkie problemy, które ministerstwo zdołało rozwiązać w trakcie procesu decyzyjnego, były sygnalizowane władzom resortu przez Radę Nauki już na etapie przygotowywania odpowiednich rozporządzeń, ale z powodów doktrynalnych nie zostały uwzględnione.

Kształtowanie krajobrazu

W tym miejscu można by zakończyć rozważania. 1 października 2010 r. wszedł w życie pakiet nowych ustaw, organizujący system nauki w Polsce w inny niż dotychczas sposób. Oceną parametryczną zajmować się będzie Komitet Ewaluacji Jednostek Naukowych, który ustanowi nowe, własne reguły, w intencji ustawodawcy - doskonalsze. Problem w tym, że i KEJN będzie musiał pomyśleć o wymiernych podstawach klasyfikacji, z tych samych powodów, które niegdyś zmusiły Komitet Badań Naukowych do wprowadzenia wymiernych kryteriów odwołujących się do tzw. listy filadelfijskiej. Bo stosunkowo łatwo jest wskazać najlepszych, ale problem zawsze pojawia się wtedy, gdy trzeba wprowadzić cezurę. Jakie są powody, że ta jednostka znalazła się w kategorii C? A ta, na pozór podobna, ma zapewniony bezpieczny byt w kategorii B? W którym momencie uznać, że jednostka reprezentuje już kategorię A+ (poziom międzynarodowy), a nie tylko kategorię A? Jeśli więc podejmowanie decyzji (czytaj: sugerowanie decyzji ministrowi) przez Komitet Ewaluacji Jednostek Naukowych ma się cieszyć w środowisku uznaniem, a polityka kreowana przez KEJN ma mieć pozytywny wpływ na rozwój nauki w Polsce (tak jak polityka oparta na kategoryzacji miała, przy wszystkich jej niedociągnięciach, istotny wpływ na spowolnienie procesu degrengolady nauki polskiej), w ocenie muszą znaleźć się elementy wymierne, w dodatku powszechnie znane. Inaczej KEJN stanie się miejscem bezpardonowego lobbingu, i to pośledniejszego rzędu, bo najważniejsze decyzje i tak będą podejmowane przez ministra.

Rola Komitetu Ewaluacji Jednostek Naukowych będzie zatem znacznie bardziej złożona, a przez to trudniejsza, niż Państwowej Komisji Akredytacyjnej, która funkcjonuje już od 8 lat i zapewne stanowiła swego rodzaju wzór dla KEJN. PKA sprawdza tylko minimalne warunki brzegowe (kadra nauczająca, ogólna poprawność procesu dydaktycznego) i dopiero od niedawna przyznaje wyróżnienia w skali szerszej niż symboliczna. Jest więc PKA przede wszystkim murem przeciw nadużyciom w systemie kształcenia na studiach, KEJN ma zaś „interaktywnie” współkształtować krajobraz nauki polskiej. Oznacza to istotną zmianę w stosunku do dotychczasowych metod oceny jednostek naukowych.

Koncepcja dotychczas dominująca, nazwijmy ją „liberalną”, zakładała, że placówki radzą sobie, jak potrafią, a oceniane są na podstawie REZULTATÓW pracy. Jeśli brak rezultatów, to albo istnienie jednostki jest pozbawione sensu i trzeba ją zlikwidować, albo jest ona słabo zarządzana i negatywne (finansowe) bodźce zmuszą ją do zmian w tym zakresie. Zwycięska koncepcja jest „antyliberalna”: państwo, wysyłając do jednostek zespoły audytorów, będzie szczegółowo przyglądać się ich funkcjonowaniu. Audytorzy nie będą przecież ograniczać się do sprawdzania list publikacji i studiowania faktur, a należy domniemywać, że podczas wizytacji będą dokonywać oceny jakości całej kadry, warunków pracy, perspektyw badawczych jednostki itp. Jest oczywiste, że ocena audytorów będzie głębsza od ankietowej, a jej rezultaty mogą być cenne również dla kierownictwa placówki w prowadzonej przez nie polityce.

Z drugiej strony działalność KEJN będzie wielokrotnie droższa niż przeprowadzenie oceny parametrycznej i kategoryzacji w dotychczasowym kształcie. Dlatego funkcjonowanie KEJN musi być wysoce efektywne i od samego początku wolne od standardowych błędów.

Pułapki czekają

Jakie pułapki, w postaci „oczywistych założeń do zasad oceny”, przyjmowanych i akceptowanych bez wystarczającej refleksji, czyhają na KEJN? Jedna z takich powszechnych opinii brzmi: „Kryteria oceny muszą być maksymalnie proste”. Podobno dlatego, żeby urzędnicy i ich prawnicy rozumieli, czego dotyczą przygotowywane przez nich rozporządzenia. Przypomnę, że mówimy o blisko tysiącu ocenianych jednostek o bardzo niejednorodnej strukturze. Analiza danych dostarczanych przez te jednostki ma stanowić podstawę do decyzji ministra, a więc decyzji na szczeblu rządowym. Czy rząd w swoich decyzjach, np. w polityce gospodarczej lub demograficznej, musi się opierać tylko na najprostszych narzędziach? Czy GUS jest tylko interfejsem do bazy danych, czy też – być może we współpracy z ekonomistami lub demografami – ma dane interpretować i te interpretacje przekazywać rządowi? Czemu w przypadku tak skomplikowanej materii, jak B&R, ma być akurat „jak najprościej”? Jednoznaczny charakter zbieranych danych – jak najbardziej jednoznaczne decyzje na końcu procesu oceny – też, ale to, co dzieje się w środku „czarnej skrzynki”, wcale nie musi już być takie proste, jeśli zawiera mechanizm, którego działanie rozumiemy.

Inne popularne twierdzenie paraliżujące wszelkie pomysły, to: „Nie da się”. Nie da się ocenić poziomu danej dziedziny nauki w Polsce w odniesieniu do nauki światowej. Nie da się zmierzyć potencjału naukowego jednostki. W ogóle nie da się porównywać rzeczy nieporównywalnych. Oczywiście wszystkie te zdania są prawdziwe, bo pojęcia takie, jak „poziom dziedziny lub dyscypliny nauki” albo „potencjał naukowy jednostki”, są nieprecyzyjne. Jeśli jednak zastąpić je łatwiej mierzalnymi charakterystykami, otrzymujemy cenne narzędzia oceny. Zamiast „względnego poziomu dziedziny nauki” można np. badać „udział procentowy publikacji autorów afiliowanych w Polsce w czasopismach z danej dziedziny nauki”, mierzony w ramach Web of Science lub ERIH i ewentualnie korygowany przez wskaźniki cytowań, również obliczane dla danej dziedziny nauki.

Komitet Ewaluacji Jednostek Naukowych powinien zresztą szerzej korzystać z osiągnięć współczesnej bibliometrii. Jednym z poważniejszych problemów minionej kategoryzacji była konieczność łącznego oceniania konglomeratów typu „wydział matematyki, fizyki i chemii” albo „wydział przyrodniczy”. Ponieważ fizycy czy chemicy publikują średnio ok. 3 razy więcej niż matematycy, składniki matematyczne takich wydziałów na ogół znacznie obniżały efektywność całej jednostki. A przecież istniała prosta metoda, która pozwalałaby uwzględniać prawdziwy wkład części matematycznych tych wydziałów. Jeśli matematycy mieli przedstawiać 3N prac, to fizycy lub chemicy powinni przedstawiać do oceny 9N prac! Po unormowaniu uzyskiwalibyśmy obraz efektywności znacznie bardziej zbliżony do rzeczywistego.

Stosunkowo niedawno F. Radicchi, S. Fortunato i C. Castellano opublikowali pracę Universality of citation distributions: Toward an objective measure of scientific impact (PNAS, 105 no 45 (2008), 17268–17272), w której pokazują na danych empirycznych, jak proste normalizacje prowadzą do rozkładu cytowań niezależnego od dziedziny nauki. Jest prawdopodobne, że na podstawie takich rezultatów będzie można zrealizować propagowaną przez przewodniczącego Rady Nauki, prof. Kazimierza Stępnia, koncepcję „wielkich grup jednorodnych”, w ramach których, po uprzedniej normalizacji, porównywane będą wszystkie jednostki z grup dziedzinowych, np. grupy nauk ścisłych i technicznych.

Przedstawiony wyżej problem wiąże się ściśle z inną poważną słabością stosowanego systemu oceny parametrycznej. Wspominaliśmy już, że mała, wyspecjalizowana jednostka stosunkowo łatwo może uzyskać wysoką efektywność, choć jej rzeczywisty potencjał (szerokość zakresu prowadzonych badań, liczące się nazwiska, pozycja w kraju lub w świecie) na ogół znacznie ustępuje jednostkom większym, np. niektórym wydziałom dużych uniwersytetów. To nic dziwnego: algorytm w swej części „teoretycznej” ocenia bieżącą aktywność (4 lub 5 lat), a za miarę osiągnięć przyjmuje w zasadzie jedynie trudność w opublikowaniu pracy, na podstawie złudnego założenia, że czasopismo o dużym (w danej chwili!) IF publikuje tylko prace wiekopomne. To tak, jakby w części „gospodarczej” premiować wyłącznie patenty, w dodatku tylko niedawne, nie zwracając przy tym żadnej uwagi na ich niezbędne uzupełnienie – wdrożenia i wpływy z wdrożeń i licencji. Dla publikacji naukowej naturalnym odpowiednikiem opłat licencyjnych jest liczba cytowań, a osoby posiadające długą listę cytacji cieszą się uznaniem środowiska i decydują w dużej mierze o prestiżu danej jednostki, choćby poprzez rozpoznawalność nazwiska w świecie. Każdy system oceny placówek naukowych, który ignoruje te fakty, będzie ułomny.

Premia za zaniedbania

Przez blisko dwadzieścia lat, które minęły od przebudowy systemu nauki w Polsce, jeden z filarów tego systemu - kategoryzacja jednostek naukowych - ulegał stałej ewolucji, wymuszanej przez gromadzone doświadczenia i zmiany w sytuacji ekonomicznej kraju. Przez cały ten czas kategoryzacja nie była jednak w pełni wykorzystana jako narzędzie polityki naukowej państwa. Oczywiście posiadanie niskiej kategorii powodowało liczne problemy finansowe jednostki, a posiadanie kategorii najwyższej dawało szansę na dostęp do pewnych dóbr niedostępnych innym (granty inwestycyjne, budowlane itp.). Jednak skala finansowania statutowego jednostek naukowych, choć ustalana w pewnej mierze na podstawie kategorii, praktycznie nigdy nie pozwalała kierownikom jednostek na prowadzenie prawdziwej polityki naukowej, a jedynie na jej markowanie.

Dotyczy to zwłaszcza jednostek uczelnianych, których dotacja na działalność dydaktyczną ponoć zawiera składniki przeznaczone na wynagrodzenia za prowadzone badania naukowe (czy ktoś zna wysokość tych środków?). Jednostki te otrzymywały i otrzymują w ramach funduszu na badania statutowe sumy, które były na pewno podstawą ich budżetów badawczych (zakupy aparatury, wyjazdy, wizyty gości itp.), ale praktycznie nie mają znaczenia w systemie wynagrodzeń. W ten sposób, w ramach systemu finansowania nauki, łamie się elementarną zasadę „równa płaca za równą pracę”, gdyż wiele jednostek uczelnianych ma efektywność porównywalną z jednostkami PAN. Rezultat? Naukowiec zatrudniony na etacie w instytucie PAN pracuje również w uniwersytecie lub w innej szkole wyższej (gdzie jego kwalifikacje są wykorzystywane w procesie dydaktycznym), otrzymując w ten sposób oddzielne pensje za badania i dydaktykę. Ale najbardziej opłaca się pracować na dwóch lub więcej etatach w uczelniach, bo w każdym miejscu dostaje się pensję, która w żaden sposób (lub w znikomym stopniu) nie zależy od tego, czy dana osoba ma osiągnięcia naukowe, czy nie.

Krótko mówiąc – istniejący system wręcz premiuje zaniedbywanie pracy naukowej. A wystarczyłoby w dobrych uczelniach płacić osobne pensje za badania, w wysokości porównywalnej (z uwzględnieniem efektywności jednostki) do wysokości pensji w instytutach PAN. Mogę się założyć o butelkę dwudziestoletniego armaniaku, że po dwóch latach od wprowadzenia na serio takiej reformy w polskich uczelniach sprawy wieloetatowości, niskiej efektywności, niewielkiej mobilności naukowej, koncentracji kadry itp. nierozwiązywalne problemy wróciłyby do normy. Na dwóch etatach pracowaliby słabi naukowcy, a nie najlepsi.