Gorączka ewaluacji

Rozmowa z prof. Maciejem Zabelem, przewodniczącym Komitetu Ewaluacji Jednostek Naukowych

Co Pan robił przez ostatnie trzy lata?

Przez dwa lata i dziewięć miesięcy zajmowałem się pracami Komitetu Ewaluacji Jednostek Naukowych. To moja czwarta parametryzacja. W pierwszej uczestniczyłem jako osoba wyznaczona przez dziekana do przygotowania materiałów wydziałowych do kategoryzacji. Drugą robiłem jako przewodniczący sekcji medycznej KBN – przygotowywaliśmy ocenę wszystkich jednostek medycznych. Potem jako przewodniczący komisji Rady Nauki kierowałem ewaluacją nauk podstawowych.

Proszę przypomnieć założenia obecnej kategoryzacji.

Poprzednia parametryzacja była dość ułomna. Większy wpływ na jej kształt miała administracja niż uczeni. Teraz to uległo zasadniczej zmianie. Parametryzacja przeszła w całości w ręce przedstawicieli nauki. Jedynym ograniczeniem było prawo. Musieliśmy dostosować zasady ewaluacji do nowej ustawy. Ocenialiśmy różne typy jednostek naukowych nie tylko pod względem merytorycznym, ale także struktury – osobno wydziały szkół wyższych, placówki PAN, instytuty badawcze oraz inne jednostki, które teraz mogą ubiegać się o środki na działalność statutową. Tego dotychczas nie było. Należało też wziąć pod uwagę podział nauki na cztery grupy: nauki humanistyczne i społeczne, nauki o życiu, nauki ścisłe i inżynieryjne oraz nauki o sztuce i twórczości artystycznej. W każdej z tych grup występują specyficzne dziedziny. I tu dochodzimy do grup wspólnej oceny. Ustaliliśmy ponad 30 takich grup, zarówno pod względem merytorycznym, jak i strukturalnym.

Mamy jeszcze cztery główne kryteria oceny.

Pierwsze wydaje się dość oczywiste: publikacje naukowe. Do tego, poza jedną dziedziną, dołączyliśmy patenty, które uznaliśmy za aktywność naukową. Wiadomo też z poprzedniej parametryzacji, że takie podejście do oceny działalności naukowej, gdy musimy wziąć pod uwagę liczbę pracowników jednostki i przeliczyć publikacje na jednego pracownika, promuje jednostki małe, a jest mniej korzystne dla większych. Trzeba było jakoś tę oczywistą dysproporcję wyrównać. Dlatego wprowadziliśmy kryterium potencjału naukowego. Wchodzą w to uprawnienia do nadawania stopni i tytułów, liczba wypromowanych doktorów i przeprowadzonych habilitacji oraz postępowań o profesurę w ostatnich czterech latach. Tu z kolei zyskują jednostki większe. Następuje zatem wyrównanie szans dużych i małych.

Trzecie kryterium – efekty materialne działalności badawczej – nie odgrywa dużej roli w naukach humanistycznych i o sztuce, czy większości nauk o życiu, ale jest istotne dla instytutów badawczych, nauk stosowanych i inżynierskich. Mówi ono, co jednostka jest w stanie pozyskać jako skutek prowadzenia badań. Ustawa mówi, że mamy oceniać nie tylko działalność naukową, ale także badawczo-rozwojową. Doszliśmy do wniosku, że jedynym sprawdzalnym kryterium jest to, co jednostka pozyskała dzięki badaniom i dała pracownikom w formie zapłaty lub zainwestowała w swoją infrastrukturę. W poprzednich parametryzacjach jednostki przedstawiały dokumenty o korzyściach materialnych z badań, które nie były porównywalne i wiarygodne. Przedstawiano kwoty kilkudziesięciu milionów złotych, ale chodziło o korzyści czy zyski firm, w których wdrażano badania. Dochodziło do różnych absurdów. Nam natomiast chodziło o to, ile faktycznie uzyskała z tego jednostka badawcza, a nie inne podmioty z nią współpracujące. Członkowie KEJN i pytani przez nas przedstawiciele nauk technicznych uznali, że podejście, które zaproponowaliśmy, jest rozsądne. Pewne elementy z poprzedniej parametryzacji w postaci wdrożeń i innowacji zostały ujęte także obecnie. Jest to kontrowersyjne, ale z analizy, którą mamy, wynika, że to dobre ujęcie. Zginęły kominy finansowe, które pojawiały się w sposób nieuzasadniony.

Czwarte kryterium, czyli inne efekty działalności badawczej, dotyczy tego, co jednostka zrobiła ważnego, a co trudno zmierzyć w postaci finansowej. O ile trzecie kryterium było skierowane wyraźnie w stronę nauk technicznych, to czwarte jest przeznaczone dla nauk humanistycznych i społecznych. Nowa metoda leczenia, zwiększenie świadomości społecznej jeśli chodzi o sposoby żywienia czy zorganizowanie konferencji międzynarodowej, na której występowali najwybitniejsi w danej dziedzinie specjaliści na świecie, nie dają się ocenić w postaci kwot finansowych. Wprowadziliśmy też wagi poszczególnych kryteriów, różne w różnych grupach. W części GWO największy nacisk położono na efekty naukowe i waga tego czynnika wynosi 65-70, natomiast w innych naukach – ścisłych i inżynierskich – było to 35, a aż 45 miały efekty materialne działalności badawczej. To dawało poszczególnym grupom możliwość pokazania i uwzględnienia tego, w czym ich jednostki są mocne. Grupy wspólnej oceny powodują, że ocenialiśmy jednostki o podobnym charakterze. To wyrównywało szanse.

Ile osób brało udział w ocenie?

Około dwustu. Dotyczy to zwłaszcza ostatniego roku, czyli samej ewaluacji. To jest 30 członków KEJN, około 6 osób z ministerstwa, które stanowiły obsługę biura i sekretariat. To bardzo ważne, bo sami byśmy w tych papierach zginęli. Około 160 osób to członkowie zespołów ewaluacji, którzy oceniali jednostki, sprawdzali dokumenty, około 10 osób pracowników Index Copernicus International oraz pracownicy OPI, którzy elektronicznie opracowywali ankiety. Szacuję, że wszystkie koszty, jakie ponieśliśmy, wyniosły około 3 miliony złotych.

Po co to wszystko – ta cała ocena, tyle lat pracy, dyskusji?

Żeby rozdzielić 3 miliardy złotych dotacji statutowej. Koszty wyniosły zatem ok. 1/10 proc. kwoty, która będzie dzielona za pomocą wyników tej kategoryzacji.

W wielu uczelniach dotacja statutowa to 5 proc. dotacji dydaktycznej, a jeszcze mniejszy ułamek budżetu uczelni.

Tak, ale to są ważne środki. Dzięki nim można prowadzić badania i zachować substancję naukową jednostek. One mają faktycznie mniejsze znaczenie dla wydziałów, które prowadzą intensywną dydaktykę. W moim uniwersytecie medycznym to jest 10 milionów. Niby nieduża kwota, ale dla nas bardzo ważna. To są pieniądze na utrzymanie sprzętu, bibliotek, ale jednak także na prowadzenie badań, które są z kolei podstawą uzyskiwania środków z zewnętrznych źródeł na kolejne badania. Inaczej jest w przypadku instytutów badawczych, a jeszcze inaczej w przypadku instytutów PAN, gdzie środki statutowe są tymi, które pozwalają na wypłacanie pensji i podstawowe utrzymanie instytutu.

Mam jednak wrażenie, że to nie jedyny sposób wykorzystania kategoryzacji.

Ma pan rację. Kategoria ma znaczenie ambicjonalne i prestiżowe. Wiele jednostek chciało mieć A+. Myśmy tę grupę celowo ograniczyli.

Sądziłem, że będzie jeszcze mniejsza.

Wyśrubowaliśmy kryteria, żeby tych jednostek nie było za dużo, żeby nie skonsumowały zbyt wielu środków przeznaczonych na działalność statutową, bo wówczas dla pozostałych byłoby mniej. Były jednak naciski środowiska, żeby nie ograniczać wyróżnień zbyt rygorystycznie. A+ trzeba traktować nie jak odrębną kategorię, ale jak podkategorię, wyróżnienie dla najlepszych w kategorii A. A+ to nie jest grupa jednostek najlepszych, ale wybitnych.

Co dostaną wyróżnieni plusem?

Zgodnie z rozporządzeniem będą mieli 50 proc. więcej niżby to wynikało z otrzymania kategorii A. Przy 37 jednostkach ta kwota nie uszczupli znacząco całej puli środków na działalność statutową. Natomiast są też inne skutki otrzymania określonej kategorii. Jednostki kategorii A mogą zgłaszać swoich przedstawicieli do różnych ciał, m.in. do KEJN. Przy niektórych grantach kategoria będzie także miała znaczenie.

Jakie są różnice między wynikami poprzedniej – jak Pan ocenił, nieudanej – i obecnej ewaluacji? Co ta nowa kategoryzacja pokazała?

Pokazała dominację placówek Polskiej Akademii Nauk. Wcześniej niemal wszystkie miały kategorię A, a oceniane były razem z innego rodzaju placówkami i ta supremacja była bardziej widoczna niż obecnie. Natomiast teraz porównywane i oceniane były niejako w swojej grupie, stąd wynikły różnice. Nie wszystkie okazały się być idealne. W grupie uczelni widać, że te małe, niedawno powstałe jednostki są słabsze niż uczelnie i wydziały o dużych tradycjach. Poprzednio mieliśmy pięć kategorii jednostek. Teraz mamy trzy. Wydaje się, że podział na trzy kategorie jest zbyt ciasny. W grupie B widać dużą niejednorodność. Są jednostki, które są bardzo blisko A, i takie, które właściwie są na granicy miedzy B i C. Trzeba przemyśleć, czy nie rozbić tego na więcej kategorii.

Ile jest w ogóle jednostek naukowych w Polsce, bo przecież ewaluacja jest dobrowolna i nie wszystkie musiały się jej poddać?

Liczba jednostek, które poddały się kategoryzacji trzy lata temu i teraz, jest niemal taka sama.

Wiadomo jednak, że prawie 70 tych, które wówczas uzyskały kategorię C, nie zgłosiło się obecnie do oceny.

Część z nich zgłosiła się, ale są już po restrukturyzacji i zmianie nazwy. Część połączyła się z innymi. Jest wiele możliwości. Mimo swojej ułomności, poprzednia kategoryzacja sprawiła, że jednostki zaczęły walczyć o jakość, zdobywać punkty, które wpłynęły na lepszą ocenę w przyszłości. To widać bardzo dobrze w naukach medycznych. Zaostrzyło to także konkurencję wewnętrzną. Rywalizację widać nie tylko między wydziałami, ale poszczególnymi klinikami i katedrami.

Wspomniał Pan o dwóch wątpliwościach, związanych z obecną ewaluacją. Pojawiły się jednak także inne zastrzeżenia, np. o poprawność zaszeregowania do GWO.

Zderzają się tu różne interesy. KEJN stara się dobrze zaszeregować jednostki wedle przyjętej metodologii. Natomiast interesem jednostki jest znaleźć się w jak najsłabszej grupie, w której będzie błyszczała. Najważniejszym kryterium zaszeregowania do grupy były uprawnienia do nadawania stopni w danej dziedzinie. To pokazuje, gdzie jednostka jest najmocniejsza. Np. jeżeli wydział matematyczno-fizyczny miał uprawnienia w dziedzinie matematyki, a nie w zakresie fizyki, to traktowany był jako wydział matematyczny. Jeśli to nie pomogło, braliśmy pod uwagę doktoraty, a jeśli i to nie wystarczyło, analizowaliśmy publikacje. W tym nam pomogło wspomniane ICI, którego pracownicy wykonywali dla nas analizy. Czasami wyglądało to fifty-fifty. Gdzieś jednak w końcu trzeba było jednostkę zaklasyfikować. W kwietniu propozycje zaszeregowania zostały zaprezentowane na stronach www. Było kilkadziesiąt odwołań. Mniej więcej jedna trzecia została uznana. Większość specjaliści uznali za próbę ucieczki do słabszej grupy.

Jak widzi Pan polską naukę w świetle tej kategoryzacji?

Jej wyniki są w gruncie rzeczy dość podobne do wyników poprzedniej oceny. Liczba jednostek w poszczególnych grupach – dobrej, średniej, słabej – jest podobna. Do oceny zgłosiło się nieco więcej uczelni niepublicznych. Pojawiły się spółki. Zapewne pojawią się też kontrowersje.

Spodziewacie się lawiny odwołań?

Nie wiemy, ile ich będzie, ale technicznie na pewno sprostamy. Będziemy do tych ewentualnych odwołań podchodzili z należytą starannością. Ponad stu sześćdziesięciu ewaluatorów jest przygotowanych do pracy. Każdy oceniany będzie miał dostęp do całości materiałów na swój temat, będzie mógł sprawdzić, który element dorobku został zakwestionowany i dlaczego – nie będzie wiedział jedynie przez kogo. Od każdego detalu, który nie został zaliczony do punktacji, jednostka będzie się mogła odwołać, a my to sprawdzimy ponownie.

Kiedy poznamy ostateczne wyniki?

Wyniki, które opublikowaliśmy, to nie jest decyzja, ale informacja. Decyzję prześle jednostkom minister nauki. Potem mniej więcej do połowy listopada będzie czas na złożenie odwołań. KEJN będzie miał dwa miesiące na ich rozpatrzenie. Zatem ostateczne wyniki ewaluacji poznamy do końca stycznia.

Parzy już Pana telefon w związku z kategoryzacją?

Nie. Telefony kierowane są głównie do ministerstwa.

Co z placówkami, które dostały C?

Dostaną finansowanie na pół roku. Mogą podjąć trud poprawy i po roku ponownie poddać się ewaluacji. Będą musiały wówczas wykazać, że poprawiły swoją działalność naukową oraz że się zrestrukturyzowały na tyle, że to daje szanse na jeszcze lepsze wyniki w przyszłości. Trzeba sobie jasno powiedzieć, że często kategorię C otrzymały wydziały, które mają wybitnie dydaktyczny charakter i wpływ pieniędzy statutowych na ich los jest minimalny. Zatem ta kategoria nie jest dla nich tragedią. One nie przestaną z tego powodu istnieć.

Rozmawiał Piotr Kieraciński