Ocena działalności badawczo-rozwojowo-wdrożeniowej jednostek organizacyjnych uczelni (również instytutów badawczych i jednostek PAN), zwana powszechnie parametryzacją za lata 2009-2012, jest bardzo ważnym przedsięwzięciem, niemającym precedensu w historii polskiego szkolnictwa wyższego. Oceniono niemal 1000 podmiotów, w tym 80% to jednostki uczelniane, 12% instytuty badawcze, a 7% jednostki PAN.

Poprzednia parametryzacja, przeprowadzona w 2011 r., pod względem skali przedsięwzięcia stanowiła namiastkę obecnej. Ocena jest dokonywana w grupach: nauk humanistycznych i społecznych, nauk ścisłych i inżynierskich, nauk o życiu, nauk o sztuce i twórczości artystycznej. Obecna procedura jest znacznie bardziej wyrafinowana, gdyż w celu obiektywizacji wyników dokonywano oceny parami w zakresie każdego z czterech podstawowych obszarów: 1) osiągnięć naukowych i twórczych; 2) potencjału naukowego; 3) materialnych efektów działalności naukowej; 4) pozostałych efektów działalności naukowej.

Proces oceny składał się z trzech zasadniczych etapów: przygotowania zasad, przeprowadzenia oceny i jej weryfikacji. Pokrótce nakreślę swoją, z pewnością subiektywną, ocenę każdego z tych etapów.

Ustalenie zasad

Jak w każdej grze, zasady ustala się, a w każdym razie powinno się ustalać, przed jej rozpoczęciem, co trudno powiedzieć o trwającym (gdyż jesteśmy w trakcie odwołań) procesie oceny, ponieważ stosowne rozporządzenie ministra nauki i szkolnictwa wyższego z 13 lipca 2012 r. opublikowano w Dzienniku Ustaw 1 sierpnia 2012 r., poz. 877, a zatem po upływie niemal 90% okresu, który obejmowała parametryzacja (2009-2012).

Ocena, jak wspomniałem, dotyczyła czterech obszarów, a największą wagę przypisano osiągnięciom naukowym i twórczym, na które składały się publikacje w czasopismach naukowych, monografie naukowe i patenty. Obecność i wycena punktowa publikacji w czasopismach opierała się na tzw. ujednoliconych wykazach zamieszczanych na stronie MNiSW. W § 14 ust. 4 przywołanego wyżej rozporządzenia czytamy, że: „Za publikację w czasopiśmie naukowym przyznaje się liczbę punktów określoną w wykazie czasopism naukowych obowiązującym na koniec roku kalendarzowego, w którym ukazała się publikacja”. Takiej jednoznacznej informacji nie było zarówno w roku 2009, 2010, jak i 2011. 18 czerwca 2009 r. opublikowano tzw. ujednoliconą listę czasopism i opatrzono ją komentarzem, że obowiązuje przy ocenie dorobku za 2008 r. Rok później, 16 lipca 2010 r., opublikowano ujednoliconą listę czasopism, informując, że czasopismom przypisano najwyższą punktację z lat 2007-2010, nie określając jednocześnie, którego roku wykaz dotyczy przy ocenie dorobku. Natomiast we wrześniu 2012 r. ukazała się lista czasopism z informacją, że dotyczy ona lat 2011-2012.

Wśród odpowiedzi na najczęściej zadawane pytania w trakcie procesu parametryzacji ukazała się, co prawda, informacja o tym, która lista czasopism będzie brana pod uwagę w każdym z lat okresu parametryzacyjnego, jednak nasuwa się wątpliwość, czy ta informacja jest źródłem prawa i jak ją należy traktować, skoro ma się nijak do informacji publikowanych wcześniej na stronach ministerialnych.

Mankamentem rozporządzenia z 13 lipca 2012 r. było zawężanie skali ocen do czterech, co – jak się okazało w praktyce – skutkowało bardzo pojemną grupą jednostek, które otrzymały kategorię B i stosunkowo niewielką grupą jednostek, które znalazły się w kategorii C.

Moja ocena treści rozporządzenia jest pozytywna, ale z uwagi na jego oddziaływanie wstecz, pozytywny obraz blednie i ocena tej części parametryzacji staje się najwyżej dopuszczająca.

Przeprowadzenie oceny

Program komputerowy, będący aplikacją wykorzystywaną do przygotowania danych do arkusza oceny jednostki wg ministerialnego komunikatu z 21 grudnia 201 r., miał się pojawić do końca stycznia 2013 r., jednak udostępniono go w połowie lutego 2013 r. i modyfikowano w marcu 2013 r. Termin wysłania ankiety, pierwotnie ustalony na koniec marca, przesunięto ostatecznie na 8 kwietnia 2013 r. Przytaczam te daty, aby podkreślić wyraźniej złożoność przedsięwzięcia.

Aplikacja obejmowała poszczególne obszary oceny opisane w przywołanym wyżej rozporządzeniu. Zabrakło w niej natomiast mechanizmów eliminujących informacje, wynikające, jak określają to prawnicy, z oczywistych błędów pisarskich, które mogły się zdarzyć przy wypełnianiu ankiety złożonej w stosunkowo krótkim czasie.

W trakcie parametryzacji osoby oceniające dostrzegły błędy oczywiste. W przypadku podania wątpliwych danych finansowych (wyższych od rzeczywistych o trzy rzędy wielkości) człowiek, którego najlepszy system informatyczny na szczęście nie zastąpi, zauważył to, zgłosił ocenianej jednostce i błędy korygowano. W przypadku wątpliwej liczby arkuszy przypisanej monografiom (o dwa rzędy wielkości niższej od normatywnej) takiej ewidentnej pomyłki nie dostrzeżono, a powinna być wychwycona nie tyle przez człowieka, ile przez system na etapie wprowadzania danych. Wada systemu czy błąd człowieka? Trudno stwierdzić.

Umieszczenie czasopisma w niewłaściwej „przegródce” to podobny problem, z którym system informatyczny powinien się uporać. Rzecz w tym, aby system, będąc z definicji bezdusznym, umożliwiał eliminację błędów człowieka, które przy tak dużym przedsięwzięciu są nieuchronne. System, który takiej funkcji nie spełnia, jest w moim przekonaniu ułomny.

Ten etap oceniam na poziomie miernym ze względu na brak mechanizmów eliminujących oczywiste pomyłki.

Weryfikacja ocen

Zgodnie z rozporządzeniem 30 września 2013 r. wyniki oceny parametrycznej pojawiły się na stronie MNiSW, a szczegółowy ich opis trafił do uczelni na przełomie października i listopada. Opis ten jest dobrze skonstruowany, gdyż pozwala bez najmniejszego trudu ustalić, które zdarzenia ewaluacyjne wzięto pod uwagę, a które odrzucono i z jakich powodów. Jednocześnie szczegółowo i przejrzyście opisano sposób składania odwołań. Ten etap jest znacznie lepiej przygotowany niż sama ankieta oceny jednostki.

Z uwagi na to, że ocena parametryzacyjna jednostek wpłynie na wysokość dotacji na działalność statutową przez najbliższe cztery (?) lata, proces weryfikacji ocen i odniesienie się do odwołań powinna cechować rozwaga, a nie jedynie podejście „zerojedynkowe”: jeśli błąd jest po stronie jednostki ocenianej – odwołanie odrzucamy, jeśli błąd jest po stronie systemu informatycznego lub ewaluatorów – odwołanie uwzględniamy.

Efektem parametryzacji ma być bowiem fotografia działalności badawczej na poziomie jednostek podstawowych. A zatem takie traktowanie oczywistych błędów popełnionych w tym wyjątkowo złożonym przedsięwzięciu to daleko idące uproszczenie, które może nas oddalić od opisu stanu nauki, tworząc obraz zamazany, nieostry, poruszony i nieodwzorowujący rzeczywistości.

Przygotowanie tego etapu parametryzacji oceniam pozytywnie, a całość będzie można ocenić po zakończeniu procesu odwoławczego, czyli pewnie za kilka miesięcy.

Konkluzja

Parametryzacja była jednym z wielu ważnych przedsięwzięć przeprowadzonych przez Ministerstwo Nauki i Szkolnictwa Wyższego w ostatnich latach. Przedsięwzięciem trudnym, gdyż systemy informatyczne uczelni nie zawsze je ułatwiają, zwłaszcza wtedy, gdy są w fazie tworzenia lub istotnych zmian. Przedsięwzięciem przeprowadzanym w sytuacji przeregulowań prawnych dotyczących szkolnictwa wyższego i wprowadzania zbyt wielu zmian jednocześnie. A zatem trudno sobie wyobrazić sytuację, w której ostatni etap parametryzacji zostałby potraktowany w sposób biurokratyczny, w pejoratywnym znaczeniu tego określenia. Uczelnie są wszakże biurokracją profesjonalną, jak pisał Henry Mintzberg, a nie machiną biurokratyczną, zwłaszcza że w Komitecie Ewaluacji Jednostek Naukowych zasiadają nasi przedstawiciele, a nie urzędnicy w zarękawkach.

Wiem, że sugerowane przeze mnie podejście do trzeciego etapu parametryzacji nie spotka się z ich entuzjazmem, gdyż oznacza wiele pracy dodatkowej, ale dla dobra uczelni i dążenia do prawdziwego obrazu osiągnięć w zakresie działalności naukowej na poziomie jednostek podstawowych uważam je za uzasadnione, gdyż celem oceny parametrycznej jest w miarę zobiektywizowana fotografia szkolnictwa wyższego na poziomie podstawowych jednostek zajmujących się działalnością badawczo-rozwojowo-wdrożeniową.

Parametryzacja jest przedsięwzięciem bardzo potrzebnym, gdyż środowisku naukowemu włożenie przysłowiowego kija w mrowisko z pewnością nie zaszkodzi. Znaczenie przeprowadzanej wymaga zwrócenia jednakowej uwagi na wszystkie etapy tego procesu.