Wszyscy zdajemy sobie sprawę, że okresowa ocena jednostek jest niezbędna. Powinna ona inspirować i dopingować pracowników do intensywnej pracy naukowej oraz ułatwiać władzom uczelni jej zarządzanie. Do ogłoszonych w Internecie w grudniu 2010 r. wyników kategoryzacji jednostek naukowych można mieć różny stosunek, a do zasad i algorytmów opracowanych w MNiSW, wg których dokonano oceny, można zgłaszać najróżniejsze uwagi, propozycje ulepszeń, można się z nimi zgadzać lub je kontestować.

Wydaje się, że bezdyskusyjne powinno być jednak stosowanie tych samych reguł oceny do wszystkich jednostek. Zastosowany w ocenie za okres 2005-2009 odmienny sposób potraktowania jednostek istniejących pięć lat i jednostek istniejących krócej zasługuje na szczegółową analizę, gdyż z tym samym problemem zetknie się z pewnością nowo powołany Komitet Ewaluacji Jednostek Naukowych. Mamy nadzieję, że przedstawiona analiza pozwoli komitetowi dostrzec problem i uniknąć kontrowersyjnych decyzji, do których doprowadził przyjęty dotychczas odmienny sposób obliczania końcowego wskaźnika efektywności E (decydującego o miejscu w rankingu) w przypadku jednostek istniejących 5 lat i jednostek istniejących krócej niż pięć lat (1, 2, 3 lub 4 lata).

Pozornie słuszna obawa

Przypomnijmy, że w celu obliczenia pozycji jednostki w rankingu końcowy wskaźnik efektywności jednostek istniejących 5 lat obliczano mnożąc (średnią) efektywność roczną jednostki przez 5 . Natomiast w przypadku jednostek istniejących krócej niż 5 lat, aby wyznaczyć końcowy wskaźnik efektywności E decydujący o pozycji jednostki w rankingu, (średnia) efektywność roczna była arbitralnie mnożona przez 4 .

(Cytat z listu otrzymanego przez Wydział Elektroniki i Telekomunikacji Politechniki Poznańskiej wyjaśniający analizowany aspekt procedury oceny jednostek: „Zespół przyjął odmienny sposób ustalania końcowego wskaźnika efektywności jednostek utworzonych w trakcie okresu podlegającego ocenie, a w konsekwencji wykazujących dorobek naukowy z okresu krótszego niż 5 lat. Zgodnie ze stanowiskiem zespołu, przy ustalaniu pozycji jednostki wśród innych jednostek uszeregowanych w grupie jednorodnej według malejącego końcowego wskaźnika efektywności, uwzględnia się jej efektywność roczną … mnożoną przez 4 …”).

Można przypuszczać, choć ministerstwo tego nie wyjaśnia, że przyczyną takiego postępowania była pozornie słuszna obawa zespołów oceniających, że jeżeli jednostka istnieje krócej niż 5 lat, np. tylko rok, to jej ewentualna wysoka (średnia) efektywność roczna nie była potwierdzana w wystarczająco długim przedziale czasu i wysoka pozycja w rankingu może być wynikiem przypadku. Zastanówmy się, czy takie obawy były zasadne i do jakich rozstrzygnięć doprowadziły.

Najpierw kilka przypomnień dotyczących zasad kategoryzacji:

Wiemy, że liczba punktowanych publikacji podlegających ocenie była przedmiotem sporów. Punkty za publikacje zostały ograniczone pośrednio, poprzez ograniczenie liczby publikacji poddawanych ocenie. Liczba publikacji brana pod uwagę przy ocenie jednostek była równa średniemu zatrudnieniu rocznemu w jednostce w czasie jej istnienia, mnożonemu przez 3 (tzw. 3N). Przyjęte rozstrzygnięcie było racjonalne (choć mogło być także inne), bo jeżeli jednostka istnieje dłużej, to chociaż liczba jej publikacji poddawanych ocenie nie rośnie, ma ona jednak szanse przedstawić do oceny publikacje wyżej punktowane. Widać, że jednostki istniejące krócej nie są premiowane przyjętą regułą, natomiast jednostki istniejące dłużej są premiowane możliwością wyboru publikacji do oceny z liczniejszego zbioru. Punktacja związana z przychodami finansowymi jednostek (bez wchodzenia w szczegółowe zasady, które można dyskutować) nie była ograniczona. Jednak porównując jednostki trudno wyobrazić sobie, by jednostka istniejąca krócej niż inne była w stanie wziąć udział w większej liczbie projektów i udokumentować znacząco większy przychód finansowy wpływający na zawyżenie jej pozycji w rankingu. Podobnie można wykazać, że inne kryteria brane pod uwagę nie faworyzują w punktacji jednostek istniejących krócej niż 5 lat w stosunku do jednostek istniejących właśnie 5 lat.

Zaniżona wartość

Powróćmy do rozstrzygnięć ministerstwa na przykładzie grupy jednorodnej G5. W jednorodnej grupie G5 Wydział Elektroniki i Telekomunikacji Politechniki Poznańskiej, istniejący 4 lata, z końcowym wskaźnikiem efektywności E = 86,43 , powstałym w wyniku mnożenia (średniej) rocznej efektywności przez 4, znalazł się na pierwszym miejscu wśród jednostek drugiej kategorii. Żadna jednostka istniejąca krócej, przez np. 3 lub 2 lata, lub 1 rok, nie zbliżyła się w punktacji do wartości uzyskanej przez WEiT PP. Dodajmy, że dla jednostek istniejących 5 lat końcowy wskaźnik efektywności, decydujący o pozycji w rankingu, wynikał z mnożenia ich (średniej) rocznej efektywności przez 5. Takie mnożenie dawało automatycznie jednostkom istniejącym 5 lat przyrost wartości końcowego wskaźnika efektywności E o 25 proc. w porównaniu z jednostkami istniejącymi 4 lata lub krócej. Podkreślamy, że wartość końcowego wskaźnika efektywności decydowała o pozycji w rankingu.

Gdyby wartość końcowego wskaźnika efektywności E była obliczona dla WEiT PP za pomocą pomnożenia (średniej) rocznej efektywności przez 5, to byłaby równa E = 108,04 i plasowałaby Wydział wśród jednostek pierwszej kategorii w jednorodnej grupie G5.

Zauważmy, że arbitralna „kara” nałożona na jednostki istniejące krócej niż 5 lat nie traktuje ich jednakowo. Wszystkie one uzyskały końcowy wskaźnik efektywności E decydujący o pozycji w rankingu poprzez pomnożenie ich (średniej) rocznej efektywności przez 4 bez oglądania się na to, że niektóre z nich istnieją rok, inne 2 lub 3 lub 4 lata.

Dla osób, których przedstawiona wyżej analiza nie przekonuje, dołączam kilka wzorów pozwalających spojrzeć na problem bardziej precyzyjnie.

Ocena jednostki bazuje na średniej efektywności rocznej e jej pracownika, którą według rozporządzenia ministra można obliczyć ze wzoru:

gdzie d i jest dorobkiem jednostki w i -tym roku oceny, n i jest liczbą pracowników zatrudnionych przez jednostkę w i -tym roku, i  = 1, 2, 3, …, k , przy czym k oznacza liczbę ocenianych lat (można przyjąć, że i  = 1 oznacza rok kalendarzowy 2009, natomiast i  = 5 oznacza rok 2005).

Wzór (1) można przekształcić do postaci (dzieląc licznik i mianownik przez k )

gdzie

jest odpowiednio średnim dorobkiem i średnią liczbą zatrudnionych pracowników w poszczególnych latach oceny (kreska u góry oznacza uśrednienie).

Średnią aktywność roczną pracowników w okresie oceny można oczywiście także określić na podstawie oczywistego wzoru:

Wskaźniki e i e 1 są tożsame dla n i = n dla każdego i .

Wskaźnik e średniej efektywności rocznej pracownika przyjęty przez ministerstwo jest ilorazem średniego rocznego dorobku (w okresie oceny) i średniej rocznej liczby zatrudnionych przez jednostkę pracowników. Wskaźnik ten w istocie postuluje, że dorobek jednostki został wytworzony w poszczególnych latach przez taką samą liczbę (średnią ) pracowników jednostki. Inaczej rzecz się przedstawia w przypadku wskaźnika e 1, który dorobek w każdym roku wiąże z liczbą zatrudnionych w tym roku.

Wydaje się, że przyjęcie wskaźnika e o opisanych właściwościach jest słuszną decyzją, bowiem często dorobek w konkretnym roku jest wynikiem kilku(wielo)letniej pracy, i to czasami zespołu o różnym składzie osobowym.

Można mieć oczywiście wątpliwości, czy wskaźnika e można bezpośrednio użyć do szeregowania jednostek o czasie istnienia krótszym od okresu oceny. Jeśli na przykład jednostka istnieje 4 lata, to czy pracowałaby równie efektywnie, gdyby istniała 5 lat? Wątpliwości te rozstrzygnięto w sposób zaskakujący (patrz przytoczony wyżej cytat z listu do WEiT PP): jednostki istniejące co najmniej 5 lat swój końcowy wskaźnik efektywności uzyskują ze wzoru

zaś jednostki istniejące 4 i mniej lat - ze wzoru

Niewłaściwość takiego postępowania jest oczywista: jednostka istniejąca 4 lata i pracująca w skali roku równie efektywnie, jak jednostka istniejąca 5 lat (takie same wartości e ), ma porównawczo zaniżoną wartość wskaźnika efektywności o e .

Upublicznić ankiety

Pozwalam sobie sformułować moim zdaniem racjonalne reguły postępowania, które w przedstawionej sytuacji można by rozważyć:

1) Można dokonać ekstrapolacji wskaźnika rocznej efektywności na rok piąty z ewentualnym rozsądnym, uwzględniającym trend, współczynnikiem wagowym (oczywiście różnym od zera).

2) Jednostka o czasie istnienia krótszym od przyjętego okresu oceny ma często swoją wcześniejszą historię. Tę historię można by racjonalnie uwzględnić. (Np. Wydział Elektroniki i Telekomunikacji Politechniki Poznańskiej powstał w roku 2006 z przekształcenia istniejącego wiele lat Instytutu Elektroniki i Telekomunikacji będącego jednostką Wydziału Elektrycznego PP. Łatwo zatem podać dorobek w 2005 roku pracowników Instytutu EiT, którzy w roku 2006 utworzyli Wydział EiT PP.)

Kończąc pozwolę sobie zaapelować, by ankiety wszystkich jednostek, a nie tylko uzyskana punktacja, zostały upublicznione. Jednostki słabsze mogłyby dzięki temu dowiedzieć się, na czym w szczegółach polegają osiągnięcia jednostek będących liderami naukowymi.