Latem 2010 roku Ministerstwo Nauki i Szkolnictwa Wyższego przeprowadziło parametryzację jednostek naukowych (JN). Rok i pora roku są tu istotne. Poprzednia parametryzacja odbyła się w 2005 i obejmowała lata 2001-04. Następna powinna się odbyć najpóźniej w 2009, ale w związku z przygotowywaną reformą nauki, przewidującą m.in. powołanie osobnego Komitetu Ewaluacji Jednostek Naukowych, minister przełożył ją na rok 2010. Wobec przedłużających się prac nad reformą, minister zamierzał przesunąć parametryzację na kolejny rok, ale pod wpływem Rady Nauki uznał ją za konieczną i wykonalną jeszcze w tym roku.

Procedura zbierania ankiet od jednostek naukowych została rozpoczęta dopiero w czerwcu, z terminem 15 lipca, co mogło mieć wpływ na jakość nadsyłanych danych. Także instrukcja Ośrodka Przetwarzania Informacji rozsyłana jednostkom informowała je, że „ze względu na narzucone przez MNiSW terminy przygotowania danych do oceny, ankiety nie będą w OPI sprawdzane pod kątem poprawnego wypełnienia”(!).

Cele i zasady

Celem parametryzacji była nie tylko aktualizacja ocen, ale także motywujące premiowanie publikowania prac wysokiej jakości – za takie uznano monografie autorskie oraz publikacje w dobrych czasopismach naukowych, zwłaszcza w wysoko notowanych periodykach wydawanych w języku angielskim. „Tylko takie publikacje trafiają do światowego strumienia nauki, czynią naukę polską dostępną dla świata, ułatwiają zaawansowaną kooperację naukową i zdobywanie międzynarodowych grantów, a do tego świat ogląda nas przez indeksy cytowań” (z wystąpienia wiceministra ds. nauki). W nowej parametryzacji o kategorii jednostki bardziej miały decydować jej wartościowe produkty niż same zasoby (np. nie liczba profesorów, ale dobrych publikacji), nie liczono też nadanych doktoratów czy uzyskanych grantów, gdyż te powinny się kończyć liczącymi się publikacjami.

Zasady parametryzacji ustalone przez ministra (Rozp. MNiSW z dn. 25.05.2010, Dz.U. 2010 poz. 599) uwzględniały wiele uwag zgłoszonych po parametryzacji 2005 r.

JN w humanistyce (naukach humanistycznych i społecznych) były oceniane wg innych kryteriów niż w naukach ścisłych, technicznych i naukach o życiu. Tylko w humanistyce punktowano autorskie podręczniki akademickie, a w filologiach publikacje w „języku podstawowym dla dyscypliny” (francuskim dla romanistyki, polskim dla polonistyki itp.) ceniono tak wysoko, jak prace w języku angielskim we wszystkich innych naukach. W humanistyce premiowano nie tylko publikacje wyróżnione w filadelfijskim Journal Citation Reports (JCR), ale i notowane w European Research Index for the Humanities (ERIH). Jest rzeczą do dyskusji, w jakiej mierze te kryteria nie były nadal obciążone modelem science, w której podstawowym rodzajem publikacji jest artykuł w specjalistycznym czasopiśmie, a podstawowym językiem angielski.

Utworzono 23 „grupy jednorodne” (GJ) dyscyplin i rozdzielono między nie oceniane jednostki. W grupie „nauki społeczne” umieszczono pedagogikę, politologię, psychologię i socjologię. Oceniano podstawowe jednostki szkół wyższych, więc problemem był przydział jednostek złożonych z różnych instytutów, np. filozofii, socjologii i psychologii czy historii i socjologii, gdyż np. filozofia i historia należą do innych GJ niż grupa „nauki społeczne”. Projekt przydziału do grup został ogłoszony i niektóre jednostki skorzystały z możliwości wskazania dla siebie miejsca w innej grupie niż zaproponowana. Niektóre instytuty nauk społecznych, zwłaszcza socjologii, zostały skategoryzowane w grupie: „nauki o kulturze, filozofia, nauki teologiczne”, „nauki historyczne” i „nauki ekonomiczne” – wraz z wydziałami, których są częściami.

Trzeba mieć na uwadze, że uzyskane przez jednostki oceny dotyczą ich jako całości, a nie każdego z ich składowych instytutów. Najwięcej wysoko punktowanych prac notowanych w JCR i ERIH piszą psychologowie, co zapewniło najwyższe rangi instytutom i wydziałom psychologii, ale także dawało wysokie pozycje innym wydziałom, w których istnieją instytuty psychologii.

Kategoryzacja dokonywała się w obrębie grup, więc jednostki bardzo różne profilem nie konkurowały między sobą. Przewidziano 5 kategorii (1-5), przy czym do kat. 1 miało być zaliczone nie więcej niż 30 proc., a do grupy 1 i 2 łącznie nie więcej niż 50 proc. ocenianych jednostek. Następnie kat. 1 stała się kat. A, kat. 2 i 3 zostały połączone w kat B, a kat. 4 i 5 w kat. C. Wprowadzenie progów procentowych zmieniało istotnie sens kategorii, zwłaszcza kat. 1 – liczba JN tej kategorii, znaczna przy poprzedniej kategoryzacji, musiała się zmniejszyć; kategoria 1 stała się bardziej elitarną.

Ocena jednostki nie zależała już od liczby publikacji, ale od ich jakości. Punktowanych było tylko 3N najlepszych publikacji pracowników jednostki zatrudnionych w działalności B+R, gdzie N to liczba takich pracowników. Dobra jednostka to taka, w której powstaje dużo dobrych publikacji, a reszta publikacji się nie liczy.

Nie było możliwości, inaczej niż w 2005 r., przyznawania jednostkom punktów za pozycję międzynarodową – o tej decyduje jej publikowany dorobek.

Przewidziano też punktowanie „uczestnictwa jednostki w projektach programów ramowych lub innych konkursach UE”; potem uściślono to i liczono tylko projekty badawcze w ramach 6PR, 7PR, Inicjatywy Wspólnotowej i paru innych, w socjologii bardzo rzadko spotykanych programów, np. Euratom.

Współczynnik efektywności

Jednostki przedstawiały w ankietach cały swój dorobek, a program komputerowy wybierał z niego - tylko! - 3N najwyżej punktowanych publikacji.

Najpierw program wybierał artykuły z czasopism wyróżnionych w JCR (min. 12 pkt.), potem z wyróżnionych w ERIH (min. 10 pkt.), potem z czasopism z listy MNiSW (9, 6, 2, 1 pkt), aż doszedł do 1/2 N artykułów. Zasady parametryzacji wymagały, by w 3N publikacji prace inne niż artykuły nie stanowiły więcej niż 50 proc. Mocne jednostki wypełniały to 1/2 N artykułami za przynajmniej 9 pkt., słabsze musiały sięgać po artykuły za 6 pkt. itd. Były jednak i takie, w których pracownicy w ciągu 4 lat nie opublikowali nawet 1,5 choćby najniżej punktowanego artykułu – takie jednostki zostawały z „zerami”, nie mogły ich zastąpić np. rozdziałami w pracach zbiorowych.

Następnie system wybierał monografie i podręczniki – najpierw w języku angielskim (24 pkt.), a potem polskim i wszystkich innych (12 pkt.). Potem wybierał rozdziały z prac zbiorowych w języku angielskim (8 pkt.) oraz w polskim i innych językach (3 pkt.). Oczywiście, jeśli jednostka miała dużo monografii i rozdziałów w języku angielskim, to nie były jej już potrzebne najniżej punktowane rozdziały w krajowych pracach zbiorowych. W istocie dobre jednostki w ogóle nie sięgały do takich publikacji, czasem nie sięgały nawet do 8-punktowych rozdziałów w pracach anglojęzycznych, gdyż miały zapas 9-punktowych artykułów z najlepszych czasopism i nimi dopełniały swoje 3N najlepszych publikacji. Publikowanie w pracach zbiorowych i tomach pokonferencyjnych nie opłacało się – opłacało się publikować w dobrych czasopismach recenzowanych.

Poza 3N liczona była redakcja pracy zbiorowej i serii wydawniczej - w języku angielskim (5 pkt.) oraz w polskim i wszystkich innych (3 pkt.), a także „redaktorstwo naczelne” czasopisma (2 x liczba pkt. czasopisma).

Do tego program dodawał punkty za uprawnienia do nadawania stopnia doktora habilitowanego (150) i doktora (50), za uczestnictwo w projektach UE (po 50 pkt.) i za koordynację tych projektów (po 150, a wyjątkowo także za zarobione przez JN pieniądze na badaniach). Wszystko to dzielił przez N (średnia zatrudnienia w latach 2005-09). W ten sposób powstawał współczynnik efektywności E, który wyznaczał rangę, a w konsekwencji i kategorię jednostki.

Zaskakujące wyniki

Informacje przesłane przez JN nie były sprawdzane ani przez OPI, ani przez jego program komputerowy. Były weryfikowane przez zespoły robocze Rady Nauki; w przypadku grupy nauk społecznych - przez prof. Jerzego Brzezińskiego (WNS UAM) i prof. Antoniego Sułka (WFiS UW). Sprawdzono, rekord po rekordzie, ankiety wszystkich 84 jednostek: czy podawane prace spełniają ustalone kryteria, czy ich punktacja jest poprawna, czy prace się nie powtarzają, czy nie są podawane równocześnie w kilku jednostkach zatrudnienia itd. Ostatnie zadanie było szczególnie trudne z powodu braku wyszukiwarki w programie komputerowym; na szczęście przypadki niejednokrotnego podawania swoich prac zdarzały się rzadko. Nie do zweryfikowania był stan zatrudnienia, ale obniżanie N w celu zwiększania E tylko pozornie by się opłacało, gdyż wysokość dotacji statutowej zależy także od zatrudnienia. Weryfikacja polegała też na czyszczeniu początkowego zbioru 3N prac – na ich miejsce program pobierał kolejne „najlepsze prace” itd. Cała procedura weryfikacyjna w GJ nauki społeczne wymagała dwóch tygodni pracy dwóch osób przy komputerze.

Aby procedurze weryfikacji zapewnić wysoką rzetelność (niezależność wyniku od okoliczności pomiaru, w tym osoby weryfikatora), na bieżąco konsultowaliśmy ze sobą nowe i nietypowe sytuacje oraz wzajemnie sprawdziliśmy ankiety instytucji, w których pracujemy. Bardzo mało różniącą się od siebie punktację JN znajdujących się blisko progów oddzielających kategorie, zwłaszcza kat. 1 od kat. 2 sprawdziliśmy kilkakrotnie.

W ogłoszonych wynikach kategoryzacji niektórzy kierownicy jednostek z zaskoczeniem zobaczyli wyniki nawet dwa razy niższe od tych, które sami sobie wyliczyli oraz kategorie niższe niż się spodziewali. Skąd te różnice?

Z niezrozumienia podstawowej zasady punktacji – liczył się tylko 3N najlepszych prac, a nie wszystkie prace podane. Z wpisywania prac, których nie liczono: recenzji, wspomnień, tłumaczeń, podręczników szkolnych, ponownych a niezmienionych wydań itp.; także z uznawania prac w innych językach niż angielski za prace w „podstawowym języku dyscypliny” (tak można było robić tylko w filologiach); także z zawyżania punktacji artykułów w niektórych czasopismach (są w Polsce 4-punktowe czasopisma, które mają tytuły takie same, jak renomowane czasopisma zagraniczne z JCR i ERIH). Z kilkukrotnego wpisywania tych samych publikacji lub z podawania przez autora tych samych publikacji w więcej niż jednej jednostce (można dzielić swój dorobek, ale nie można jednej publikacji podawać w dwu miejscach pracy). Wszystkie książki podane przez pewną JN były napisane przez jej „drugoetatowych” pracowników, którzy wydali i podali byli te książki w ankietach swoich podstawowych miejsc pracy. Z wpisywania innych projektów niż projekty badawcze UE, zwłaszcza licznych projektów edukacyjnych i wymiany studentów; pewna JN wpisała sobie za takie projekty kilka tysięcy punktów, tyle ile za publikacje; inna wpisała koordynację trzech projektów UE, choć jest w nich tylko partnerem. Z pominięcia w ankietach istotnych fragmentów dorobku instytucji; pewna JN nie podała licznych artykułów swoich pracowników w wysoko punktowanym czasopiśmie własnym.

Zweryfikowana punktacja tych jednostek, które starannie przestudiowały zasady parametryzacji i przygotowały swoje ankiety, bardzo mało różniła się od ich punktacji wyjściowej.

Pobudzanie rozwoju

Wyniki parametryzacji (E i kategoria) zostały ogłoszone 30 września i są dostępne na stronie MNiSW www.nauka.gov.pl po wybraniu z menu pozycji „nauka” oraz na stronie OPI www.nauka-polska.pl po wybraniu z menu pozycji „ankieta jednostki”, a następnie „ocena parametryczna”. Ministerstwo przyjmowało spontaniczne odwołania (nie ogłosiło oficjalnie, że od decyzji o nadaniu kategorii można się odwoływać). Odwołania rozpatrywał powołany w tym celu zespół, już bez udziału osób, które poprzednio oceniały te jednostki. Odwołania kilku jednostek z grupy „nauki społeczne” nie przyniosły zmian ich kategorii.

Współczynniki efektywności E zostały uzyskane wielkim nakładem pracy – od wypracowania kryteriów oceny, przez szczegółowe sprawozdania JN za 4 lata, komputerowe przetwarzanie danych, aż do szczegółowej weryfikacji ankiet (wykonanej przez kilkudziesięciu profesorów, często nawet członków PAN). Wyliczono je z wielką dokładnością, do 1/100, niewspółmierną do precyzji danych wyjściowych, bo np. wszystkie monografie, inaczej niż artykuły, liczone były tak samo, bez względu na ich wartość naukową. Te współczynniki posłużyły tylko do jednego celu – podziału JN ostatecznie na trzy kategorie: A, B i C. Nie ma znaczenia, czy w naukach społecznych JN ma E = 30 czy 15 pkt.; taka jest rozpiętość między 30 krańcowymi JN w kat. B. To tak, jakby zmierzyć ludzi miarką milimetrową, a potem podzielić ich na wysokich, bardzo niskich i całą resztę.

Dokonana kategoryzacja ma swoje konsekwencje, nie tylko prestiżowe. Jednostki kat A. otrzymają wyższe dotacje statutowe niż kat. B, a kat. C niższe niż B. Kategoria będzie też brana pod uwagę przy rozdziale przez MNiSW innych funduszy, np. dotacji aparaturowych i budowlanych. Także kandydatów do Rady Narodowego Centrum Nauki mogły zgłaszać tylko jednostki kat. A.

W podanych na stronie OPI „kartach oceny” można zobaczyć, ile punktów i za co każda jednostka otrzymała. Można się w tych danych przejrzeć i porównać się z innymi dla zaspokojenia ciekawości, ale bardziej jeszcze dla pożytku. Tym jest pobudzanie rozwoju swoich instytutów i wydziałów w kierunkach, które – jak wskazuje ustawa o zasadach finansowania nauki (Dz.U. 2010 poz. 615) – także i w przyszłości będą kierunkami preferowanymi i „nagradzanymi”.

Wedle tej ustawy powołany w końcu 2010 r. KEJN w ciągu 2 lat dokona ponownej oceny parametrycznej jednostek i podzieli je na 4 kategorie: A+ (poziom wiodący), A (bardzo dobry), B (zadowalający) i C (niezadowalający). Przedtem KEJN ustali nowe kryteria oceny jednostek. Zapewne wykorzystując doświadczenia parametryzacji 2010 r. wypracuje lepsze kryteria ocen. Podstawą ocen ma być jednak „poziom naukowy prowadzonych badań” oraz „efekty działalności naukowej w odniesieniu do standardów międzynarodowych , w tym zwłaszcza publikacje autorstwa pracowników jednostki naukowej w renomowanych wydawnictwach oraz monografie naukowe (…), a także (…) znaczenie działalności jednostki naukowej dla rozwoju nauki w skali międzynarodowej ”.

Jest to informacja przedstawiona 1 grudnia 2010 na posiedzeniu Komitetu Socjologii PAN.