W czerwcu bieżącego roku zakończył się proces parametryzacji i kategoryzacji jednostek naukowych w Polsce, przeprowadzony zgodnie z rozporządzeniem ministra nauki i szkolnictwa wyższego z 13 lipca 2012 r. na podstawie ustawy o zasadach finansowania nauki. Sposób przyznawania kategorii naukowych, a także wyniki kategoryzacji, budziły i nadal budzą dyskusje w środowisku naukowym.

Oceny jednostek naukowych dokonuje się w wielu rozwiniętych krajach świata. Na szczególną uwagę zasługuje system oceny stosowany w Zjednoczonym Królestwie, gdyż brytyjskie uniwersytety są uważane za jedne z najlepszych w Europie i na świecie. Obecnie dokonywana jest ocena naukowa tych uniwersytetów na podstawie nowego systemu oceny (REF – 2014 Research Excellence Framework), a jej wyniki będą znane w grudniu 2014 r.

Warto zatem skonfrontować oba systemy oceny jednostek naukowych, co jest celem niniejszego artykułu.

Jednostki naukowe i grupy wspólnej oceny

W obu krajach ocenie podlegają jednostki, które prowadzą badania naukowe i zgłoszą się do oceny poprzez elektroniczne wypełnienie i wysłanie ankiety. Podobnie też w obu krajach wynik oceny służy do określenia wysokości dotacji przeznaczonej na wsparcie badań naukowych jednostki. W Polsce każda jednostka, która prowadzi badania naukowe, zgodnie z ustawą o zasadach finansowania nauki ma prawo ubiegać się o dotację (wydziały uczelni, jednostki PAN, instytuty badawcze oraz inne jednostki), natomiast w Zjednoczonym Królestwie jedynie placówki, które mają status jednostek szkolnictwa wyższego (głównie uniwersytety).

Zarówno w Polsce, jak i Zjednoczonym Królestwie, jednostki są ocenianie w tzw. grupach wspólnej oceny (GWO), które składają się z jednostek działających w podobnych obszarach lub dziedzinach nauki. Jednakże pod pojęciem „jednostka” w obu krajach rozumie się różne zbiory naukowców. W Polsce oceniane są w całości wydziały, instytuty, centra badawcze, podczas gdy w systemie brytyjskim oceniane są grupy naukowców działające w tym samym obszarze nauki w jednej instytucji szkolnictwa wyższego. Przykładowo rozważmy hipotetyczny uniwersytecki wydział fizyki i matematyki, na którym prace badawcze związane są z fizyką i matematyką. W polskim systemie mógłby on być oceniany jedynie w jednej z GWO „Fizyka” bądź „Matematyka”. Natomiast w Zjednoczonym Królestwie naukowcy z takiego wydziału byliby oceniani niezależnie w tych dwóch GWO, a do oceny mogliby być włączeni także naukowcy pracujący na innych wydziałach w obszarze fizyki i matematyki ocenianego uniwersytetu. Ocenę finalną w konkretnej GWO otrzymuje zatem uniwersytet, a nie wydział. Uniwersytety brytyjskie są zachęcane do wspólnego występowania jako jedna jednostka, gdy prowadzą wspólne badania w określonej GWO. W szczególnych przypadkach jest możliwe wystąpienie dwóch jednostek w tej samej GWO z jednego uniwersytetu.

Co jest oceniane?

W Polsce, zgodnie z rozporządzeniem, każda jednostka jest oceniana za pomocą czterech kryteriów: osiągnięcia naukowe i twórcze, potencjał naukowy, materialne efekty działalności naukowej i pozostałe efekty działalności naukowej.

Natomiast uniwersytety brytyjskie oceniane są za pomocą trzech ogólnych kryteriów: osiągnięcia naukowe i twórcze, wpływ prowadzonych badań naukowych oraz środowisko, w którym prowadzone są badania naukowe.

W obu systemach osiągnięcia oceniane kryterium pierwszym są bardzo podobne, chociaż w przypadku systemu brytyjskiego spektrum tych osiągnięć jest większe. Przykładowo dla nauk ścisłych i inżynierskich oceniane są książki, rozdziały w książkach, monografie naukowe, artykuły w czasopismach i materiałach konferencyjnych, patenty, ale także dokumenty standaryzacyjne, wytworzone nowe materiały, urządzenia, technologie, oprogramowanie, algorytmy i raporty techniczne (w tym tajne).

Istnieje natomiast zasadnicza różnica pomiędzy tymi systemami w zakresie liczby osiągnięć, które są uwzględniane w ocenie. W polskim systemie ocenianych jest 3N-2N0 najwyżej punktowanych osiągnięć jednostki spośród przedstawionych za okres oceny (2009-2012), gdzie N jest liczbą pracowników mających udział w realizacji badań naukowych, a N0 jest liczbą pracowników, którzy nie wykazali się żadnymi punktowanymi osiągnięciami. Natomiast w systemie brytyjskim każdemu naukowcowi można przypisać co najwyżej cztery osiągnięcia za okres oceny (2008-2013). Zatem ocenianych jest maksymalnie 4N osiągnięć. To wymaganie może być obniżone, w przypadku gdy naukowiec np. z przyczyn zdrowotnych przebywał dłuższy czas na urlopie lub gdy swoją pracę rozpoczął w okresie oceny.

Kryteria 2, 3 i 4 w polskim systemie oraz kryteria 2 i 3 w brytyjskim systemie obejmują podobne elementy oceny. Oceniany jest wpływ prowadzonych badań w zakresie korzyści, jakie one mogą przynieść gospodarce, społeczeństwu, kulturze, rozwiązywaniu problemów społecznych, ochronie zdrowia i środowiska. W systemie brytyjskim brana jest pod uwagę liczba przyznanych doktoratów, natomiast w polskim, ze względu na system awansów naukowych, liczba uzyskanych stopni i tytułów naukowych oraz uprawnienia do ich nadawania. W obu systemach bardzo ważną rolę gra parametr związany z przychodami jednostki pozyskanymi na badania w odniesieniu do liczby N.

W obu systemach istnieją jeszcze inne elementy, np. liczba cytowań, ale można stwierdzić, że zasadnicze elementy podlegające ocenie w obu systemach są takie same. Natomiast istnieje zasadnicza różnica w sposobie oceniania jednostek i znaczeniu finalnego wyniku oceny.

Proces oceny

Wynik końcowej oceny w obu systemach jest inny. W Polsce przyznawane są jednostkom kategorie naukowe A+, A, B i C. Zostały one zdefiniowane w sposób ogólny w ustawie o zasadach finansowania nauki: A+ — poziom wiodący; A — poziom bardzo dobry; B — poziom zadowalający, z rekomendacją wzmocnienia działalności naukowej, badawczo-rozwojowej lub stymulującej innowacyjność gospodarki; C — poziom niezadowalający.

W Zjednoczonym Królestwie określa się natomiast tzw. finalny profil jednostki: podaje się w procentach jaka część badań naukowych (w sensie oryginalności, znaczenia), ma charakter wiodący na świecie (co oznaczone jest przez cztery gwiazdki), jest znakomita w skali światowej (trzy gwiazdki), jest rozpoznawalna na świecie (dwie gwiazdki), jest rozpoznawalna w skali krajowej (jedna gwiazdka) oraz jest poniżej rozpoznawalności w skali krajowej (brak gwiazdki). Przykład profili dwóch fikcyjnych uniwersytetów X i Y ocenianych w tej samej GWO o nazwie „F” podano w Tabeli 1.

W polskim systemie oceny każdej jednostce naukowej przypisywane są wartości liczbowe w każdym z czterech kryteriów. Ocena liczbowa w pierwszym kryterium (osiągnięcia naukowe i twórcze) jest obliczana jako suma punktów za 3N-2N0 najwyżej punktowanych osiągnięć podzielona przez N.

W kryterium drugim sumowane są m.in. punkty za uprawnienia do nadawania stopni i tytułów naukowych, nadane stopnie i tytuły naukowe, członkostwa w komitetach redakcyjnych czasopism znajdujących się na liście Journal Citation Reports (JCR) i bazę laboratoryjną.

W trzecim kryterium sumowane są punkty za wynagrodzenie z tytułu prowadzenia badań naukowych lub prac rozwojowych i nakładów poniesionych na infrastrukturę badawczą oraz, w przypadku instytutów badawczych, punkty za przychody z wdrożeń wyników badań lub prac rozwojowych, a następnie suma tych punktów jest dzielona przez N.

Sposób przypisywania punktów w poszczególnych kryteriach jest szczegółowo opisany w rozporządzeniu w sprawie kryteriów i trybu przyznawania kategorii naukowej jednostkom naukowym. Zadaniem powołanych do oceny ekspertów było zweryfikowanie danych zawartych w ankietach jednostek, a punkty były przypisywane automatycznie przez system informatyczny.

Inaczej wyglądała ocena w kryterium czwartym, w którym oceniano znaczenie badań prowadzonych przez jednostkę dla gospodarki i społeczeństwa. Ocena punktowa za to kryterium była wystawiona przez zespół ekspertów.

Komitet Ewaluacji Jednostek Naukowych określił wartości punktowe w czterech kryteriach dla dwóch wirtualnych jednostek naukowych, które posłużyły do podzielenia jednostek na trzy kategorie A, B i C. Posłużono się w tym celu metodą porównań parami, wykorzystującą ważoną relację przewyższania opisaną w załączniku nr 8 do rozporządzenia. W procesie tym uwzględniono wagi, z jakimi na ostateczną ocenę miały wpływ cztery kryteria oceny w zależności od dziedziny nauk i typu jednostki naukowej. I tak waga osiągnięć naukowych i twórczych była przyjmowana z zakresu 60-75% (z wyjątkiem instytutów badawczych w naukach ścisłych i inżynierskich, gdzie przyjęto wagę tę równą 35%). Waga potencjału naukowego jednostki była przyjmowana z zakresu 5-20% (najmniej 5% przyjęto dla nauk o życiu). Waga materialnych efektów działalności naukowej była przyjmowana z zakresu 5-45% (najmniej 5% dla nauk humanistycznych i społecznych oraz nauk o sztuce i twórczości artystycznej, natomiast najwięcej – 45% dla instytutów badawczych w naukach ścisłych i technicznych). Kategoria A+ była wyłoniona spośród jednostek, które otrzymały kategorię A, po eksperckiej analizie dodatkowych kryteriów wymienionych w rozporządzeniu.

System brytyjski ma charakter w pełni ekspercki. Jednostka jest analizowana za pomocą trzech kryteriów i w każdym z nich jest określany tzw. podprofil, w którym eksperci oceniają, jaki procent przedstawionego dorobku lub potencjału mieści się w określonych poziomach jakości. Każdemu poziomowi jest przypisana liczba gwiazdek. Przedstawione jest to w tabeli 2. Każdy zespół ekspertów oceniający jednostki w określonej GWO, może ogólne kryteria doprecyzować w zależności od dziedziny czy dyscypliny naukowej.

Wyniki oceny

W wyniku oceny każda jednostka ma określone trzy podprofile (osobny dla każdego kryterium), na których podstawie jest określany profil finalny z następującymi wagami: 65% do kryterium 1, 20% do kryterium 2 i 15% do kryterium 3. Przykładowy proces profilu przedstawiony jest na rys. 1.

Zwróćmy uwagę na to, że w obu krajach dominujące jest kryterium 1 (osiągnięcia naukowe i twórcze), gdyż waga tego kryterium w przypadku polskiego systemu jest w granicach 60-75% (z wyjątkiem instytutów badawczych), a w przypadku brytyjskiego – 75%.

Wyniki oceny będą ogłoszone w grudniu 2014 r. Poprzednia ocena jednostek w Zjednoczonym Królestwie miała miejsce w roku 2008 i nosiła nazwę Research Assessment Exercises (RAE). W niej też określano profil jednostek. W tabeli 3 podano rzeczywiste profile dla GWO „Psychiatry, Neurosience and Clinical Psychology”, w której oceniono 17 jednostek. W RAE 2008 było 67 GWO. Ich liczba została ograniczona do 36 w REF 2014.

Z powyższej tabeli można odczytać, że w tej GWO liderem jest University of Cambridge, którego aż 40% badań naukowych zasługuje na cztery gwiazdki, a na trzy gwiazdki kolejne 40%. W tabeli 3 jest podana także liczba osób realizujących badania, których dorobek oceniano. Widać, że największą jednostką jest King’s College London, który zatrudnia 214,59 osób w przeliczeniu na pełne etaty. Najmniejszą jednostką jest St George’s Hospital Medical School, która zatrudnia 3,83 osoby i ta jednostka wydaje się być jedną z najniżej ocenionych (aż 20% prac naukowych nie otrzymało żadnej gwiazdki).

Podane wyniki nie są przedstawiane, w przeciwieństwie do Polski, w formie rankingu jednostek. Natomiast mając profile, takie rankingi można tworzyć stosując najrozmaitsze metody. Można je np. uszeregować według wartości dla czterech gwiazdek, albo według sumy wartości za cztery i trzy gwiazdki.

Aby tekstem tym nie zanudzić czytelnika, skoncentrowano się jedynie na porównaniu najistotniejszych cech charakterystycznych polskiego i brytyjskiego sposobu oceny jednostek naukowych.

Można dodać, że w obu systemach istotną rolę grają afiliacje naukowców, przy czym w systemie brytyjskim podejście jest bardziej liberalne: naukowiec może występować jako zatrudniony w dwóch lub więcej instytucjach, ale zaliczany jest do N w taki sposób, że sumarycznie nie może przekroczyć wartości 1 (np. w dwu instytucjach jest wykazywany po 0,5). Wartość N w systemie brytyjskim jest wyznaczana na podstawie stanu zatrudnienia w określonym dniu (w REF 2014 był to 31.10.2013), natomiast w systemie polskim wartość N jest wyznaczona na podstawie stanu zatrudnienia w całym okresie podlegającym ocenie.

W tabeli 4 dokonano syntetycznego porównania obu systemów i podano niektóre dane statystyczne.

Podsumowując można stwierdzić, że w obu systemach ocenia się podobne rzeczy, ale w odmienny sposób. W obu krajach systemy oceny budzą pewne kontrowersje. System polski dla części środowiska naukowego jest „odhumanizowany”, bo w zbyt małym stopniu jest on zależny od ocen ekspertów, a polega na liczbach charakteryzujących jednostki. Z kolei są głosy brytyjskich uczonych, że system brytyjski jest zbyt skomplikowany, polega na subiektywnych czasami ocenach olbrzymiej rzeszy ekspertów i jest bardzo kosztowny.

Ciekawy byłby na pewno hipoteczny eksperyment, polegający na tym, że w obu krajach dokonano by oceny jednostek według obu systemów i porównano wyniki. W całkowicie subiektywnej ocenie autora niniejszego artykułu różnice byłyby niewielkie, a to, że systemy są często konstruktywnie krytykowane, to dobrze. Przecież naukowiec to taka osoba, która zawsze będzie dążyła do ulepszenia istniejącego stanu rzeczy lub znalezienia nowych rozwiązań.