Ocena parametryczna prowadzona jest na podstawie czterech kryteriów, nazwanych tak samo jak w poprzedniej kategoryzacji, choć nieco zmodyfikowanych. Pierwsze z nich to osiągnięcia naukowe lub twórcze. Punktowane są tu takie elementy, jak publikacje naukowe, monografie, patenty oraz działalność artystyczna, której ocena została przygotowana przez członków KEJN we współpracy z przedstawicielami uczelni artystycznych. Kryterium drugie to uprawnienia, stopnie i tytuły, baza laboratoryjna i jej akredytacja oraz, co jest nowe, zaangażowanie w projektach badawczych. Kryterium trzecie to materialne efekty pracy naukowej i badawczo-rozwojowej. Ono zostało znacznie zmienione. Będą tu punktowane koszty poniesione na działalność naukową i badawczo-rozwojową, środki pozyskane na taką działalność oraz aplikacje i wdrożenia. Kryterium czwarte to pozostałe osiągnięcia, które nie mieszczą się w trzech pierwszych kryteriach, które są trudno mierzalne i parametryzowalne. W tym kryterium największą rolę odgrywać będzie ocena ekspercka.

Kategoryzacja będzie prowadzona na podstawie tych kryteriów metodą porównań parami w grupach wspólnej oceny (GWO), przy czym porównanie będzie nieco uproszczone w stosunku do poprzedniej kategoryzacji – będzie to porównanie parami nie między sobą, a jedynie między jednostką naukową a jednostkami referencyjnymi. Wprowadzone też zostanie pojęcie niejednorodnej jednostki naukowej (NJN), tzn. takiej, której działalność naukowa wykracza poza jeden obszar wiedzy. Te będziemy parametryzowali w trochę inny sposób. Dla parametryzacji decydujące są jednostki referencyjne, gdyż one będą wyznaczały granice pomiędzy poszczególnymi kategoriami: A, B i C. Dodatkowo wśród najlepszych jednostek, które uzyskały kategorię A, specjalnie powołane zespoły specjalistów będą wyłaniały kategorię A+.

Projekt kategoryzacji powstał po licznych konsultacjach na różnego rodzaju posiedzeniach ciał, reprezentujących jednostki naukowe, np. KRASP, KRUP, PAN, RGNiSW, KPN. A także po dyskusjach z kierownictwem ministerstwa i zarządem Polskiej Akademii Nauk, a przede wszystkim na podstawie ankiety, którą uzyskaliśmy od ponad 660 jednostek naukowych, czyli ponad 2/3 z nich. Na tej podstawie KEJN przystąpił do końcowego opracowania zasad oceny. Powszechnie uznano, że kolejna parametryzacja w 2017 r. powinna być kontynuacją poprzedniej, z tym że powinna zostać w niektórych elementach zmieniona i dopracowana, ale nie zdecydowanie nowa i zasadniczo odmienna. Środowisko chce pewnej stabilizacji, zachowania generalnego kierunku oceny. Toczą się dyskusje, czy taka ocena powinna mieć charakter parametryczny, czy ekspercki. Ocena, którą przygotowujemy na rok 2017, ma wyraźnie charakter parametryczny z elementami eksperckimi. Eksperci określają same parametry – jakie mają być wybrane i jak punktowane – przy czym element ekspercki będzie widoczny najsilniej przy ocenie kryterium czwartego, które jest trudno mierzalne, oraz przy wyborze zasad wyznaczania jednostek niejednorodnych i jednostek do kategorii A+. Ostateczny kształt rozporządzenia opracowało Ministerstwo Nauki i Szkolnictwa Wyższego na podstawie założeń, które opracował KEJN.

Zmiany, które zostały zaproponowane w stosunku do poprzedniej kategoryzacji, można podzielić na dwie grupy. Pierwszą tworzą zmiany systemowe, a drugą zmiany szczegółowe w kolejnych kryteriach. Zmiany systemowe to po pierwsze uproszczenie algorytmu porównania parami, a po drugie modyfikacja zasad tworzenia grup wspólnej oceny i nowe zasady ustalania jednostek referencyjnych dla niejednorodnych jednostek naukowych. Każda niejednorodna jednostka naukowa łączy w sobie cechy kilku GWO i stąd konieczność dodatkowego ustalenia jednostek referencyjnych dla konkretnych NJN. Kolejny element to modyfikacja zasad wyłaniania jednostek kategorii A+. Wyrażano chęć, żeby w tym wypadku zaakcentować element ekspercki i tak się stało.

Jeśli chodzi o zmiany w poszczególnych kryteriach, niektóre zostały nieco zmodyfikowane, a z części zrezygnowaliśmy, gdyż na podstawie poprzedniej kategoryzacji stwierdziliśmy, że nie mają one istotnego znaczenia, a jedynie przysparzają pracy ocenianym i oceniającym.

Podstawa niejednorodności

Poświęciliśmy dużo czasu niejednorodnym jednostkom naukowym. Postanowiliśmy, że podstawą do oceniania niejednorodności będą deklaracje pracowników, prowadzących działalność naukową lub badawczo-rozwojową. Znajdują się one w POLON-ie, a więc nie ma konieczności zbierania ich od naukowców. Stwierdziliśmy, że podstawą niejednorodności nie mogą być dyscypliny, ani nawet dziedziny, bo wówczas tak wiele jednostek miałoby niejednorodnych charakter, że system nie miałby sensu. Zatem jedyną podstawą określenia jednostki jako niejednorodnej mogły zostać obszary wiedzy. Przyjęto, że niejednorodną jednostką naukową jest taka, w której co najmniej 25% pracowników zajmuje się innym niż wiodący obszarem wiedzy. Niejednorodność wprowadza się wtedy, gdy udział obszaru innego niż wiodący wynosi co najmniej 10%. Chodzi o to, że nawet jeśli jednostka ma 25 czy 30% w innym obszarze wiedzy niż wiodący, to jeśli nie ma obszarów, które mają powyżej 10%, traktujemy ją jako jednorodną. Dla jednostek niejednorodnych musimy stworzyć nowe jednostki referencyjne. Będą one tworzone jako średnie ważone ocen jednostek z odpowiednich GWO.

Wyodrębnianie i ocena jednostek niejednorodnych będzie bardzo trudne i pracochłonne, ale to był jeden z głównych postulatów środowiska – zgłaszały go jednostki, które uważały, że ich niejednorodność powodowała, że wypadały źle w grupie wspólnej oceny. Te, które wypadały dobrze, nie zgłaszały tego postulatu, nawet gdy były niewątpliwie niejednorodne. Teraz także one będą ocenione jako niejednorodne, bo np. inne jednostki z danej GWO mogłyby słusznie protestować. Wydziały matematyczno-fizyczno-chemiczne są niejednorodne, ale nie w sensie obszarów, zatem będą oceniane jako jednorodne. Gdybyśmy chcieli inaczej wyodrębniać jednostki niejednorodne, cały system oparty na jednostkach referencyjnych nie miałby sensu. Mamy osiem obszarów wiedzy: nauk humanistycznych, społecznych, ścisłych, przyrodniczych, technicznych, rolniczych, leśnych i weterynaryjnych, medycznych i o zdrowiu oraz obszar sztuki (Dz. U Nr 179, poz. 1065 z dnia 8.08. 2011). Na przykład obszar nauk medycznych, nauk o zdrowiu i nauk o kulturze fizycznej zawiera cztery dziedziny: nauk medycznych, farmaceutycznych, o zdrowiu i o kulturze fizycznej. Niektóre dziedziny zawierają jeszcze dyscypliny, np. nauki medyczne zawierają: medycynę, stomatologię i biologię medyczną. Symulacje, które były robione właśnie na podstawie tych dyscyplin, pokazały, że wyodrębnianie jednostek niejednorodnych na podstawie dyscyplin rozwaliłoby system oceny. Spodziewamy się, że uwzględniając zaproponowane parametry, w najbliższej ocenie będzie ponad sto jednostek niejednorodnych, czyli ponad 10% ogółu.

A+ na podstawie opinii eksperckiej

Kolejna zmiana dotyczy kategorii A+. Przyjęliśmy, że A+ może otrzymać jednostka, która uzyskała minimum 70% oceny najwyższej w danej GWO w kryterium pierwszym, czyli najważniejszym. Jednostka A+ musi mieć przede wszystkim wysoki poziom naukowy i to on ma mieć w tym przypadku decydujące znaczenie. W sumie kategoria A+ będzie przyznawana na podstawie opinii eksperckiej. Eksperci powinni brać pod uwagę najważniejsze dla danej GWO czynniki, np. wagę osiągnięć dotyczących nauki, kultury, sztuki i dziedzictwa narodowego, udział w upowszechnianiu osiągnięć naukowych lub artystycznych, wagę osiągnięć dotyczących rozwoju gospodarczego kraju, średnią wartość punktową 25% najwyżej punktowanego dorobku jednostki, wartość zmodyfikowanego indeksu Hirsha, opublikowanie wysoko cytowanych prac, w których JN jest podmiotem wiodącym – eksperci wezmą pod uwagę te czynniki, które w danej GWO są najważniejsze. Liczba jednostek A+ nie będzie identyczna w każdej GWO, ale będzie zależeć od pozycji międzynarodowej danej grupy. Istnieją silne polskie dziedziny. Będziemy się starali, aby w silnych grupach było więcej jednostek A+, a w słabszych – mniej.

Chcemy, żeby A+ dotyczyło faktycznie elitarnej grupy jednostek. Nie może ich być więcej niż kilka procent. Jeśli będzie ich zbyt dużo, wali się system podziału dotacji statutowej, a to dla niej kategoryzacja jest zrobiona. Ten system okazałby się nieefektywny, bo A+ dostaną niewiele więcej pieniędzy od jednostek kategorii A. Jeśli natomiast jednostek kategorii A+ będzie, jak poprzednio, w granicach 4%, to faktycznie dostaną one więcej środków. Gdyby było np. 20% A+, to wtedy nie dostaną one dużo, ale zapłacą za to jednostki A, dla których nie wystarczy pieniędzy, a B – dostaną dużo mniej. Naprawdę byłoby lepiej, gdyby jednostek A+ było 3%.

Punkty za aktywność

Kolejna sprawa to publikacje wieloośrodkowe. Z ankiety wynika, że stosunkowo prosty system podziału punktów za publikacje wieloośrodkowe nie jest sprawiedliwy. Dlatego pod dyskusję przedstawiliśmy system, który bierze pod uwagę procent autorów z ośrodka, który publikację tworzył. Jeśli była ona wysoko punktowana, czyli opublikowana w dobrym czasopiśmie, to jednostka dostawała ekstra procent. Niestety pewne środowiska były tym zmianom przeciwne i ich aktywność stała się tak silna, że kierownictwo ministerstwa doszło do wniosku, iż należy zostawić system podziału punktów, który był stosowany dotychczas. Analizy pokazały, że różnice między proponowanym systemem a dotychczasowym były niewielkie.

Kolejna sprawa wymagająca poprawki to punkty za aktywność w pozyskiwaniu środków w projektach badawczych, zwłaszcza międzynarodowych. Ponieważ to trudno wymierzyć, zamienić na punkty wartość projektów, postanowiliśmy wszystkie rodzaje projektów podzielić na cztery klasy; pierwsza to duże projekty międzynarodowe, a czwarta – małe projekty krajowe. Każda klasa ma odpowiednią punktację. Po drugie, większą liczbę punktów uzyska jednostka, która dany projekt prowadzi, a mniejszą ta, która ma status podwykonawcy. Zaproponowaliśmy tu trzy poziomy. Jako element, który ma pokazać wielkość projektu, traktujemy wysokość finansowania. Kombinacja tych trzech elementów pozwala sparametryzować projekty, podać ich wartość punktową. Ten element znajduje się w kryterium drugim, czyli potencjale naukowym.

Kryterium trzecie to efekty praktyczne działalności naukowej. Poprzednio sposób funkcjonowania tego kryterium w ocenie nie był dobrze opracowany i wymagało to zmian. Nie był z tego zadowolony KEJN ani jednostki naukowe, szczególnie instytuty badawcze. Po wielu dyskusjach, zwłaszcza z przedstawicielami instytutów badawczych, przedstawiliśmy propozycję, by punktować przychody jednostek ze sprzedaży wyników naukowych, a więc nie usługi, tylko przychody z działalności badawczej typu sprzedaż technologii, produktów, licencji, przedstawianie ekspertyz – to jest przychód z działalności B+R. Drugim elementem mają być koszty jednostek poniesione na realizację badań, uzyskane w trybie konkursowym, czyli grantów. Użyliśmy pojęcia kosztów, gdyż nie liczy się ilość pozyskanych pieniędzy, ale ile z nich wydano na badania naukowe, a nie np. przekazano jednostkom kooperującym. Pojęcie kosztów jest istotniejsze niż samo pozyskanie środków. Ostatni element to zastosowanie wyników działalności naukowo-badawczej poza jednostką naukową, czyli wdrożenia i aplikacje. Poprzednio punktowana była kwota, którą uzyskały firmy w wyniku wdrożenia pewnych rozwiązań dokonanych w JN. Wdrożenia dotyczyły często małego elementu, a przedstawiano zyski z całego działu produkcji. Podawano zupełnie astronomiczne kwoty! Teraz będziemy punktować tylko kwoty, które z wdrożenia uzyskała JN. Wiele jednostek uczelnianych podkreślało, że robią rzeczy, które nie dają wyniku materialnego, ale np. mają duży wpływ społeczny. To też postanowiliśmy punktować za pomocą odpowiednio skonstruowanej karty aplikacji.

* * *

Na koniec krótkie podsumowanie projektu zmian, czyli uwypuklenie elementów, które mają wpływ na ostateczny kształt rozporządzenia i najbliższej oceny parametrycznej, a w efekcie – kategoryzacji jednostek naukowych. Zmiany systemowe – chodzi tu o zmianę metody porównania parami, wyodrębnianie jednostek niejednorodnych z GWO, zmiany wyłaniania jednostek A+.

W kryterium pierwszym nastąpią zmiany dotyczące monografii naukowych poprzez wyłanianie monografii wybitnych, o czym była mowa na licznych spotkaniach ze środowiskiem. Podniesiona zostanie punktacja za patenty, a zwłaszcza za wdrożenia. Nastanie inne podejście do działalności artystycznej. W kryterium drugim zrezygnowaliśmy z wielu informacji, które okazały się nie mieć znaczenia dla kategoryzacji jednostki, a zajmowały dużo czasu. Wprowadziliśmy punkty za posiadaną bazę laboratoryjną, szczególnie za laboratoria certyfikowane i akredytowane. Dużą uwagę zwróciliśmy na zaangażowanie jednostek w projektach badawczych. W trzecim kryterium zmieniliśmy charakter punktowania. Podnieśliśmy liczbę punktów za koszty ponoszone na działalność naukową, doceniliśmy aplikacje. W czwartym kryterium – sprecyzowaliśmy, jakie osiągnięcia powinny być podawane i jak będą punktowane, choć generalnie pozostaje ono bez zmian.

Rozporządzenie ma kilkanaście stron, ale dodatkowe kilkadziesiąt stron stanowią załączniki: ankieta, karty oceny dla poszczególnych grup nauk, zagadnienia związane z punktowaniem czasopism naukowych – co było ważne ze względów ustawowych. Punktowanie czasopism powinno być omówione na poziomie rozporządzenia. Nie było miejsca w systemie na rozporządzenie specjalne, stąd znalazło się to w rozporządzeniu o kategoryzacji.

W rezultacie zmian liczba dokumentów do złożenia będzie zdecydowanie mniejsza. Nie jest to tylko efekt rozporządzenia, lecz tego, że jednostki naukowe na bieżąco aktualizują POLON, a dane z POLON-u będziemy mogli teraz sami „zasysać” do systemu oceny. To nam bardzo uprości pracę.