Na świecie ścierają się dwa podejścia: eksperckie, które ocenę jednostek naukowych oddaje w ręce kompetentnych ekspertów, oraz parametryczne, oparte na liczbowych kryteriach i wskaźnikach. Pierwszej z tych metod zarzuca się zwykle ryzyko subiektywizmu ekspertów, drugiej natomiast niemiarodajność parametrów. Metoda zastosowana w planowanej na rok 2017 ocenie parametrycznej stara się łączyć oba te podejścia, uwzględniając postulaty zgłaszane przez jednostki po doświadczeniach poprzednich ewaluacji. Rezultatem jest metoda parametryczna, zawierająca jednak bardzo duży zakres oceny eksperckiej (Rys. 1). Do oceny jednostek naukowych wytypowano cztery podstawowe kryteria: osiągnięcia naukowe i twórcze (I), potencjał naukowy (II), praktyczne efekty działalności naukowej i artystycznej (III) oraz pozostałe efekty działalności naukowej i artystycznej jednostki (IV). Kryterium IV oraz wybór jednostek A+ oceniane będą bezpośrednio przez grupy ekspertów, a szczegółowe parametry w pozostałych kryteriach oraz ogólne zasady parametryzacji opracowane zostały przez ekspertów wchodzących w skład KEJN.

Jednym z otwartych i trudnych problemów była kwestia niejednorodnych jednostek naukowych (NJN), których interdyscyplinarny profil naukowy nie odpowiadał jednoznacznie żadnej grupie wspólnej oceny (GWO). Proponowane rozwiązania zakładają weryfikację stopnia niejednorodności jednostki, przypisanie jej do właściwej GWO i odpowiedni dobór jednostek referencyjnych, uwzględniający wieloobszarowość profilu naukowego jednostki. Ponadto w proponowanym algorytmie uproszczono znacząco metodę porównań parami, inspirowaną metodami analizy wielokryterialnej. Ważnym elementem nowego algorytmu jest uwzględnienie aktywności jednostki w pozyskiwaniu, koordynowaniu i realizacji projektów badawczych, krajowych i międzynarodowych. Zmodyfikowano również podejście w zakresie praktycznych efektów działalności naukowej, wprowadzając obok wdrożenia pojęcie tzw. aplikacji, co pozwala na poszerzenie kręgu beneficjentów kryterium III. Sprecyzowano wreszcie najważniejsze osiągnięcia, za które jednostka może uzyskać punkty w zakresie kryterium IV, oraz wprowadzono cały szereg usprawnień w odniesieniu do pozostałych kryteriów oceny jednostek. Zmodyfikowano także zasady wyłaniania jednostek naukowych zasługujących na najwyższe laury, tzn. na kategorię A+. Wyróżnikami aktualnej ewaluacji są: bardziej eksperckie podejście, umiędzynarodowienie i premiowanie innowacyjności. W świetle powyższych uwag odpowiedź na pytanie: ewolucja czy rewolucja?, wcale nie jest oczywista.

Ocena parametryczna 2013 i wyniki ankiety JN 2014

Po przeprowadzeniu oceny parametrycznej (2013) i ogłoszeniu jej wyników KEJN przeprowadził badanie kwestionariuszowe wśród kierowników jednostek naukowych, któremu przyświecały następujące cele:

ocena sposobu przeprowadzenia parametryzacji;

ocena zasad, według których została ona przeprowadzona;

włączenie kierowników jednostek naukowych do współtworzenia zasad oceny parametrycznej.

Od strony technicznej było to trwające od 23 czerwca do 20 lipca 2014 badanie, w ramach którego drogą elektroniczną została skierowana mailowa prośba do kierowników wszystkich (około tysiąca) jednostek naukowych o wypełnienie kwestionariusza ankiety, na co odpowiedziały pozytywnie 624 instytucje. Struktura respondentów (pod względem typów jednostek, obszaru nauki oraz kategorii naukowej) była bardzo zbliżona w całej populacji, co stwarza podstawy budowania pewnych generalizacji.

Większość ankietowanych (51,6%) wyraziła przekonanie, że kierowana przez nich jednostka została adekwatnie oceniona i nie są im znane przypadki jednostek, które otrzymały niesprawiedliwie niską ocenę (79,8%) lub niesprawiedliwie wysoką ocenę (67,5%). Natomiast najwięcej kontrowersji – skrajnych opinii – wzbudziła ekspercka ocena IV kryterium. Wskazywano zbyt dużą dowolność ekspertów w formułowaniu ocen, którym towarzyszyły jednocześnie nazbyt lakoniczne uzasadnienia. Co warte jest szczególnego podkreślenia, w przytłaczającej większości (85,4%) kierownicy wskazywali na konieczność szerszego udostępnienia informacji o dorobku jednostek naukowych. Większa transparentność na pewno poprawi legitymizację oceny parametrycznej, a osiągnięcia najlepszych jednostek mogłyby być doskonałą formą rozpowszechniania dobrych praktyk i pokazania, czym się zajmują jednostki najlepiej oceniane w poszczególnych GWO.

W przekroju całego badania jako ważny problem oceny parametrycznej wskazywano również niejednorodność GWO. Aż 39,1% badanych deklarowało, że jednostki w ich grupach są niepodobne, a porównywanie różnych jednostek naukowych zasadniczo podważa legitymizację oceny parametrycznej, dlatego też stanowi największe wyzwanie dla KEJN w obliczu kolejnej parametryzacji (2017).

Wyniki parametryzacji zostały przyjęte stosunkowo dobrze, choć nie bezkrytycznie, przez kierowników jednostek naukowych, którzy deklarowali zrozumienie dla zasad parametryzacji, a co ważniejsze, zaangażowali się w jej ulepszanie. Ani w pytaniach zamkniętych, ani też w komentarzach, które ankietowani mogli umieszczać, nie pojawiały się sygnały o konieczności wprowadzenia radykalnych zmian, podkreślano raczej potrzebę stabilizacji całego systemu oceny jednostek. Trzeba jednak mocno podkreślić, że ujawnił się wyraźny podział na dwie grupy: generalnie pozytywnie i negatywnie oceniających proces parametryzacji. Pierwsi (65-70%) konsekwentnie dobrze oceniają kryteria i sposób przeprowadzenia procesu parametryzacji, ale również deklarują zaufanie zarówno do KEJN-u, jak i członków zespołów ewaluacyjnych. Pozostali – przeciwnie – są niezadowoleni zarówno z kryteriów, jak i procesu, podważają rzetelność i nie mają zaufania do odpowiedzialnych za jego realizację. Wprawdzie trudno oczekiwać, że proces parametryzacji, który generuje hierarchię jednostek, będzie przez wszystkich równie pozytywnie oceniany, ale jednak trudno nie zauważyć, że istnieje pewna grupa wyraźnie niezadowolonych z oceny parametrycznej.

Na koniec warto wspomnieć o pewnym paradoksie parametryzacji, który ujawnił się w badaniu ankietowym. Wśród słabych stron oceny parametrycznej wielu kierowników jednostek wskazywało konieczność sprawozdawania nazbyt dużej liczby zdarzeń ewaluacyjnych, które nie mają większego wpływu na końcową ocenę, jednocześnie deklarowało konieczność uwzględnienia kolejnych szczegółowych zdarzeń ewaluacyjnych specyficznych dla danego obszaru.

Ocena parametryczna 2017 – najważniejsze postulaty

W kontekście oceny parametrycznej przeprowadzonej w roku 2013 zgłoszono szereg postulatów zmierzających do usprawnienia algorytmu kolejnej edycji parametryzacji i kategoryzacji jednostek naukowych. Jeden z najczęściej występujących postulatów dotyczył uproszczenia metody porównań parami, tak aby stała się ona bardziej przejrzysta dla całego środowiska naukowego. Kolejny ważny postulat dotyczył uwzględnienia niejednorodności jednostek naukowych, które reprezentują nie tylko różne dyscypliny i dziedziny nauki, ale często różne obszary badań naukowych. Panowało powszechne odczucie, iż jednostki te nie były właściwie oceniane, a mechanizm przypisywania ich do GWO właściwej dla dominującej w jednostce dziedziny nauki był krzywdzący. Postulowano także większe niż dotychczas uwzględnienie aspektów innowacyjnych w działalności jednostek naukowych, co zaowocowało m.in. wprowadzeniem tzw. aplikacji. Nie rodzą one bezpośrednich skutków materialnych, stanowią natomiast naturalne uzupełnienie wdrożeń, ocenianych już we wcześniejszych edycjach kategoryzacji. Kolejny ważny postulat dotyczył pełniejszego uwzględnienia projektów badawczych realizowanych przez jednostkę naukową. W tym zakresie wprowadzono system punktacji, który mocno różnicuje rodzaje projektów oraz stopień zaangażowania jednostki naukowej w ich realizację. Zrozumiałe zainteresowanie budził sposób wyłaniania jednostek kategorii A+. Ta kwestia była także przedmiotem intensywnych prac prowadzonych w KEJN.

Najistotniejsze zmiany o charakterze systemowym sprowadzają się zatem do:

uproszczenia algorytmu porównywania parami;

modyfikacji zasad tworzenia Grup Wspólnej Oceny;

opracowania zasad ustalania ocen jednostek referencyjnych dla niejednorodnych jednostek naukowych (NJN);

modyfikacji zasad wyłaniania JN kategorii A+, w tym zwiększenia roli oceny eksperckiej.

Pozostałe ważne zmiany dotyczą m.in.:

wprowadzenia pojęcia tzw. monografii wybitnych;

wprowadzenia punktacji za mobilność naukowców;

premiowania aktywności w pozyskiwaniu, koordynowaniu i realizacji projektów;

wprowadzenia pojęcia tzw. aplikacji, która nie generuje wymiernych korzyści materialnych (w przeciwieństwie do wdrożenia);

uporządkowania zasad oceny jednostek w ramach kryterium IV.

Jedną z najistotniejszych kwestii jest struktura GWO oraz sposób przypisywania do nich jednostek naukowych. W tym zakresie pojawiły się dwie istotne zmiany:

każda grupa nauk będzie dysponowała własną GWO, w której znajdą się wszystkie niejednorodne jednostki naukowe, właściwe dla tej grupy nauk;

sposób przypisywania jednostek naukowych do GWO uwzględnia profil działalności naukowo-badawczej, uprawnienia jednostek, strukturę potencjału naukowego oraz podobieństwo w innych aspektach.

Powyższe zmiany i usprawnienia odpowiadają na apel środowiska naukowego o uwzględnienie elementów oceny, które środowisko postrzega jako kluczowe w rozwoju jednostek naukowych.

Uproszczony algorytm porównań parami

Wychodząc naprzeciw oczekiwaniom środowisk naukowych, wszystkie elementy służące ocenie jednostek przypisano do czterech kryteriów, z których jedno ma charakter wybitnie ekspercki. W zakresie każdego kryterium jednostka naukowa otrzymuje indywidualną ocenę. Ponieważ ocen tych nie można porównywać ze sobą bezpośrednio (jak porównać np. potencjał naukowy jednostki ze środkami wydanymi na realizację prac naukowo-badawczych?), zdecydowano się wprowadzić metodę porównywania dwóch jednostek (znaną z analizy wielokryterialnej) w czterech różnych kryteriach, z których każde ma z góry przypisaną wagę. Zgodnie z rozporządzeniem z roku 2012 metoda porównania parami zakładała, iż w danej GWO każda jednostka naukowa była porównywana z pozostałymi jednostkami, z uwzględnieniem jednostek referencyjnych. Następnie wszystkie wyniki porównań dla każdej jednostki były sumowane i wartość tej sumy stanowiła wynik końcowy oceny jednostki. W danej GWO wszystkie jednostki naukowe oraz jednostki referencyjne były uszeregowane od najwyżej do najniżej ocenionej, a jednostki referencyjne wyznaczały naturalne granice pomiędzy jednostkami naukowymi.

Taki sposób ewaluacji był do pewnego stopnia nieprzejrzysty dla środowiska naukowego. W związku z tym w aktualnym rozporządzeniu wprowadzono istotną zmianę. Mianowicie porównuje się jednostkę naukową jedynie z jednostkami referencyjnymi. Jeśli jednostka naukowa w porównaniu z referencyjną dla kategorii A nie okaże się od niej gorsza (wynik porównania jest nieujemny), to jednostka naukowa otrzymuje kategorię A. Jeśli jednostka okaże się gorsza od jednostki referencyjnej dla kategorii B (wynik porównania ujemny), to otrzymuje kategorię C. Jeśli żaden z powyższych przypadków nie zachodzi, to jednostka naukowa otrzymuje kategorię B.

Powyższy sposób wyznaczania kategorii jest bardzo przejrzysty i prosty. Znajomość wartości parametrów jednostek referencyjnych pozwala jednostkom naukowym na wykonanie obliczeń pomiędzy kategoryzacjami w celu monitorowania własnych postępów. Należy jednak pamiętać o tym, że w kolejnej kategoryzacji parametry jednostek referencyjnych mogą ulec zmianie mimo zachowania metodologii ich wyznaczania.

Uproszczona wersja wyznaczania kategorii bazuje zatem na porównaniu osiągnięć danej jednostki naukowej jedynie z jednostkami referencyjnymi. Zachowana jest jednak nadal podstawowa zaleta proponowanych porównań, a mianowicie – wielokryterialność, która jest standardem współczesnych teorii porównań i optymalizacji. Zostały zachowane także ważne zalety poprzedniego podejścia, polegające na:

• zróżnicowaniu parametrów jednostek referencyjnych oraz wag kryteriów w zależności od typu jednostki (uczelniana, instytut PAN, instytut badawczy, tzw. inna jednostka) i od specyfiki GWO, która z kolei zależy od dyscyplin naukowych;

• utrzymaniu progu nierozróżnialności D (≤10%) i progu pełnego przewyższenia G (≥30%).

Nasuwa się wreszcie dość oczywiste pytanie, czy wyniki kategoryzacji przeprowadzonej różnymi metodami, tj. metodami opisanymi odpowiednio w rozporządzeniach z roku 2012 i 2015, są znacząco rozbieżne. Jak się okazuje, tak nie jest. Badania symulacyjne przeprowadzone na danych rzeczywistych z roku 2013 pokazują, że rozkład liczby kategorii naukowych A, B i C praktycznie nie uległ zmianie. Część jednostek naukowych otrzymałaby kategorię wyższą, a część − niższą. Zmiana taka dotyczyłaby jedynie mniej niż 5% wszystkich jednostek, które poddały się procesowi kategoryzacji w roku 2013.

GWO i niejednorodne jednostki naukowe (NJN)

Podobnie jak dotychczas, jednostki naukowe będą oceniane w GWO. Jest to konsekwencją wymogu sprecyzowanego w art. 42, ust. 4 ustawy z dn. 30.04.2010 r. o zasadach finansowania nauki (tekst jednolity: Dz. U. 2014, poz. 1620, ze zm.). GWO są tworzone do dziedzin (np. jednostki reprezentujące dziedzinę nauk ekonomicznych) lub grup dziedzin bądź dyscyplin naukowych (np. GWO obejmująca jednostki z dyscypliny filozofia oraz dziedziny nauk teologicznych), osobno dla poszczególnych typów jednostek (podstawowych jednostek naukowych uczelni, instytutów naukowych PAN, instytutów badawczych i innych jednostek).

Jednostki naukowe, po złożeniu ankiety ewaluacyjnej, przypisywane są do GWO odpowiedniej z uwagi na rodzaj jednostki i jej profil naukowy. Profil ów określany jest przede wszystkim na podstawie posiadanych przez jednostkę uprawnień do nadawania stopni naukowych, analizy działalności naukowo-badawczej pracowników (publikacji w czasopismach, monografii, patentów itd.) oraz dyscyplin naukowych lub dziedzin nauki, w których pracownicy jednostki uzyskali stopnie lub tytuły naukowe.

Warto podkreślić, że w trakcie przeprowadzania oceny parametrycznej w 2013 roku jednoznaczne wskazanie GWO na podstawie profilu publikacji lub posiadanych uprawnień dotyczyło ok. 70% ocenianych jednostek. W pozostałych przypadkach istniały znaczne rozbieżności między profilem publikacyjnym, posiadanymi uprawnieniami oraz profilem kadry. Znaczna część jednostek prowadzi działalność interdyscyplinarną, nadto niektóre dyscypliny są silnie zdywersyfikowane i w istocie badania dotyczą różnych obszarów (np. geografia fizyczna i geografia społeczno-ekonomiczna). Powoduje to, że dotychczasowy system oceny niekiedy nie w pełni umożliwiał porównywanie jednostek pokrewnych. Dało to asumpt do wyodrębnienia w procedurze oceny parametrycznej tzw. niejednorodnych jednostek naukowych (NJN), dla których zostaną stworzone odrębne GWO w każdej z grup nauk (humanistyczno-społecznych, ścisłych i inżynierskich, o życiu, o sztuce i twórczości artystycznej).

Z uwagi na konieczność zapewnienia wystarczająco dużej liczby jednostek uznanych za „jednorodne” (m.in. dla możliwości ustalenia parametrów jednostek referencyjnych), przy bardzo dużym odsetku jednostek prowadzących działalność interdyscyplinarną, zdecydowano, że za NJN zostanie uznana taka jednostka, w przypadku której udział pracowników prowadzących działalność naukową lub badawczo-rozwojową w obszarach wiedzy innych niż obszar wiedzy wiodący dla danej jednostki w ogólnej liczbie pracowników N, wynosi co najmniej 25%. Nie będą zatem jednostkami niejednorodnymi te podmioty, które prowadzą działalność w obrębie różnych dyscyplin tej samej dziedziny naukowej lub różnych dziedzin i dyscyplin z tego samego obszaru. Warto ponadto zauważyć, iż jednostki, dla których udział procentowy obszaru wiodącego jest co prawda mniejszy niż 75%, ale udział każdego z pozostałych obszarów jest mniejszy niż 10%, nie uzyskają statusu NJN.

Obszary wiedzy określa rozporządzenie ministra nauki i szkolnictwa wyższego z 8.08.2011 r. w sprawie obszarów wiedzy, dziedzin nauki i sztuki oraz dyscyplin naukowych i artystycznych, Dz. U. nr 179, poz. 1065.

KEJN, na podstawie złożonych przez jednostki ankiet ewaluacyjnych, przyporządkuje jednostki do adekwatnych GWO; projekt składów grup wspólnej oceny zostanie ogłoszony w Biuletynie Informacji Publicznej na stronie www.nauka.gov.pl. W ciągu dwóch tygodni jednostki będą mogły zgłosić do komitetu zastrzeżenia odnośnie do dokonanego przyporządkowania. Nadto zespół ewaluacji, analizując charakter osiągnięć naukowych lub twórczych oraz innych efektów działalności naukowej lub badawczo-rozwojowej tej jednostki, może zgłosić komitetowi wniosek o zmianę przyporządkowania jednostki naukowej do GWO.

Ocena niejednorodnych jednostek naukowych dokonywana jest podobnie jak w przypadku pozostałych jednostek – w porównaniu z jednostkami referencyjnymi JRA i JRB, z tym że wartości ocen jednostek referencyjnych są wyznaczane jako średnie ważone ocen jednostek referencyjnych zatwierdzonych dla GWO utworzonych z jednostek naukowych tego samego rodzaju co oceniana NJN i prowadzących działalność w obszarach wiedzy właściwych dla działalności naukowej danej NJN. Ustalono przy tym próg istotności: parametry stosownych jednostek referencyjnych JRA i JRB zostaną uwzględnione jedynie dla obszarów wiedzy, których udział (mierzony relacją pracowników prowadzących działalność naukową lub badawczo-rozwojową w danym obszarze, w stosunku do ogólnej liczby pracowników jednostki) wynosi co najmniej 10%. Uwzględnienie w ocenie parametrycznej istotnej niejednorodności jednostek powinno się przyczynić do lepszego uwzględnienia specyfiki jednostek prowadzących badania w różnych dziedzinach, wykraczających poza obszary wiedzy.

Monografie naukowe

Monografie są niewątpliwie tą kategorią publikacji, której ocena przysparza najwięcej problemów. W odróżnieniu od czasopism, poddawanych oficjalnym rankingom, w przypadku monografii dysponujemy jedynie ogólnymi kryteriami formalnymi, które nie pozwalają różnicować jakości publikacji i sprowadzają ocenę do kwestii głównie ilościowych. Kierując się płynącymi ze środowiska postulatami, aby system oceny był względnie trwały, przewidywalny, pozwalający planować punkty ciężkości w dorobku naukowym, KEJN zdecydował się na pozostawienie rozwiązań znanych z poprzedniej ewaluacji, z jednoczesnym doprecyzowaniem tych kwestii, które budziły kontrowersje bądź wątpliwości. W zakresie definicji zmieniło się niewiele – zachowano poprzednie limity minimalnej objętości zarówno dla monografii (6 arkuszy), jak i dla rozdziału w książce zbiorowej (0,5 arkusza, przy czym limit dla wydawnictw encyklopedycznych i słownikowych obniżony został do 0,25 arkusza).

Wyczekiwaną przez środowisko zmianą jest odejście od automatycznego wykluczenia podręczników: komitet przyjął, że każde opracowanie spełniające kryteria monografii naukowej może być przedstawione do oceny bez względu na swoje zastosowanie. Kontrowersyjną kwestią było uprzednio różnicowanie punktacji w zależności od języka publikacji – niezrozumienie dotyczyło zwłaszcza pojęcia języka podstawowego w danej dyscyplinie naukowej. W założeniu chodziło o język danej dyscypliny w wymiarze globalnym (języki filologii narodowych), a nie o powszechny język uprawiania nauki w Polsce, jak to interpretowały niektóre środowiska. Ponieważ monografie odgrywają szczególną rolę w naukach humanistycznych, często poddawano też krytyce punktowe preferowanie języków kongresowych wobec rodzimego, dbałość o który uważana jest za powinność humanistów. W rezultacie komitet uznał, że właściwszym rozwiązaniem będzie uniezależnienie punktacji od języka, w jakim opublikowana została monografia (25 pkt).

Wobec powszechnej świadomości, iż spłaszczona punktacja za monografie naukowe nie oddaje jakościowego zróżnicowania tej kategorii dorobku naukowego, KEJN zaproponował wprowadzenie szczególnego wyróżnienia: monografii wybitnych, wyłanianych na drodze oceny eksperckiej, opierając się na przyznanych danej publikacji prestiżowych nagrodach. Dopuszczalna liczba zgłoszeń (jedynie 5% wartości liczby N) czyni z monografii wybitnych grupę elitarną, premiowaną podwójną punktacją (50 pkt).

W efekcie gruntownej analizy wyników ewaluacji przeprowadzonej w 2013 r. i zdiagnozowania głównych problemów KEJN postanowił zmienić podejście do kwestii monografii wieloautorskich. Z uwagi na brak systemu oceny wydawnictw nie jest tu możliwe zastosowanie rozwiązań przyjętych dla publikacji w czasopismach naukowych. Odnotowuje się przykładowo niepokojące przypadki „monografii” powstających w wyniku komercyjnych inicjatyw wydawniczych jako składanki odrębnie napisanych tekstów, a nie efekt współpracy badaczy. Wprowadzone obecnie zróżnicowanie zakłada, że za monografię mającą nie więcej niż trzech autorów jednostki naukowe otrzymają pełną punktację, natomiast w przypadku opracowań o większej liczbie autorów punkty zostaną proporcjonalnie podzielone między jednostki.

Zaangażowanie JN w realizację projektów badawczych

Już w poprzedniej kategoryzacji ocena aktywności jednostek w pozyskiwaniu finansowania badań od agend międzynarodowych, rządowych i od firm była bardzo istotna. Wyrażała się ona w postaci odrębnego kryterium III. W omawianym rozporządzeniu rola innowacji i aktywności badawczej została dodatkowo wzmocniona. Wyrazem tego są następujące zmiany:

nie ma ograniczenia liczby punktowanych patentów w kryterium I, pod warunkiem, że patent został przyznany, a za patenty wdrożone i międzynarodowe można uzyskać dodatkowe punkty;

w kryterium III punktowany jest nie tylko wymiar finansowy projektów i zleceń od firm, lecz także aplikacje;

poszerzenie kryterium II o zdolność jednostki naukowej do pozyskiwania i koordynowania projektów naukowych i badawczo-rozwojowych.

Ta ostatnia zmiana zasługuje na nieco dokładniejsze omówienie ze względu na swój nowatorski charakter. Kryterium II grupowało osiągnięcia świadczące o potencjale jednostki naukowej. Głównymi składowymi tego kryterium były (i nadal są) uprawnienia do nadawania stopni naukowych oraz faktyczne ich wykorzystanie. W nowym rozporządzeniu KEJN zaproponował, by za trwałe, świadczące o potencjale jednostki naukowej osiągnięcia uznać także jej zdolność do kreowania na tyle ważnych tematów badawczych, by jednostka stała się liderem merytorycznym i koordynatorem organizacyjnym projektów międzynarodowych, ogólnopolskich lub regionalnych.

Zamysł ten okazał się wyjątkowo trudny w realizacji ze względu na konieczność pogrupowania projektów badawczych z uwagi na ich zasięg terytorialny, stopień trudności w ich pozyskaniu oraz poziom finansowania. KEJN podjął próbę obiektywizacji podziału projektów na cztery rodzaje, oznaczone od r1 do r4. Korzystaliśmy przy tym z wydatnej pomocy ekspertów z Krajowego Punktu Kontaktowego oraz z NCBR, a także z szerokich konsultacji ze środowiskami naukowymi. W rezultacie powstał następujący podział:

r1 – projekty międzynarodowe o najszerszym zasięgu (np. ramowe UE, NASA, CERN);

r2 – projekty międzynarodowe o zasięgu europejskim (np. COST, COSME, HERA);

r3 – projekty finansowane przez: NCN, NCBR i FNP oraz odpowiadające tym agencjom zagraniczne instytucje publiczne w krajach OECD (np. NSF, NSERC, DFG, DARPA);

r4 – projekty POIG, POIR oraz finansowane z Regionalnych Programów Operacyjnych 2014-2020, a także inne badania naukowe lub prace rozwojowe realizowane w Polsce na zlecenie krajowych bądź międzynarodowych podmiotów gospodarczych.

Pełny opis punktowanych projektów można znaleźć w załączniku nr 3 do rozporządzenia. Staraliśmy się, by opis ten był możliwie precyzyjny, ale nie sposób było uniknąć określeń „i odpowiadające im projekty”, gdyż ich lista jest bardzo długa i stale rośnie.

Drugim czynnikiem wpływającym na punktację w kryterium II była rola jednostki w zarządzaniu i realizacji projektu, tzn. koordynacja krajowa lub międzynarodowa, wykonawca itp. Powyższe elementy oraz wysokość przyznanych środków finansowych stanowią podstawę do punktowego wyliczenia „wartości” projektu. Za jeden projekt jednostka naukowa może uzyskać maksymalnie 100 pkt, a za wszystkie realizowane w okresie objętym oceną maksymalnie 400 punktów. Zauważmy, że 400 punktów to odpowiednik posiadania przez jednostkę uprawnień do doktoryzowania i habilitowania w czterech dyscyplinach. W trakcie konsultacji ze środowiskiem wiele jednostek, zwłaszcza instytutów PAN i instytutów badawczych, podnosiło problem braku możliwości uzyskiwania uprawnień w kilku dyscyplinach. Zaproponowane rozwiązanie pozwala kompensować brak takich uprawnień poprzez zwiększoną aktywność w pozyskiwaniu i koordynowaniu dużych projektów badawczych.

Innowacyjny wymiar badań naukowych (wdrożenia i aplikacje)

Innowacyjność badań naukowych i prac rozwojowych może być oceniana zakresem zastosowań uzyskanych wyników w szeroko rozumianej praktyce społecznej i gospodarczej. W rozporządzeniu w sprawie kryteriów i trybu przyznawania kategorii naukowej jednostkom naukowym w odniesieniu do wszystkich grup nauk i wszystkich typów jednostek naukowych (§11 ust. 2) przewidziano ocenę praktycznych efektów działalności naukowej i artystycznej polegającą na uwzględnieniu m.in. wdrożeń i aplikacji wyników badań naukowych lub prac rozwojowych zrealizowanych w ocenianej jednostce naukowej. Rozróżnienie zaproponowanych form zastosowania wyników badań najprościej można zdefiniować następująco:

wdrożenie to zastosowanie wyników działalności naukowej i artystycznej, które generuje przychody i jest oceniane na podstawie wysokości przychodu jednostki naukowej;

aplikacja to zastosowanie wyników działalności naukowej i artystycznej, które nie generuje bezpośrednich wymiernych korzyści materialnych dla jednostki wdrażającej i jest oceniane na podstawie zasięgu jej oddziaływania.

Wdrażanym produktem może być innowacja, w szczególności produktowa, procesowa, systemowa, organizacyjna lub społeczna, a przychód z tytułu jej wdrożenia jest potwierdzany także kopią stosownej umowy (§18 Ankiety).

Aplikacja dotyczy zastosowania produktu, który należy scharakteryzować w odniesieniu do takich elementów, jak: oryginalność, twórcza zmiana w funkcjonowaniu podmiotu korzystającego z aplikacji oraz wymaga potwierdzenia powtarzalności lub zasięgu oddziaływania (§19 Ankiety). Przy czym zasięg oddziaływania aplikacji został określony jako: mały/lokalny (zasięg nieprzekraczający jednego województwa lub liczba podmiotów, które zastosowały produkt nie mniejsza niż 3), średni/krajowy (zasięg nie mniejszy niż 3 województwa lub liczba podmiotów, które zastosowały produkt nie mniejsza niż 10), duży/międzynarodowy (aplikacja produktu na terenie więcej niż jednego państwa).

Można mieć nadzieję, że tak oceniany dorobek działalności naukowej i artystycznej jednostek naukowych wpłynie korzystnie na jakość prowadzonych badań oraz zwiększy innowacyjność i konkurencyjność polskiej gospodarki, mobilizując jednostki naukowe do zwiększonego wysiłku w kierunku zastosowania uzyskanych wyników w praktyce społecznej i gospodarczej.

Liderzy naukowi (kategoria A+)

Liderzy naukowi będą wybierani przez specjalnie do tego celu powołane grupy ekspertów, zatem będzie to czysto ekspercka składowa oceny parametrycznej JN (patrz Rys. 1 – lewa strona wagi). By móc kandydować do kategorii A+, JN będzie musiała uzyskać w kryterium I ocenę nie mniejszą niż 70% najwyższej oceny według tego kryterium w danej GWO.

W zależności od GWO eksperci oceniać będą: 1) udział jednostki w upowszechnianiu osiągnięć naukowych w skali światowej; 2) udział jednostki w tworzeniu strategicznej infrastruktury badawczej; 3) znaczenie wyników badań naukowych lub/i prac rozwojowych jednostki, dla rozwoju gospodarczego kraju; 4) szczególnie wybitne osiągnięcia naukowe lub/i artystyczne jednostki; 5) udział jednostki w realizacji międzynarodowych projektów badawczych, zwłaszcza w pozycji koordynatora badań. W niektórych GWO dla jednostek aplikujących o kategorię A+ eksperci mogą brać pod uwagę bardziej wymagające wskaźniki, takie jak: A) średnia wartość punktowa 25% osiągnięć jednostki najwyżej ocenionych kryterium I; B) wartość zmodyfikowanego indeksu Hirscha; C) liczba wysoko cytowanych publikacji jednostki, w których udział jednostki w powstaniu publikacji musi być istotny, oznacza to, że co najmniej połowa autorów lub/i autor korespondujący lub/i autor pierwszy muszą pochodzić z jednostki.

Komisja oceniać będzie wymienione powyżej osiągnięcia jednostki, przyznając i uzasadniając liczbę przyznanych punktów. Liczba jednostek kategorii A+ w każdej GWO zależeć będzie od pozycji międzynarodowej Polski w reprezentowanej przed daną GWO dziedzinie czy dziedzinach nauki.

Wydaje się, że system wprowadzony w parametryzacji roku 2017 pozwoli na szersze niż dotąd kandydowanie jednostek kategorii A do kategorii A+.

Wnioski i perspektywy

Jedną z najważniejszych spraw było niewątpliwie uzyskanie szerokiego wsparcia środowisk naukowych dla przyjętego trybu oceny jednostek, który ma charakter mieszany z dużym udziałem czynnika eksperckiego. Wydaje się, że przyjęty algorytm spotkał się z aprobatą znakomitej większości jednostek naukowych, co niewątpliwie ułatwi przeprowadzenie kolejnej kategoryzacji. Proporcje między częścią parametryczną (mierzalną) oceny oraz częścią ekspercką zostały przez środowisko zaakceptowane.

Przyjęte zmiany systemowe wychodzą naprzeciw potrzebom środowiska i jeszcze lepiej ujmują różne przejawy działalności naukowej jednostek. W szczególności warto podkreślić najistotniejsze nowości, takie jak:

uproszczenie algorytmu porównywania parami,

wprowadzenie pojęcia niejednorodnych jednostek naukowych (NJN),

utworzenie specjalnych GWO dla NJN i wprowadzenie dla nich nowych zasad ustalania ocen jednostek referencyjnych,

lepsza ocena wymiaru innowacyjnego badań naukowych m.in. poprzez wprowadzenie pojęcia aplikacji,

umiędzynarodowienie oceny poprzez wprowadzenie definicji jednostek referencyjnych (JRA, JRB) w kontekście standardów międzynarodowych.

Wydaje się zatem, że obecny kształt oceny parametrycznej obejmuje zarówno elementy, które sprawdziły się w poprzednich edycjach, jak i te nowe, stwarzające perspektywę bardziej kompleksowego spojrzenia na osiągnięcia jednostek. Pozostaje zatem życzyć wszystkim jednostkom sukcesu w kolejnej edycji oceny i uzyskania jak najwyższej kategorii naukowej, której konsekwencją jest wysokość tzw. dotacji statutowej.