Kategoryzacja parametryczna wprowadzona została przez KBN w 1997 roku po to, by zastąpić używaną wcześniej opisową, jakościową kategoryzację. Kategoryzacja jakościowa szybko uległa deformacji wskutek stałego przepływu jednostek do wyższych kategorii, co spowodowało, że olbrzymia większość polskich naukowców pracowała w instytucjach najwyższej kategorii. Zróżnicowanie między jednostkami praktycznie zanikło. Kategoryzacja parametryczna miała na celu ilościową ocenę dorobku naukowego jednostki na podstawie wcześniej ustalonych kryteriów, co powinno obiektywnie ustalić rzeczywiście zajmowane miejsce każdej z nich na tle innych, podobnych jednostek.

Sporne kryteria

W 1997 roku przeprowadzono pilotażową kategoryzację wybranych jednostek w celu praktycznego sprawdzenia ustalonych kryteriów, a w 1998 r. skategoryzowano wszystkie jednostki naukowe. Jak można było wcześniej przewidzieć, część środowiska przyjęła kategoryzację z entuzjazmem, jako użyteczne narzędzie obiektywnej oceny działalności naukowej jednostek, natomiast inna część – głównie przedstawiciele środowisk i instytucji, które miały słaby dorobek – ostro kontestowała zasady i kryteria proponując albo powrót do poprzedniej metody oceny, albo wprowadzenie, z dużą wagą, kryteriów niewiele mających wspólnego z uprawianiem nauki, ale preferujących kontestujące środowiska. Po przeprowadzeniu szeroko zakrojonej dyskusji nad ulepszeniem kryteriów i poprawą ich względnych wag powstała propozycja odpowiednich zmian. Zmodyfikowane kryteria zostały zastosowane do kategoryzacji przeprowadzonej w 2001 r. Również i po tej kategoryzacji obok głosów pochwały pojawiła się fala krytyki. W szczególności niektóre zmiany, wprowadzone na zasadzie szukania kompromisu między sprzecznymi interesami różnych środowisk i grup nacisku, popsuły w istocie kryteria i oddaliły kategoryzację od zamierzonego celu – wskazania najlepszych i najsłabszych naukowo jednostek w poszczególnych dziedzinach. Jedna z ważnych, stale powtarzających się uwag krytycznych dotyczyła wspólnej oceny jednostek, których głównym wynikiem jest publikacja naukowa z jednostkami ukierunkowanymi na rozwój technologii i innowacji.

Zdając sobie sprawę z tego, że problemu nie da się rozwiązać przez dodawanie i ujmowanie różnych kryteriów czy wprowadzanie dla nich różnych wag, KBN zaproponował, by przy następnej kategoryzacji osobno oceniać jednostki, których głównym efektem badań jest publikacja oraz te, które zajmują się rozwojem technologii i wdrażaniem innowacji. Po wprowadzeniu tej separacji sensowne wydawało się też zredukowanie ocenianego dorobku publikacyjnego do najbardziej wartościowego oraz ograniczenie jego liczby do 2N, gdzie N jest liczbą pracowników naukowych. Niestety, rozporządzenie ministra z 2005 r., stanowiące podstawę kategoryzacji przeprowadzonej w tymże roku, ograniczyło wprawdzie liczbę ocenianych publikacji do 2N, ale nie nakazało rozdzielenia jednostek wdrażających od publikujących i nie wprowadziło żadnych ograniczeń w liczbie ocenianych osiągnięć wdrożeniowych. Innymi słowy, wprowadzono absolutną granicę możliwej liczby punktów, którą można było uzyskać za publikacje, natomiast liczba punktów za wdrożenia była słabo ograniczona. Doprowadziło to do zniekształcenia oceny jakościowej jednostek przez jednostronne promowanie jednostek zajmujących się rozwojem technologii i innowacjami, szczególnie jeżeli wziąć pod uwagę, że kryteria oceny dla tej sfery były mało precyzyjne.

Taka konstrukcja rozporządzenia to niemal podręcznikowy przykład sytuacji, gdy uwzględnienie tylko części postulatów zgłaszanych przez środowisko jako pewien logiczny pakiet skutkuje pogorszeniem systemu oceny. Częściowym remedium, wprowadzonym a posteriori, stało się zaliczenie do dwóch najwyższych kategorii znacznie większej liczby jednostek, niż poprzednio. Wprawdzie ranking był zniekształcony, ale dobre jednostki publikujące utrzymały wysoką kategorię. Pomimo to środowisko naukowe uznało tę kategoryzację za nieudaną. Spodziewano się też, że oczywiste błędy zostaną usunięte i następna kategoryzacja lepiej odtworzy poprawny ranking jednostek.

Niestety w następnych latach rozporządzenie zostało parokrotnie zmienione, przy czym żadna z proponowanych wersji nie została sprawdzona w praktyce. Nastąpiło całkowite oderwanie proponowanych kryteriów od wcześniejszych doświadczeń. W efekcie, w kryteriach znalazły się jeszcze bardziej obfite źródła punktów dla jednostek zajmujących się rozwojem technologii i innowacjami, mierzonych wyłącznie wielkością przychodów z wdrożeń jednostki ocenianej i bliżej nieuzasadnianych przychodów zakładów wdrażających.

Oto przykład. W 2005 r. za wdrożenie nowego produktu jednostka naukowa otrzymywała zryczałtowaną liczbę punktów zależną od średniorocznych przychodów wdrażającego zakładu przemysłowego, przy czym maksymalną ich liczbę 150 otrzymywała jednostka za średnioroczne przychody zakładu przekraczające 10 mln zł. W zmienionym w 2007 r. rozporządzeniu zapisano 1 punkt za każde 200 tys. przychodów. Przy okazji wypadło słowo „średnioroczne”. To oznaczało, że jeżeli zakład pracy uzyskałby łączne przychody w ocenianym okresie w wysokości 200 mln zł, jednostka wdrażająca otrzymałaby 1000 punktów! Nikt jednak nie sprawdził, jakie konsekwencje praktyczne ma taka zmiana, bo rozporządzenie z 2007 r. nigdy nie zostało zastosowane, natomiast zostało zmienione w 2009 roku, a potem jeszcze raz w 2010 r. Wprawdzie w projekcie ostatniej noweli, ocenianym przez KPNiNT wiosną 2010 r., nadal zachowany był ten zapis w niezmienionej formie, ale w ostatecznej wersji pojawił się zapis, że za każde 200 tys. zł jednostka wdrażająca otrzymuje 3 punkty. A zatem, za łączne przychody zakładu produkcyjnego w wysokości 200 mln zł oceniana jednostka otrzymała w ostatecznym rachunku 3000 punktów.

Niestety, niebezpieczeństwa nie dostrzegł też Komitet, który w żadnej swej opinii nie odniósł się wprost do tego zapisu. Nic dziwnego, że jednostki badawczo-rozwojowe, związane zwłaszcza z przemysłem ciężkim, przedstawiły dokumenty z kooperujących zakładów pracy opiewające na sumy przychodów idące w miliardy złotych. Wprawdzie ograniczenie liczby ocenianych publikacji podniesiono do 3N i wprowadzono symetryczny zapis dotyczący wdrożeń, ale symetrii w dorobku punktowym nie było: za jedną publikację można było uzyskać maksymalnie 40 punktów, a za jedno wdrożenie wiele tysięcy punktów. Podobnych źródeł punktów za wdrożenia pojawiło się więcej.

Dodatkowe zamieszanie wprowadziły zespoły oceniające: niektóre bardzo surowo traktowały nierealne oświadczenia zakładów pracy, a inne były znacznie bardziej liberalne. Końcowym efektem kategoryzacji przeprowadzonej w 2010 r. było pogłębienie nieprawidłowej sytuacji, jaka wystąpiła wcześniej. Jednostki zajmujące się rozwojem technologicznym i innowacjami zajęły niemal wszędzie czołowe miejsca w rankingach.

I znów, by dobre, cenione w świecie instytucje naukowe nie znalazły się w gorszych kategoriach, rozszerzono dwie pierwsze kategorie: do I i II kategorii zaliczono 69 proc. ocenianych jednostek, przy czym znalazły się tam wszystkie instytuty PAN i 71 proc. instytutów badawczych. Tak przeprowadzona kategoryzacja, a zwłaszcza związany z nią ranking jednostek, zniekształciły obraz polskiej nauki i wywołały irytację środowisk naukowych, zwłaszcza tych związanych z uczelniami.

Stanowisko KPNiNT

Komitet Polityki Naukowej i Naukowo-Technicznej wielokrotnie wyrażał swoje stanowisko, zarówno poprzez oficjalne, pisemne opinie, jak też podczas dyskusji i rozmów z przedstawicielami kierownictwa i administracji resortu. Można je w skrócie ująć następująco:

kategoryzacja powinna służyć promowaniu wysokiej jakości w całej nauce, co powinno przejawiać się w stosowaniu jasnych kryteriów i niedopuszczeniu do jej traktowania w kategoriach gry; ze względu na zasadniczą niemożność porównania wartości publikacji z wartościami dotyczącymi rozwoju technologicznego i innowacji należy ten fakt uwzględnić w ocenie między innymi przez grupowanie jednostek stosownie do ich zadań statutowych; obiektywna ocena wydajności naukowej jednostki (tzn. zebranych punktów w przeliczeniu na jednego naukowca) wymaga precyzyjnego określenia kategorii pracowników wliczanych do liczby N (ta sama liczba powinna figurować we wnioskach o dofinansowanie działalności statutowej).

Niestety, z powyższych postulatów został uwzględniony tylko ostatni, dotyczący ścisłej definicji osób zaliczanych do N. Przy wielkiej asymetrii w punktowaniu wdrożeń i wspólnej ocenie wszystkich jednostek z danej dyscypliny naukowej, nie miało to większego wpływu na końcowy ranking.

Wykorzystać doświadczenia

Zgodnie z wcześniej ustalonymi regułami, w 2009 r. minęły 4 lata od ostatniej kategoryzacji i przypadł termin kolejnej. Okres 4 lat jest, zdaniem środowiska naukowego, optymalny z punktu widzenia periodycznej oceny naukowej aktywności jednostek badawczych oraz uaktualnienia ich kategoryzacji i rankingu. Niestety, decyzją ministra została ona odwołana bez żadnego oczywistego powodu, a prace nad rozporządzeniem zostały zarzucone i podjęto je w pośpiechu dopiero na przełomie 2009 i 2010 roku, po decyzji o przeprowadzeniu kategoryzacji w 2010 r. Jej błędy spowodowane były przede wszystkim oderwaniem użytych kryteriów od wcześniej zebranych doświadczeń oraz brakiem symulacji proponowanych rozwiązań.

Przed opracowaniem zasad oceny jednostek naukowych przez Komitet Ewaluacji Jednostek Naukowych (KEJN) należy przede wszystkim sprecyzować cel tej oceny. Należy odpowiedzieć sobie na pytanie: Czy chodzi o ustalenie pozycji danej jednostki w rankingu światowym? Jeżeli tak, należałoby możliwie dokładnie skopiować używane w tych rankingach kryteria. Innym celem może być ocena przydatności jednostek dla gospodarki i wyłowienie takich, które wyróżniają się innowacyjnością w najbardziej zaawansowanych technicznie obszarach przemysłu, wdrażając ulepszenia i wynalazki zwiększające ich konkurencyjność w świecie. Może też chodzić o ocenę znaczenia jednostki dla kraju w innych obszarach np. w organizacji krajowej nauki, szeroko rozumianej edukacji, popularyzacji i działalności eksperckiej, w tym prowadzeniu stałych usług na rzecz służb i urzędów państwowych. W każdym wypadku można opracować odpowiednie kryteria, ale ze świadomością, że wynik takiej oceny nie będzie miał wiele wspólnego z pozycją naukową jednostki na świecie.

Naszym zdaniem, dyskusja środowiskowa na temat tego, czemu ma służyć przyszła kategoryzacja, powinna wyprzedzić opracowanie szczegółowych kryteriów przyjętych przez KEJN.

Uważamy, że przyszła kategoryzacja, realizowana przez KEJN, powinna być przygotowana niezwykle pieczołowicie, a jej fundament winny stanowić doświadczenia dotychczasowych ocen i najlepsze światowe standardy w tym zakresie. Wyniki tej oceny, a zwłaszcza ranking jednostek, powinny odzwierciedlać prawdziwy stan jednostek w latach poprzedzających ocenę bez wprowadzania dodatkowych elementów, np. związanych z przyszłą polityką naukową. Pozycja każdej z nich w rankingu powinna zależeć wyłącznie od jej rzeczywistych wyników naukowych. Wszelkie wdrożenia, usługi i temu podobna działalność, bardzo przydatna ze względu na potrzeby państwa, ale niemająca charakteru badawczego, nie powinna być brana pod uwagę.