Ministerstwo Nauki i Szkolnictwa Wyższego opublikowało dane dotyczące najnowszej oceny parametrycznej jednostek naukowych dokonanej przez Komitet Ewaluacji Jednostek Naukowych. Zalety i wady tej oceny przedstawił ostatnio J.M. Brzeziński w artykule Ocena parametryczna – co dobre, co zmienić (FA 11/2013). W wyniku przeprowadzonej oceny parametrycznej KEJN przydzielił wydziałom uczelni kategorie naukowe A+, A, B i C, które odzwierciedlają (a przynajmniej powinny) ich poziom naukowy. Podział na kategorie został oparty na metodzie porównywania parami, szczegółowo omówionej w artykule S. Kistryna i O. Hryniewicza Zrozumieć metodę porównań parami (FA 7-8/2012). Najpierw utworzono Grupy Wspólnej Oceny (GWO), które składały się z możliwie jednorodnych naukowo wydziałów. Następnie w każdej GWO utworzono jednostki referencyjne modelujące różnice pomiędzy kategoriami. W każdej GWO porównywano parami wszystkie jednostki między sobą wraz z jednostkami referencyjnymi (w przypadku uczelni akademickich chodzi po prostu o „wydział” referencyjny).

Wydziały oceniano według czterech odrębnych kryteriów, które zostały opatrzone różnymi wagami, aby zróżnicować odmienne aktywności naukowe oraz wyeksponować specyfikę danego środowiska naukowego: I Osiągnięcia naukowe i twórcze (waga 60-65%), II Potencjał naukowy (waga 10%), III Efekty materialne działalności naukowej (waga 10-15%) oraz IV Pozostałe efekty działalności naukowej (10%). Nie wdając się w szczegóły, warto podkreślić, że jednostki różniące się sumaryczną oceną ważonych kryteriów I-IV o mniej niż 10 proc. są w algorytmie nieodróżnialne (czyli reprezentują ten sam poziom). Jest to istotna różnica w stosunku do poprzednich kategoryzacji, w których zawsze był pewien arbitralny poziom odcięcia i porównywalne naukowo jednostki mogły (lub musiały) znaleźć się w różnych kategoriach. Ostateczna ocena wydziału jest sumą wyników punktowych jej porównania ze wszystkimi wydziałami w danej GWO oraz wydziałami referencyjnymi w tej GWO. Kategorię naukową ustala się przez porównanie wartości oceny ostatecznej wydziału z wartościami ostatecznymi wydziałów referencyjnych. Wszystkie wydziały z ostateczną oceną większą lub równą ocenie ostatecznej wydziału referencyjnego kat. A zostają zaliczone do kategorii A i odpowiednio podobnie dla kategorii B. Pozostałe wydziały zostają zaliczone do kategorii C. Poziom wydziałów referencyjnych w każdej GWO został dobrany tak, aby wydziały różniące się całkowitą oceną o ok. 30 proc. należały do różnych kategorii. Elitarna kategoria A+ (której nie było w poprzednich ocenach) została utworzona z grupy 25 proc. najwyżej ocenionych wydziałów w każdej GWO, spełniających dodatkowo szereg innych, bardzo trudnych do spełnienia wymagań (wysoka średnia punktacja publikacji, wysoka średnia cytowalność publikacji itp.). Wśród kategoryzowanych 756 wydziałów akademickich szkół wyższych (mających co najmniej dwa uprawnienia doktoryzowania) kategorię A uzyskało 225 wydziałów (29,8 proc.), kategorię B uzyskały 452 wydziały (59,6 proc.), a kategorię C uzyskało 57 wydziałów (7,5 proc.). Kategorię A+ uzyskały tylko 23 wydziały (3,0 proc.) uczelni akademickich.

Ranking „olimpijski”

Dysponując bazą kategorii wydziałów można utworzyć „olimpijski” ranking uczelni akademickich według malejącej liczby kategorii: najpierw najwyższej A+ (medal złoty), potem A (medal srebrny), a końcu B (medal brązowy). Kategoria C (poza pudłem) liczy się ujemnie. Jeśli dwie uczelnie mają taką samą liczbę wydziałów kat. A+, to wyżej notowana będzie ta z większą liczbą kategorii A. Podobnie większa liczba kategorii B rozróżni dwie uczelnie o takiej samej liczbie kat. A. Natomiast wśród dwóch uczelni o takiej samej liczbie kat. A i B wyższą pozycję zajmie ta o mniejszej liczbie kat. C. Jeśli to nie pomoże, zastosuje się kolejność alfabetyczną. Ranking 92 uczelni akademickich wykonany powyżej opisaną metodą przedstawia Tabela 1. Pierwsza kolumna oznacza pozycję uczelni w rankingu kategorii, w drugiej kolumnie podano pozycję tej uczelni w rankingu indeksu Hirscha (omówiony poniżej), a w trzeciej kolumnie znajduje się pełna nazwa uczelni (wraz ze skrótem używanym na Rysunku 1. Statystyka uzyskanych kategorii znajduje się w prawej części Tabeli 1.

Ranking „olimpijski” jest najprostszym rankingiem, jaki można skonstruować z bazy danych kategorii wydziałów uczelni. Ma on z pewnością drobne wady, nie do usunięcia nawet przy próbach utworzenia bardziej skomplikowanego rankingu. Na przykład nie uwzględnia on faktu, że uczelnie różnią się znacznie liczbą wydziałów. Rozpiętość jest duża, gdyż sięga od 3 do 29, choć to nie jest istotne. Problem występuje raczej w przypadku uczelni o porównywalnej liczbie wydziałów i o prawie takich samych kategoriach, gdy wygrywa ta, która ma więcej wydziałów kategorii B (premia za rozdrobnienie). Na szczęście takie przypadki są nieliczne i nie ma ich w ogóle w pierwszej połowie tabeli. W kilku przypadkach musieliśmy się jednak odwołać do porządku alfabetycznego.

Warto porównać

Pomimo drobnych usterek ranking „olimpijski” kategorii wydaje się odzwierciedlać strukturę poziomu uczelni. Z pewnością jest rankingiem naukowym nie tylko z definicji. Po pierwsze, oparty jest w przeważającej części na osiągnięciach naukowych. Po drugie, wśród owych osiągnięć preferowane są publikacje w możliwie najlepszych czasopismach funkcjonujących w obiegu międzynarodowym. Wysoka pozycja uczelni w tym rankingu oznacza, że pracownicy przynajmniej niektórych jej wydziałów publikują dużo prac naukowych w dobrych czasopismach specjalistycznych. Warto porównać go z innym rankingiem aspirującym do naukowego, mianowicie rankingiem opartym na indeksie Hirscha. Został on opracowany na Uniwersytecie Zielonogórskim i opublikowany po raz pierwszy w ubiegłym roku przez tygodnik „Polityka” oraz przedstawiony szczegółowo w artykule Janusza Gila Uczelnie nauką silne (FA 05/2013). Dla ułatwienia dalszej dyskusji będziemy go nazywać rankingiem Hirscha (w skrócie ranking H), natomiast dla rankingu kategorii będziemy używać symbolu K.

Ranking H został opracowany na podstawie indeksu Hirscha, który zrobił zawrotną karierę w ostatnich latach i został przyjęty jako wiarygodna miara zdolności publikowania ważnych (często cytowanych) artykułów naukowych. Według definicji indeks Hirscha, oznaczany literą h , jest to liczba publikacji z całej puli zarejestrowanej w danej bazie danych, które były cytowane co najmniej h razy (np.: h = 30 oznacza, że 30 prac było cytowanych co najmniej 30 razy). Zatem parametr h mierzy jednocześnie produktywność i jakość publikacji uczonego lub zbioru uczonych (np. ich macierzystej uczelni, przy której afiliują swoje publikacje). Za jego pomocą można dokonywać oceny dorobku naukowego jednego autora, wydziału, uczelni (omawiany przypadek), czasopisma, dyscypliny naukowej czy nawet kraju. Ponadto parametr h jest dosyć łatwy do uzyskania. Wystarczy uszeregować malejąco publikacje pod względem liczby cytowań i znaleźć liczbę porządkową najbliższą (większą lub równą) liczbie cytowań tej publikacji. Szczegółowy opis metodologii rankingu znajduje się we wspomnianych artykułach, jak również na specjalnej stronie internetowej http://rankingi.ia.uz.zgora.pl/.

Analizy przeprowadzono na przełomie marca i kwietnia 2013 roku na podstawie bazy danych Web of Science (Web of Knowledge, Thomson Reuters), która obejmowała następujące opracowania: Science Citation Index Expanded (SCI-EXPANDED), Social Sciences Citation Index (SSCI) i Arts & Humanities Citation Index (A&HCI). Z tego powodu pod uwagę brane były tylko publikacje określane w Polsce jako „filadelfijskie”, jednakże obejmujące wszystkie dyscypliny naukowe uprawiane na naszych uczelniach. W dalszej części będziemy używać skrótu WoS dla bazy Web of Science. Publikacje i cytowania były przypisywane do uczelni na podstawie oficjalnej afiliacji podanej przez autorów. Wybór bazy WoS podyktowany został tym, iż baza ta jest preferowana i rekomendowana przez NSF, a więc jest istotna dla zdobywania grantów naukowych, a w konsekwencji też stopni i tytułów naukowych.

Porównanie rankingów K i H przedstawia Rysunek 1, na którym oś pozioma odpowiada pozycji uczelni w rankingu K (kolumna 1. w Tab. 1), natomiast oś pionowa y odpowiada pozycji uczelni w rankingu H (kolumna 2. w Tab. 1). Punkty o współrzędnych (K,H) oznaczone są skrótami odpowiadających im uczelni (kolumna 3. w Tab. 1). Uczelnie zostały podzielone na 9 kategorii oznaczonych różnymi kolorami objaśnionymi w legendzie rysunku. Konkretne uczelnie można łatwo zidentyfikować po skrócie występującym przy symbolu i odwołaniu się do Tab. 1. Dla ułatwienia analizy sąsiednie punkty zostały połączone cienkimi kropkowanymi liniami. Idealną korelację H=K (takie same pozycje w obu rankingach) reprezentuje gruba biała linia przecinająca wykres pod kątem 45 stopni (diagonala), wokół której fluktuują dane, choć bardzo wiele z nich leży prawie na niej. Dwa symetryczne szare pasy po obu jej stronach reprezentują tzw. średnie odchylenie kwadratowe (odchylenie standardowe) ∑ od idealnej korelacji, które wynosi 19.47 (czyli około 19 pozycji). Dla ułatwienia analizy wprowadzono dwie węższe białe linie reprezentujące 0.5 ∑. Zatem wewnętrzne szare obszary otaczające linie idealnej korelacji należy traktować jako strefę błędu statystycznego.

Statystycznie równoważne

Nie ulega wątpliwości, że oba rankingi K i H są bardzo dobrze skorelowane ze sobą. Poza szarym obszarem (o szerokości 2 ∑) znajduje się około 20 procent uczelni, w tym tylko dwa uniwersytety i jedna politechnika, oraz 13 innych uczelni (w tym 7 ekonomicznych). W węższym pasie 0.5 ∑ znajduje się większość polskich uniwersytetów i politechnik. Wysoka (niska) pozycja w rankingu K implikuje wysoką (niską) pozycję w rankingu H. Pomijając na razie interpretacje nielicznych odstępstw od dobrej korelacji, skupmy się teraz na ewidentnej korelacji obu rankingów.

O ile indeks H obliczany dla pojedynczych naukowców wymaga spełnienia wielu granicznych warunków (np. muszą reprezentować tę samą dyscyplinę nauki, jak również mieć porównywalny staż naukowy), o tyle w przypadku większych i bardziej różnorodnych zbiorów uczonych tworzących wielowydziałowy twór typu uczelni, warunki te ulegają znacznemu uśrednieniu, przynajmniej w większości przypadków. Uważam, że porównywanie całych uczelni metodą indeksu H jest w pełni uzasadnione. W uczelniach są oczywiście starsi i młodsi pracownicy uprawiający mniej lub bardziej modne dyscypliny nauki, ale różnice skutecznie się zacierają przy ocenie całościowej. To pewnie tłumaczy tak dobrą korelację pomiędzy rankingami K i H. Można powiedzieć, że statystycznie są one właściwie równoważne. Ranking H jest naukowy w takim samym stopniu jak ranking K. Albo, powiedzą niektórzy, że są nienaukowe w takim samym stopniu.

Można wskazać jeszcze jeden istotny powód, dla którego oba rankingi tak dobrze korelują między sobą. Mianowicie oba rankingi mają wbudowany mechanizm uwzględniania tylko najbardziej wartościowych prac, publikowanych w najbardziej prestiżowych czasopismach specjalistycznych. W przypadku rankingu H, opartego na indeksie Hirscha, sprawa jest oczywista: w grę wchodzą tylko najczęściej cytowane publikacje z dolnym odcięciem równym indeksowi h , będącym jedynym kryterium rankingu. Z kolei w rankingu K mechanizmem tym jest tzw. ograniczenie 3N liczby publikacji, jakie można zgłosić do oceny (w tym tylko 40% tzw. monografii), gdzie N jest liczbą pracowników naukowych wydziału zobowiązanych ustawowo do publikowania wyników swojej działalności naukowej. Wskutek tego ograniczenia wydziały przedstawiają do oceny „najlepsze” publikacje, które z naturalnych powodów są w wielu wypadkach często cytowanymi publikacjami indeksowanymi w WoS. Podstawowe ograniczenia występujące w obu rankingach wydają się w znacznym stopniu komplementarne, co dobrze tłumaczy wysoki stopień korelacji obu rankingów.

Nad i pod kreską

Na zakończenie przedyskutujemy najbardziej drastyczne odstępstwa od idealnej korelacji rankingów H i K. Uniwersytety i politechniki klasyczne wydają się korelować w obu rankingach bardzo dobrze (w ramach błędu statystycznego). Również wiele uniwersytetów przymiotnikowych (otwarte czerwone kółka), jak też inne szkoły techniczne (otwarte granatowe kółka) wykazują spory stopień korelacji, choć odstępstwa są w tej grupie większe, ale też zdarzają się uczelnie doskonale korelujące w obu rankingach (np. ZPUT, UPP, UPWr, UPL). Nad diagonalą idealnej korelacji znajdują się uczelnie, których pozycja w rankingu K nie jest odzwierciedlona wysoką pozycją w rankingu H. Ciekawe że po tej stronie leżą wszystkie bez wyjątku uczelnie ekonomiczne (pomarańczowe kółka). Wśród nich najwyżej notowany dorobek indeksowany w WoS ma UEP, ale uczelnia poznańska wypadła poniżej możliwości w rankingu K. Znacznie wyprzedziła ją SGH, która dzięki dwóm wydziałom A+ i trzem wydziałom A (Tabela 1) w rankingu K zajęła czwarte miejsce w Polsce. Z pewnością SGH zajęła wysoką pozycję w swojej GWO, ale przyznanie kat A+ wymaga dużego i często cytowanego dorobku w międzynarodowym obiegu (zgodnie z par. 18 pkt. 7.2 a,b DU. Poz. 877), a tego w bazie WoS nie widać.

Z kolei poniżej diagonali korelacji widoczna jest grupa uczelni medycznych (jasnoniebieskie kółka), z dwoma wyjątkami (GUM i UMB), których kategorie naukowe wydziałów wydają się zaniżone w stosunku do wyników naukowych. Szczególnie wyróżniają się WUM (K = 32, H = 5) oraz ŚUM (K = 66, H = 19), które dobrej lub nawet bardzo dobrej pozycji w rankingu H nie potrafiły przekuć na wysokie kategorie naukowe. Być może problemem jest duża liczba N zatrudnionych naukowców w stosunku do grupy aktywnej publikacyjnie.