Niedawno na łamach „Forum Akademickiego” (2/2014) pojawił się artykuł prof. Janusza Gila, w którym zestawiono wyniki dwóch rankingów naukowych: parametrycznej oceny jednostek naukowych, która została przeprowadzona przez Ministerstwo Nauki i Szkolnictwa Wyższego oraz rankingu H, stworzonego przez autora wspomnianej publikacji i jego współpracowników z Uniwersytetu Zielonogórskiego.

Założenia i metodologia parametryzacji MNiSW są powszechnie znane w środowisku akademickim, nie ma więc potrzeby ich dokładnego przypominania. Z pewnością warto nad nimi dyskutować, ale nie to jest przedmiotem tego tekstu. Ranking H bazuje głównie na naukometrycznym indeksie h. Indeks ten w ostatnich latach jest coraz częściej stosowany, m.in. dzięki temu, że ujmuje dwa ważne parametry: produktywność mierzoną liczbą publikacji oraz ich jakość mierzoną liczbą cytowań. Polemika dotycząca sensowności i przydatności indeksu Hirscha dla oceny wielkości i znaczenia dorobku naukowego również nie jest przedmiotem tego tekstu. Celem jest analiza zaproponowanej przez prof. Gila próby zbudowania rankingu uczelni polskich na podstawie indeksu Hirscha oraz ocena trafności tego rankingu poprzez porównanie jego wyników z rezultatami parametryzacji jednostek naukowych.

Indeks w 37 odmianach

Ranking H bazuje na trzech parametrach: klasycznym indeksie h oraz dwóch jego modyfikacjach: indeksie hm (zwanym w literaturze także jako hmol = h/N0.4, gdzie N to liczba publikacji) oraz hp (tzw. progresywny indeks Hirscha, hp = h hm). Jak wskazano w innym artykule na łamach „Forum Akademickiego” (A. Sawicki, Naukometryczne pranie mózgów , 7-8/2013), w zasadzie nie wiadomo, co mierzy indeks progresywny i jakie są podstawy, aby sądzić, że jest on lepszym wskaźnikiem porównywania dorobku między instytucjami niż klasyczny indeks h.

W związku z rosnącą popularnością zastosowań indeksu h pojawiają się w literaturze różne jego modyfikacje, które mają zminimalizować w jakimś aspekcie ograniczenia tego indeksu. Jedną z ciekawszych analiz porównujących zastosowania i funkcjonalność różnych modyfikacji indeksu h jest metaanaliza związku indeksu h z 37 jego odmianami (Bornmann, Mutz, Hug i Daniel, 2011). Autorzy zauważyli, że generalnie modyfikacje indeksu h miały na celu: a) kompensację zjawiska różnej częstości cytowań w różnych dziedzinach nauki, b) wykluczenie wpływu autocytowań na wielkość wskaźnika h, c) uwzględnienie liczby współautorów publikacji, dzięki czemu w większym stopniu można ocenić indywidualny wkład badacza w jej powstanie, d) kompensację czynników związanych z krótkim stażem badawczym i z „wiekiem” publikacji, e) wzmocnienie znaczenia dobrze cytowanych publikacji.

Ośmiu modyfikacji indeksu h, z 37 omawianych w metaanalizie, nie dało się zakwalifikować do żadnej z wymienionych wyżej pięciu kategorii. Wśród tych indeksów znalazł się stosowany w rankingu H indeks hmol, który w założeniach miał uwzględniać w ocenie wielkość instytucji. Wyniki metaanalizy bazującej na 32 badaniach i próbie 9005 naukowców wskazały, że średnia korelacja między indeksem h i różnymi jego wariantami waha się pomiędzy 0,80 a 0,90. Zdaniem autorów świadczy to, że zmodyfikowane wersje indeksu h dostarczają w gruncie rzeczy redundantnych informacji. Jedynym wyjątkiem od tej reguły są dwa indeksy: MII (Sypsa i Hatzakis, 2009) i hm (Schreiber, 2008; nie mylić ze stosowanym w ranking H indeksem hmol). Pierwszy indeks (MII) w sposób bardziej złożony i trafny niż indeks hmol uwzględnia poprawkę wynikającą z wielkości instytucji; drugi (hm) uwzględnia wieloautorowość publikacji. Zatem od strony pragmatycznej i metodologicznej być może wystarczy stosować indeks h oraz dwie wyżej wspomniane jego modyfikacje (MII i hm), które nie dostarczają redundantnej informacji.

Istotne ograniczenia

Przedstawione powyżej wyniki wskazują, że założenia tkwiące u podstaw tworzenia rankingu H warto przeanalizować ponownie. Wspomniana metaanaliza (Bornmann i in., 2011), ze względu na swoją niereprezentatywność i inny cel, z pewnością nie może być jedynym przyczynkiem do dyskusji nad sensownością i ewentualnym kształtem rankingu H. Może jednak tę dyskusję ukierunkować. Ranking w obecnym kształcie, zaproponowanym w publikacji prof. Gila, nie pełni bowiem swoich funkcji i jest dezinformujący. Zwróćmy uwagę, że w obecnej postaci bazuje on głównie na indeksie h (ze wszystkimi jego wadami) oraz na jednym szerzej znanym w literaturze indeksie hmol, który w przedstawionej metaanalizie okazał się mniej funkcjonalny, niż pełniący podobną rolę indeks MII.

Kluczowym ograniczeniem rankingu H jest sposób zbierania danych, na podstawie których tworzony jest ten ranking. Przypomnę, że jedynym źródłem informacji dla rankingu jest baza opracowana przez Thomson Reuters, która obecnie jest dostępna pod nazwą Web of Science. Rzetelne wyszukiwanie publikacji w tej bazie według nazwy uczelni jest utrudnione ze względu na fakt, że nazwy te zmieniają się, podawane są w różnych wersjach i tłumaczeniach. Zdając sobie sprawę z tych ograniczeń, autorzy rankingu upublicznili listę afiliacji polskich uczelni, które występują w Web of Science, ale nie mamy pewności, że lista jest prawidłowa lub kompletna. Uczelnie nie zostały bowiem poproszone w bezpośredniej korespondencji o jej weryfikację.

Wreszcie kilku słów komentarza wymaga porównanie wyników rankingu H, który dotyczy uczelni, z rankingiem utworzonym na podstawie wyników oceny parametrycznej jednostek naukowych (a nie uczelni). Autor wspomnianej publikacji uznał, że najwyżej w rankingu bazującym na ocenie parametrycznej będą te uczelnie, które mają najwięcej jednostek naukowych z kategorią A+, potem znajdą się te, które mają najwięcej jednostek naukowych w kolejnych kategoriach (A, B i C). Oczywiście można wykonać takie zestawienie, ale należy zadać sobie pytanie, po co to robić. Jeśli ranking ma służyć kandydatom decydującym się na wybór określonego kierunku studiów, to informacja o rankingu całej uczelni jest dezinformująca. Jeśli na przykład na Uniwersytecie Warszawskim, który znajduje się na czele rankingu uczelni, jest sześć jednostek z kategorią A+, to kandydat na studia nie będzie miał żadnego pożytku z tej informacji, jeśli wybierze studia na jednym z 9 wydziałów, które uzyskały kategorię B. Będzie studiował na dobrym uniwersytecie, ale na słabym wydziale.

Zestawiając wyniki obu rankingów, a następnie interpretując rezultaty tego zestawienia, nie wskazano istotnych ograniczeń zastosowanych metod analizy naukometrycznej. Przykładowo ranking zbudowany na podstawie oceny parametrycznej przeprowadzony przez MNiSW dotyczył lat 2009-2012, a ranking H bazował na publikacjach, które mogły ukazywać się od 1945 roku. W oczywisty sposób ranking H faworyzował starsze uczelnie i te, które prowadzą badania w obszarach, w których przeciętna liczba publikacji indeksowanych w Web of Science jest wyższa. Uczelnie młodsze i nieposiadające na przykład wydziałów medycznych wypadną w takim rankingu znacznie gorzej, niż uczelnie istniejące od ponad 70 lat i rozwijające obszary badań z większą przeciętną liczbą publikacji i cytowań.

Ile to kosztowało?

Na koniec kilka słów o rankingu, którego nie ma, a który z pewnością byłby potrzebny polskim naukowcom i osobom odpowiedzialnym za politykę naukową. Bardziej tym drugim, bo być może ranking ten zagrażałby nam, naukowcom. Otóż oba omawiane rankingi koncentrują się na efektach działalności naukowej: ranking H na publikacjach (ich liczbie i liczbie cytowań), a ocena parametryczna także na dodatkowych elementach (np. udział w postępowaniach o nadanie stopni i tytułów naukowych, realizowane granty itd.). To bezsprzecznie ważne parametry współdecydujące o ocenie uczelni. Z biznesowego i społecznego punku widzenia trzeba jednak wiedzieć, ile te efekty kosztowały, w jaki sposób pieniądze zainwestowane w daną uczelnię przełożyły się na jej pozycję naukową i w konsekwencji na miejsce w rankingach. Dyskusja na temat efektywności kosztowej osiągnięć naukowych polskich uczelni jest wciąż przed nami.