Okładka numeru 5 (maj) 2013 „Forum Akademickiego” jest sensacyjna, gdyż obwieszcza „Nowy ranking! Nauka w uczelniach i instytutach PAN”. Poświęcone są temu aż trzy artykuły profesorów Ryszarda Kierzka i Janusza Gila, którzy przedstawiają swój autorski ranking uczelni i instytutów PAN. Naukometria stała się ostatnio obsesją, gdyż uwierzono, że za pomocą różnych wskaźników można mierzyć poziom naukowości, a potem uszeregować uczelnie czy instytuty, od tych najlepszych do najgorszych. Uczestniczenie w tej zabawie pożera czas i energię chyba zbyt wielu osób, czego przykładem są artykuły wspomnianych profesorów, zawierające niestety pewne uproszczenia.

Wskaźniki naukometryczne

Już powszechnie zaakceptowano takie wskaźniki, jak indeks Hirscha h oraz zmodyfikowany indeks Hirscha hm. Definicja indeksu Hirscha jest dosyć oryginalna i chyba dlatego zyskała taką popularność. Zmodyfikowany indeks Hirscha to już efekt pracy nad dobraniem właściwej potęgi w mianowniku jego wzoru hm = h/N 0,4, gdzie N oznacza całkowitą liczbę publikacji, do której się ten wskaźnik odnosi. Przypomnijmy, że indeks Hirscha oznacza liczbę prac h, z których każda była cytowana przynajmniej h-krotnie. Np. h = 15 oznacza, że 15 prac było cytowanych przynajmniej po 15 razy każda.

Zaletą wspomnianych wskaźników jest prostota oraz jakby intuicyjna oczywistość indeksu h. Zmodyfikowany indeks Hirscha już nie jest tak intuicyjnie oczywisty, gdyż na pierwszy rzut oka chciałoby się wybrać wzór h/N , ale widocznie Hirsch miał uzasadnione powody, aby wybrać zamiast N . Kolejną zaletą jest to, że te wskaźniki można stosować przy ocenie osób, wydziałów, instytutów i uczelni, czyli ich zastosowanie jest uniwersalne. Wskaźnik h jest liczbą całkowitą, natomiast hm nie jest. W Tabeli 1. przedstawiono wskaźniki Hirscha dla 9 instytutów PAN z poprzedniego Wydziału IV Nauk Technicznych (jeszcze przed „reformą” MNiSW) oraz dla wiodących w rankingach instytutów Fizyki, Matematyki, Biologii Doświadczalnej i Chemii Organicznej. Uwzględniono też Instytut Oceanologii, gdyż ma siedzibę w Trójmieście. Prof. Kierzek podaje w Tabeli 2. (s. 39-40) zaokrąglone wartości zmodyfikowanego indeksu Hirscha w zakresie od 0 do 4. Stwarza to wrażenie ocen albo przynależności do klas, wypaczając sens tego wrażliwego wskaźnika. Stosując taką metodologię dochodzi się do nadmiernych uproszczeń. Np. instytuty A i B mają hm odpowiednio 1,49 i 1,51, co praktycznie się nie różni, ale prof. Kierzek da instytutowi A jedynkę, a instytutowi B dwójkę. W Tabeli 1. podano rzeczywiste wartości tego indeksu, obliczone na podstawie danych prof. Kierzka, chociaż w niektórych miejscach jego tekstu prawidłowe wartości hm też są przytaczane. Wartość hm dla 9 instytutów z Wydziału IV PAN mieści się w przedziale od 1,43 do 2,59, przy średniej 2,1. Średnia wartość hm dla pozostałych instytutów to 2,53. Ten przykład pokazuje znaczenie miejsc po przecinku.

„Progresywny wskaźnik Hirscha”

Wskaźnik ten zdefiniowano jako hp = h x hm, co jest autorskim pomysłem prof. Kierzka. Zdaniem prof. Gila, wskaźnik ten nieznacznie tylko różni się od zwykłego indeksu Hirscha, ale podobno lepiej ocenia dorobek i pozycję naukową jednostki. Uzasadnienia tej opinii nie podano. Wydaje się, że nazwanie tego wskaźnika imieniem Hirscha jest nieuprawnione, gdyż Hirsch z tym wynalazkiem nie miał nic wspólnego. Jest to tylko manipulacja jego indeksami. Powinien on się raczej nazywać indeksem Kierzka. Ponadto niezrozumiałe jest użycie wyrazu „progresywny”. Według Słownika wyrazów obcych (PWN, Warszawa 1997), wyraz „progresywny” jest synonimem do „wzrastający” czy „postępowy”. W definicji hp nie widać ani wzrostu, ani postępu.

Wadą hp jest odejście od prostoty i klarowności, która cechuje h oraz hm. Ponadto, skoro hp niewiele się różni – nawet według prof. Gila – od h, to po co taki wskaźnik wprowadzać? Na rys. 1 przedstawiono zależność hp od h dla instytutów z Wydziału IV PAN, zestawionych w Tabeli 1. Jest to zależność prawie liniowa, co tylko potwierdza uwagę prof. Gila, a odchyłki są spowodowane niewielkimi zmianami hm. Zrobiłem podobny wykres dla większej liczby instytutów PAN i wnioski są podobne. Wskaźnik hp jest zatem niepotrzebny, gdyż mamy już znacznie prostszy indeks h. Wprowadza on tylko zamęt, czego ilustracją jest rozrzut punktów wokół średniego trendu przedstawionego na rys. 1.

Wskaźniki naukometryczne a liczba zatrudnionych w instytutach

Wskaźniki Hirscha dotyczą liczby cytowań oraz ogólnej liczby publikacji uwzględnianych w analizie. Wskaźnik h jest tym większy, im większa jest analizowana instytucja, co wynika ze statystyki. Wprowadzono zatem jego modyfikację w postaci hm, która odnosi h do całkowitej liczby rozpatrywanych publikacji. Pomysł ten umożliwił porównywanie gigantów z małymi jednostkami.

We wskaźnikach Hirscha nie występuje liczba osób zatrudnionych w konkretnej instytucji, co wcale nie jest wadą tych indeksów. Publikacja jest wynikiem pracy zespołu ludzi, który trudno ocenić. Np. matematyk pracuje raczej indywidualnie, gdyż nie potrzebuje laborantów czy techników. Natomiast chemik czy biolog zatrudnia zwykle dodatkowy personel, który np. pomaga przy badaniach doświadczalnych. Do tego dochodzi administracja konieczna do funkcjonowania jednostki naukowej. Dlatego też w Tabeli 1. uwzględniłem całkowitą liczbę zatrudnionych, a nie tylko pracowników naukowych.

Profesorowie Kierzek i Gil twierdzą, że „liczba publikacji jest w dużym stopniu proporcjonalna do liczby pracowników naukowych”. Temu stwierdzeniu przeczy rys. 2, przedstawiający liczbę publikacji podzieloną przez liczbę zatrudnionych dla instytutów zestawionych w Tabeli 1. Najwięcej publikacji na osobę wypada w instytutach Fizyki i Chemii Organicznej. Średnia liczba publikacji na osobę w instytutach nauk podstawowych (Fizyki, Biologii Doświadczalnej, Matematyki, Chemii Organicznej) wynosi 26,2, podczas gdy dla instytutów nauk technicznych otrzymujemy 5,7. Ta blisko pięciokrotna różnica może wynikać ze specyfiki pisania publikacji w różnych dyscyplinach. Nie będę tego obszernego tematu rozwijał, a tylko podam dwa skrajne przykłady. Np. zespół eksperymentatorów publikuje jednostronicowe sprawozdanie opisujące jakieś proste doświadczenie i już jest „sztuka” publikacji. W ciągu roku taki zespół może wyprodukować nawet kilkanaście podobnych publikacji. W innej dziedzinie badacz ślęczy cały rok lub dłużej nad jakimś modelem i w efekcie pisze rozprawę, która zajmuje 20 stron druku. Czy te „sztuki” publikacji można porównywać?

Na rys. 3. przedstawiono indeks Hirscha jako funkcję liczby zatrudnionych w instytutach z Tabeli 1. Na podstawie tego rysunku można z grubsza przyjąć, że indeks Hirscha h jest proporcjonalny do całkowitej liczby zatrudnionych, co zilustrowano linią ciągłą. Mniejszy rozrzut od średniego trendu otrzymujemy dla instytutów z Wydziału IV PAN (linia przerywana). Jest to oczywiście bardzo wyrywkowa analiza, ale pokazuje ona, że indeks Hirscha ma faktycznie związek z liczbą zatrudnionych: im więcej ludzi w firmie, tym wyższy ten wskaźnik. W pierwszym przybliżeniu można przyjąć, że jest to zależność liniowa. Nie dotyczy to chyba słabych jednostek, które ledwo mieszczą się w rankingach.

Pułapka

Myślę, że na razie należy pozostawić w spokoju „klasyczne” już indeksy Hirscha, chociażby z tego powodu że zostały zaakceptowane przez naukowców na całym świecie. Podtrzymuję swoje uwagi odnośnie do problemu cytowań, przedstawione niedawno na łamach FA (nr 1/2013, str. 32-33). Cieszy informacja, że ponad 20% polskich publikacji powstało w instytutach PAN, które zatrudniają zaledwie około 5% naukowców. Może warto wrócić do pomysłu prof. Janusza Boratyńskiego z Instytutu Immunologii i Terapii Doświadczalnej PAN, aby utworzyć uniwersytet PAN? W światowym rankingu SCImago jest już przecież w pierwszej setce.

Na koniec wspomnę o pewnej pułapce, w którą można wpaść, analizując różne wskaźniki. Wyobraźmy sobie dwa uniwersytety X i Y. Na uniwersytecie X jest jeden silny wydział, np. fizyki, który ma hm = 2,4. Pozostałe wydziały nie publikują, czyli mają hm = 0. Zmodyfikowany indeks Hirscha dla całego uniwersytetu X jest zatem równy indeksowi fizyków, czyli 2,4. Uniwersytet Y jest aktywny na wszystkich polach, ale też uzyskuje wskaźnik Hirscha hm = 2,4. Oczywiście wskaźnik h dla Y będzie znacznie wyższy niż dla X. Porównując tylko wskaźniki hm można dojść do absurdalnych wniosków. Z tego powodu rozsądne było utworzenie grup jednorodnych, aby porównywać podobne z podobnym. Np. Wydział Fizyki z uniwersytetu X można porównywać tylko z innymi wydziałami i instytutami fizyki. W porównaniu uniwersytetów X i Y trzeba dodatkowo uwzględnić h, a być może jeszcze jakieś inne parametry.