Postanowiłem porównać ranking jednostek naukowych MNiSW za lata 2005–2009 z własnym rankingiem, zrobionym na postawie cytowań. Ranking dotyczy 10 jednostek „grupy jednorodnej N7b – jednostki naukowe niekliniczne”, tych, które w ocenie MNSiW wypadły najlepiej.

Trzeba koniecznie powiedzieć, że IF czasopism, na którym bazuje ranking ministerialny, nie nadaje się do niczego innego, niż ocena wartości czasopism naukowych właśnie. Kiedy dr Eugene Garfield, twórca Institute for Scientific Information i autor pojęcia IF, dowiedział się, że w Polsce jest on używany do określania jakości instytucji naukowych, miał oczy jak spodki i twierdził, że to jest nieporozumienie. Podobnie twierdzą znani mi eksperci krajowi i zagraniczni (Ryszard Kierzek, „Sprawy Nauki”, 2009, 2/143; Marek Kuś, „PAUza Akademicka” 2010, 102, 2; Andrzej Pilc, „Nauka”, 2004, 2; P.O. Seglen, BMJ, 1997, 314; Andrzej K. Wróblewski, „Zagadnienia Naukoznawstwa” 2002, 1–2).

W każdym czasopiśmie ok. 50 proc. publikowanych prac nie jest cytowanych, a tylko 20 proc. jest cytowanych częściej niż wynosi wartość IF, dlatego współczynnik ten zupełnie nie nadaje się do oceny wartości pojedynczej publikacji (a raczej określa jej wartość z 20-procentowym prawdopodobieństwem). Przypomnijmy sobie prognozy pogody sprzed wielu lat w wykonaniu sympatycznego Wicherka. Jeżeli mówił, że będzie pogoda, ludzie brali ze sobą parasole, sprawdzalność była chyba w granicach 20 proc. Robienie rankingu, który opisuje rzeczywistość z 20-procentowym prawdopodobieństwem, jest nieporozumieniem.

Badacze podczas lektury publikacji naukowych odnoszą się do ich wyników, cytując ważne doniesienia z danej dziedziny nauki. Dobra, nowatorska praca ma szansę na wiele takich cytowań, zła zostaje zapomniana. Sensownie prowadzona naukometria (bazująca na liczbie cytowań) była w stanie przewidzieć, kto w roku 2011 uzyska Nagrodę Nobla z chemii, ekonomii, fizyki czy medycyny, jak to udowodnił następca Garfielda w ISI (dziś Thomson Reuters) David Pendelbury (patrz http://www.sciencewatch.com/ oraz http://science.thomsonreuters.com/nobel/successful-predictions/). Wydaje się dość oczywiste, że w dziedzinach nauk ścisłych i biomedycznych o jakości publikacji świadczy liczba cytowań, a nie IF.

Zasadnicza różnica

Wyniki rankingu ministerialnego zostały przedstawione w tabeli I, tabela II daje wyniki oparte na liczbie cytowań. W rankingu ministerstwa dużą rolę w klasyfikacji jednostek odegrały punkty za działalność inną niż stricte naukowa (patrz: tabela 1 kolumna 6). Choć, gdyby analiza została przeprowadzona na podstawie kolumny 5 (punkty za działalność naukowa mierzone na podstawie IF), wyniki byłyby prawie identyczne (jedyną różnicą zamiana instytucji na pozycji 1 i 2). Ranking przeprowadzony metodą ministerialną spłaszcza wyniki, wykazując małe różnice pomiędzy jednostkami (różnica między pierwszą a ostatnią wynosi 37 proc.). Uwagę zwraca kolosalna liczba punktów za działalność pozanaukową niektórych jednostek (np. jednostki nr. 1).

Ranking na podstawie indeksów cytowań (normalizowanych o zatrudnienie w jednostce – zastosowano pierwiastek kwadratowy z wielkości N) wykazuje zupełnie inną kolejność placówek, jedynie Instytut Medycyny Pracy w obydwu porównaniach pozostaje na pozycji 4. Wypadają dwie instytucje obecne na liście ministerialnej (Narodowy Instytut Leków i Wydział Farmaceutyczny Uniwersytetu Medycznego w Lublinie), pojawia się za to Fundacja Rozwoju Kardiochirurgii i Wydział Farmaceutyczny Uniwersytetu Medycznego w Białymstoku. Najciekawsza jest ostatnia kolumna w obydwu tabelach, pokazująca różnice (w proc.) pomiędzy wynikiem jednostki najlepszej a następnymi. W przypadku rankingu opartego na cytowaniach sięga ona 82 proc., jest zatem znacznie bardziej różnicująca jednostki niż ranking ministerialny, dla którego ta wartość wynosi 37 proc.

Wyniki otrzymane dzięki obydwu rankingom różnią się zatem zasadniczo. Analiza oparta na cytowaniach nie tylko lepiej różnicuje jednostki, ale również jest mniej pracochłonna, wydaje się, że 2 czy 3 pracowników w ciągu miesiąca może przeanalizować wszystkie placówki naukowe w kraju, a wszystkie dane niezbędne do analizy są dostępne w sieci i nie jest potrzebna cała gigantyczna sprawozdawczość, by ranking przeprowadzić. Przeprowadzenie rankingu ministerialnego wymagało bowiem kolosalnego nakładu pracy, arbitralne można przyjąć, że w każdej jednostce (a są ich tysiące) jedna osoba pracowała nad tym przez miesiąc.

Tu leży pies pogrzebany

Zdecydowałem się przedstawić własny ranking, bowiem pojawiły się niepokojące informacje, świadczące o tym, że nowo wybrany Komitet Ewaluacji Jednostek Naukowych, w którym są wyłącznie naukowcy, a którego zadaniem jest przeprowadzenie kolejnej oceny jakości placówek naukowych w kraju, przeprowadzi ją w dużej mierze na podstawie IF. To, że robiło tak MNiSW, nie musi dziwić, pracownik ministerstwa robi to, co mu każą, jednak miałem nadzieję, że KEJN od tego nonsensu „impaktowego” odejdzie.

Należy dodać, że ranking oparty na indeksach cytowań jest znacznie surowszy i należy sądzić, że wiele placówek naukowych wypadłoby w nim znacznie gorzej (jak w opisanym tu przykładzie) niż w zdecydowanie bardziej liberalnym rankingu bazującym na IF. Hier liegt der Hund begraben . To chyba tłumaczy, dlaczego najpierw MNiSW, a teraz KEJN brnie w „impaktologię”. Trzeba przecież rozliczyć granty, zdobyć punkty impaktowe konieczne do awansów naukowych (sic!) czy dobrego miejsca w klasyfikacji jednostek.

Nieśmiertelny już chyba w naszym kraju IF ma się dobrze, a że służy do robienia bezsensownych rzeczy, to już chyba nikogo nie obchodzi. Należy oczywiście dodać, że indeksy cytowań nie nadają się do robienia rankingów placówek z dziedziny nauk humanistycznych, które muszą być oceniane w zupełnie inny sposób.