W okresie od lutego do maja bieżącego roku brałem udział w pracach zespołu, którego zadaniem było zaproponowanie listy rankingowej czasopism naukowych w dyscyplinie nauk biologicznych. Ramy naszej pracy wyznaczało rozporządzenie ministra nauki i szkolnictwa wyższego z dnia 7 listopada 2018 r. w sprawie sporządzania wykazów wydawnictw monografii naukowych oraz czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych (dalej: rozporządzenie). Z wcześniej opublikowanych zapowiedzi ministerstwa wynikało, że zespół ma się zająć wyborem wskaźników naukometrycznych, które zostaną użyte do sporządzenia rankingu na podstawie algorytmu zawartego w rozporządzeniu oraz, w miarę potrzeby, korektą punktacji wynikającej z rankingu.

Na początek jednak zostaliśmy nieoczekiwanie obarczeni zadaniem sporządzenia listy czasopism, które zostaną przypisane do danej dyscypliny. Konsekwencją takiego przypisania jest możliwość włączenia publikacji w danym czasopiśmie do sprawozdania jednostki w danej dyscyplinie. Czasopisma nieprzypisane do dyscypliny także mogą być włączane do sprawozdania, jednak wymaga to stosownego uzasadnienia. Konsekwencją nieprzypisania czasopisma jest więc pewna niewygoda, dlatego zapewne reakcją na publikacje wstępnej listy przez MNiSW w ubiegłym roku było około 50 tysięcy uwag środowiska, głownie z prośbą o zaliczenie danego czasopisma do dodatkowej dyscypliny. Ministerstwo uwag tych w żaden systematyczny sposób nie opracowało, obarczyło za to niewielkie, co najwyżej dziesięcioosobowe zespoły zadaniem ponownego wyboru kodów Scopus i Web of Science (WoS), które zdefiniują przypisanie czasopism do danej dyscypliny.

Mieliśmy możliwość weryfikowania wygenerowanej na podstawie wybranych kodów listy, dodając lub usuwając czasopisma, jednak w dziesięć osób, reprezentujących pewien wycinek specjalności mieszczących się w naukach biologicznych, nie byliśmy w stanie przyjrzeć się kompetentnie kilku tysiącom czasopism na naszej liście. Staraliśmy się uwzględnić zgłoszone wcześniej uwagi środowiska, jednak ze względu na ograniczenia czasowe i kadrowe nie byliśmy w stanie dogłębnie przeanalizować kilku tysięcy uwag dotyczących dyscypliny biologia. Moim zdaniem ten etap powinien być w przyszłości powierzony większym zespołom o szerszym zakresie specjalizacji, przynajmniej w dyscyplinach tak szerokich, jak biologia. Dobrym pomysłem może być powiązanie liczby ekspertów weryfikujących przypisanie czasopism do dyscyplin z liczbą czasopism zaliczonych wstępnie do danej dyscypliny.

JIF ma oczywiste wady

Wreszcie przyszedł czas na kluczowe zadanie, czyli wybór wskaźników. Mieliśmy wybrać po jednym wskaźniku (z trzech możliwych) z obu baz danych (WoS i Scopus). Pozycja w rankingu na podstawie danego wskaźnika powoduje przypisanie do kategorii punktowej: najlepsze 3% to 200 pkt, kolejne aż do najlepszych 10% – 140 pkt itd. Algorytm opublikowany w rozporządzeniu zakłada, że w przypadku niezgodności między punktacjami wynikającymi ze wskaźników WoS i Scopus czasopismu przypisuje się wyższą z dwóch punktacji. Powyższy zapis nakłada niepotrzebne ograniczania i utrudnia pracę zespołów, o czym poniżej.

Na początek trzeba podkreślić, że uczeni zajmujący się naukometrią zgadzają się zwykle, że żaden pojedynczy wskaźnik nie powinien być używany do oceny jakości badań prowadzonych przez instytucję. Ten, do którego jesteśmy najbardziej przyzwyczajeni, czyli journal impact factor (JIF), ma swoje oczywiste wady. Po pierwsze nie bierze pod uwagę specyfiki danej dyscypliny, ale tym nie musieliśmy się martwić, bowiem ranking był dokonywany wyłącznie w obrębie dyscyplin. Jednak to samo dotyczy różnych specjalności w danej dyscyplinie: na przykład mediana cytowań prac z biochemii i biologii molekularnej jest o około 50% wyższa niż podobna mediana dla ekologii (dane te łatwo sprawdzić w bazie WoS). Obowiązujący do niedawna system punktacji uwzględniał te różnice, rangując czasopisma na podstawie JIF w obrębie danej kategorii WoS. Jednak kategorie te są wyróżnione arbitralnie, co prowadziło do oczywistych anomalii. Większość czytelników zgodzi się zapewne, że przypisanie najwyższej punktacji, obok pism takich jak „Nature” czy „Science”, ornitologicznemu pismu „Auk” (IF około 2.5) tylko dlatego, że z niejasnych powodów WoS wyróżnia ornitologię jako osobną kategorię (dlaczego nie mammologię, ichtiologię czy arachnologię?), w żadnej mierze nie odzwierciedla relatywnej renomy tych pism.

Drugim problemem związanym z IF jest wrażliwość na tzw. impact stalking , czyli różne sposoby sztucznego powiększania cytowalności przez czasopisma, np. poprzez publikowanie specjalnych wydań cytujących głównie prace publikowane w danym piśmie. Te same problemy dotyczą scopusowego odpowiednika JIF, czyli Cite Score.

Obecność w WoS gwarancją jakości

Z arbitralnością wyróżnianych kategorii w pewnym stopniu radzą sobie algorytmy identyfikujące sieci wzajemnie cytujących się czasopism. Takich algorytmów używają scopusowe source-normalized impact factor (SNIP), SCImago Journal Rank (SJR) oraz article influence (AI) dostępny w WoS. Tu również mogą się pojawić anomalie, np. grupy słabych, wzajemnie cytujących się czasopism mogą uzyskać wysokie wartości SNIP. Pewną odporność na takie problemy wykazują AI i SJR, które większą wagę przypisują cytowaniom w tych czasopismach, które same mają wysoką rangę, działając na zasadzie podobnej do algorytmu PageRank wypracowanego przez Google. Dzięki temu wzajemne cytowania przez słabe czasopisma nie powodują automatycznie wzrostu tych wskaźników. Dlatego nasz zespół zdecydował się właśnie na wybór wskaźników AI i SJR. Dość dobrze korelowały one z naszą oceną prestiżu czasopism biologicznych, przynajmniej tych o wysokiej pozycji w naszej dyscyplinie.

Szybko okazało się jednak, że algorytm narzucany przez rozporządzenie wprowadza sporo zamieszania, na przykład związanego z tym, że pismo, które nie ma nawet notowanego IF, natomiast ma wysoki SJR, uzyskiwało wysoką punktację (przypominam, że w przypadku niezgodności algorytm uznaje wyższą z dwóch punktacji), mimo że w naszej ocenie prestiż pisma tego nie uzasadniał. Nasz zespół uznał, że tego typu wypadki należy skorygować z następujących powodów. Z jednej strony WoS jest często krytykowana za niejasność kryteriów stosowanych do wyliczania wskaźników, np. identyfikacji tzw. citable items , oraz za nadmiernie restrykcyjną politykę ograniczającą dostęp nowych czasopism do bazy. Scopus jest tu uznawany za bardziej demokratyczny i przejrzysty. Z drugiej strony jednak znane są przykłady czasopism usuwanych z WoS za stosowanie citation stalking , które pozostają na eksponowanych pozycjach w rankingach Scopus. Zgodziliśmy się, że w biologii obecność w WoS jest uznawana za gwarancję jakości pisma i jego redakcji i stanowi niezbędne minimum, pozwalające uznać pismo za prestiżowe. Dlatego konsekwentnie obniżaliśmy punktację czasopism, które nie miały notowanego AI, a mimo to algorytm zaliczał je do kategorii 100 pkt. lub powyżej. Takiej ingerencji nie prowadziliśmy w przypadku czasopism sklasyfikowanych niżej, uznając, że wiele startujących czasopism powinno mieć szansę na rozwój, nawet jeżeli jeszcze nie zostały zaliczone do WoS. Zmiana kategorii nie miałaby zresztą większego wpływu na kategoryzację jednostek: w przypadku punktacji 70 lub mniej decydujący wpływ ma liczba autorów, przez którą punkty się dzieli (takiego dzielenia algorytm nie przewiduje dla czasopism wycenianych powyżej 100 pkt). Tego typu interwencje dotyczyły niewielkiego odsetka czasopism: przytłaczająca większość dobrych czasopism jest notowana w obu bazach.

Obniżanie i podnoszenie rankingu

AI i SJR nie rozwiązują jednak do końca specyfiki cytowań w obrębie specjalności biologicznych. Np. SJR dla biologii molekularnej jest ok 70% wyższy niż w naukach o środowisku (Guerrero-Botea i Moya-Anegón, „Journal of Informetrics” 6 (2012) 674–688). Biologowie molekularni, przeważający w zespole, bronili opinii, że jest to przewaga uzasadniona rzeczywistą rangą ich specjalności pośród nauk biologicznych. Po długich negocjacjach ustaliliśmy jednak, że będziemy korygować ranking, pomocniczo używając SNIP, który standaryzuje dyscypliny niemal idealnie, zwłaszcza w przypadku niezgodności wskaźników AI i SJR. Tak więc obniżaliśmy ranking niektórych pism, których SNIP wskazywał na ich niską pozycję w wysoko cytowanej dyscyplinie. I odwrotnie, podnosiliśmy ranking niektórych specjalności o najniższej cytowalności (co odzwierciedla mediana JIF), takich jak paleontologia czy ochrona bioróżnorodności. Z wyżej wspomnianych powodów przesunięcia ograniczyliśmy głównie do czasopism, które we wstępnej klasyfikacji osiągnęły co najmniej 100 pkt. Staraliśmy się jednak dopilnować, aby nisko cytowane specjalności były w miarę proporcjonalnie reprezentowane w tej elitarnej grupie, dlatego podnieśliśmy punktację niektórych czasopism z tych grup z 70 do 100 pkt.

Powyższe zabiegi wymagały od nas dużego wysiłku, znacznie wykraczającego poza ramy czasowe przewidziane na naszą pracę przez ministerstwo, a ostateczny ranking nie zadowalał do końca wszystkich członków zespołu. Tym bardziej nie zadowoli całej społeczności akademickiej. Zdobyliśmy jednak cenne doświadczenia, które warto wykorzystać w kolejnych ocenach czasopism. Te doświadczenia wskazują, że jest możliwe wypracowanie algorytmu w obrębie dyscypliny lub nawet dziedziny, który będzie na kolejnych etapach wymagał tylko niewielkich korekt. Dobrą możliwością wydaje się wyliczenie średniej z percentyli uzyskanych na podstawie AI i SNIP. Wyliczenie średniego percentylu, zamiast wybierania wyższej z dwóch punktacji, jak nakazuje rozporządzenie, czyni zasadniczą różnicę. Prestiżowe czasopisma są tak czy inaczej klasyfikowane wysoko przez oba wskaźniki. Natomiast ranking czasopism ze słabiej cytowanych specjalności będzie podnoszony przez SNIP. Jednak sam SNIP nie wystarczy do osiągnięcia wysokiej pozycji w rankingu, co zapobiega automatycznie wspomnianym powyżej anomaliom związanym z tym wskaźnikiem. Pisma bez JIF (niemogące zatem posiadać AI) nie będą mogły być najwyżej klasyfikowane, jednak bardzo wysoki SNIP nawet bez AI otworzy możliwość awansu czasopismom wchodzącym na rynek, w tym także czasopismom polskim. Porównanie klasyfikacji uzgodnionej przez nasz zespół z powyższym algorytmem wskazuje na bardzo wysoką zgodność obu punktacji.

Uśrednienie może zaburzyć rankingi

Osobnym problemem jest uzgodnienie punktacji czasopism, które oceniane są w więcej niż jednej dyscyplinie. Rozporządzenie nakazuje uśrednienie punktacji pomiędzy dyscyplinami z zaokrąglaniem w górę. Wstępne przymiarki, z którymi mieliśmy okazję się zapoznać, wskazują na dość spore niezgodności pomiędzy dyscyplinami, tak więc uśrednianie może w sporym stopniu zaburzyć rankingi uzgodnione przez poszczególne zespoły. Nie ma tu chyba idealnych rozwiązań. Pozostawienie odrębnych punktacji w różnych dyscyplinach to jedna możliwość, którą można uzasadnić tym, że ocena jednostek będzie i tak dokonywana w ramach dyscyplin. Druga dyskutowana przez przewodniczących zespołów możliwość to uzgadnianie punktacji pomiędzy dyscyplinami i decydowanie, która dyscyplina jest dla czasopisma wiodąca i powinna decydować o punktacji, ewentualnie czy właściwsza będzie średnia z dwóch lub większej liczby dyscyplin. Pisząc ten tekst nie wiem, jaki będzie ostateczny kształt listy rankingowej po uwzględnieniu różnic punktacji pomiędzy dyscyplinami.