Kulisy listy czasopism punktowanych

Grzegorz Racki, Aneta Drabek

Ministerialna lista czasopism, wraz z liczbą punktów za umieszczoną w nich publikację naukową, stanowi od 1998 roku podstawę parametrycznej oceny dorobku publikacyjnego polskich instytucji naukowych. Tym samym – pośrednio – rzutuje na ich kategoryzację oraz wielkość dotacji na działalność statutową. Właśnie przeprowadzona została kolejna taka waloryzacja i wydawać by się mogło, iż żadne kwestie zawiązane z tą listą nie budzą już najmniejszych wątpliwości – zwłaszcza w przypadku kluczowej listy A. Ta tzw. lista filadelfijska obejmuje wysoko punktowane, renomowane (na ogół) czasopisma międzynarodowe, stanowiące zbiór źródłowy indeksów cytowań filadelfijskiego Instytutu Informacji Naukowej (obecnie Thomson Reuters), przyporządkowane dziedzinom nauki zgodnie ze statystyczną bazą Journal Citation Reports (JCR).

 

Sęk w tym, iż klasyfikacje IF są corocznie uaktualnianie w kolejnych wydaniach JCR, toteż ministerstwo również wielokrotnie zmieniało wykazy czasopism wraz z liczbą punktów za umieszczoną w nich publikację naukową (patrz http://www.mini.pw.edu.pl/~dryzek/www/?S%B3ownik:Punktacja_za_publikacje). Powinna być zatem przedstawiona precyzyjna zasada, według którego rocznika będzie prowadzona ocena parametryczna. Można, rzecz jasna, publikacje z każdego roku wartościować zgodnie z ekwiwalentnym rocznikiem JCR lub uśredniać punktację za oceniany okres, ale spośród prostszych wariantów najbardziej miarodajna jest niewątpliwie wersja najnowsza JCR.

Reguły resortu

A jakie reguły przyjęło MNiSW? Po pierwsze, w ogóle nie podano tego do publicznej wiadomości. I w rzeczywistości wyglądało to chronologicznie tak:

1. Egzystujące na stronie ministerstwa listy A czasopism z 26 sierpnia 2008 roku

(www.nauka.gov.pl/fileadmin/user_upload/40/58/40587/20080826_ujednolicony_wykaz.pdf) i 5 maja 2009 roku

(www.nauka.gov.pl/fileadmin/user_upload/53/02/53022/20090618_ujednolicony_wykaz_opublikowany_w_necie_05_05_2009xls.pdf) przedstawiały listę filadelfijską sklasyfikowaną za pomocą punktacji od 10 do 30 punktów. Zawierały one kolejno 7559 i 8231 tytuły.

2. Komunikat nr 15 z 20 maja 2010 roku to wykaz po raz pierwszy jednoznacznie oparty na danych z JCR z 2008 roku (http://www.bip.nauka.gov.pl/_gAllery/92/28/9228/20100520_zalacznik_do_komunikatu_15.pdf). Zawiera on 8232 czasopisma z uaktualnioną punktacją, ale z nieznanych powodów nie wyodrębniono elitarnych czasopism za 30 punktów.

3. Przyspieszona rozporządzeniem z 25 maja br. ocena parametryczna, oparta na ankiecie jednostki naukowej wypełnianej online na serwerze OPI, w dalszym ciągu odnosiła się jednak do poprzednich wykazów, tylko z przemodelowaną punktacją od 13 do 40 punktów. Jest to słuszne rozwiązanie w związku z wprowadzeniem do indeksów cytowań 700 tytułów regionalnych...

4. Taka lista z rozszerzonym zakresem punktacji ukazała się istotnie miesiąc później na stronie ministerstwa, jako załącznik do komunikatu nr 16 z 25 czerwca 2010 roku. Ona figuruje obecnie jako obowiązujący „ujednolicony wykaz” za ostatnie cztery lata (http://www.nauka.gov.pl/fileadmin/user_upload/Finansowanie/finansowanie_nauki/Lista_czasopism/20100719_UJEDNOLICONY_WYKAZ_ZA_2007_-_2010_11_06_2010.pdf).

Lista A zawiera 8610 tytułów, a do ostatniego wykazu – jak wynika z wyrywkowego porównania list – przypuszczalnie dodano jedynie nabytki z JCR 2008. A przecież ta newralgiczna sprawa powinna być jednoznacznie wyjaśniona!

Pod koniec czerwca udostępniono też sieciowo w ramach Web of Science, elementu Wirtualnej Biblioteki Nauki (http://admin-apps.isiknowledge.com/JCR/JCR?RQ=HOME), bazę JCR 2009, po raz pierwszy łącznie z kwartylową pozycją w rankingu czasopism pod Journal Rank in Categories…

Transparentność i przewidywalność

Jakie są konsekwencje faktu, iż publikacje z lat 2005–2009 są oceniane w przeważającej części według kategorii czasopism z 2006 roku?

Polskich tytułów z oficjalnie wyliczonym IF w 2006 roku było 54, a w 2009 – aż 105 (w tym cztery z nauk społecznych). Żadne czasopismo, któremu impact factor został wyliczony po raz pierwszy w 2009 roku, nie zostało uwzględnione na liście A, więc ich punktacja pozostała na poziomie od 0 punktów („Central European Journal of Mathematics” i „Central European Journal of Mathematics”) do 9. Dotyczy to aż 46 tytułów!

Wiele ważnych periodyków zagranicznych, wprowadzonych na listę filadelfijską po 2004 roku, również nie zostało uwzględnionych. Wyjątkowy przypadek to wydawane od 2008 r. „Nature Geoscience”, które uzyskało status czasopisma IV kategorii po prostu dlatego, iż w JCR 2008 nie posiadało jeszcze wyliczonego IF.

Choć zmiany w IF z roku na rok nie są na ogół zasadnicze, to jednak istnieje szereg odstępstw od tej reguły. Na przykład, tylko w 2006 roku popularny w Polsce niemiecki periodyk „Neues Jahrbuch für Geologie und Paläontologie – Abhandlungen”, lokujący się poziomem cytowań zazwyczaj w IV kategorii, był akurat czasopismem II kategorii. Bardzo wysoka pozycja „Acta Palaeontologica Polonica” wynika z kolei z danych aż z 2005 roku. Inne tytuły zostały w tym czasie wykluczone z tego prestiżowego klubu, np. w 2007 roku polski periodyk „Polimery”, zawyżający systematycznie IF samocytowaniami (patrz: niechlubny casus opisany w biuletynie ministra nauki i szkolnictwa wyższego „Sprawy Nauki” z marca 2009; por.: http://www.ebib.info/publikacje/matkonf/mat19/racki.php) i zresztą nieobecny na przedostatniej liście A. Paradoksalnie, artykuły z lat 2008–2009 otrzymały po 30 punktów, zamiast 9. Ograniczając się nawet do statystyk z JCR 2008, w przypadku 23 polskich czasopism przyjęta ostatecznie punktacja okazała się korzystniejsza. Najwięcej zyskały wspomniane „Polimery”, ale i inne tytuły zwiększyły swą punktację o kilkadziesiąt procent (np. „Studia Mathematica” z 10 (po przeliczeniu 13) do 20, czy też „Acta Astronomica” z 15 (20) do 32.

Lista nie uwzględnia przypadków zmian tytułu, np. „Eclogae Geologicae Helvetiae” (27 punktów) oraz „Swiss Journal of Geosciences” (20 punktów) to ten sam periodyk, a zatem i ich IF powinien być wyliczony łącznie.

Opisana sytuacja rodzi podstawowe pytania o transparentność i merytoryczną przewidywalność działań urzędników ministerstwa w sprawie tak kluczowej dla rzetelnej oceny parametrycznej, w przeciwieństwie do sporządzanej przez zespoły MNiSW, ale mającej drugorzędne znaczenie listy B – wykazu przeważnie polskich czasopism niemających IF. Jednak i w niej też można znaleźć błędy i nieścisłości (nieaktualne tytuły czasopism; błędy literowe, np. „Rocznik Bibliologiczno-Prasowniczy” zamiast „Rocznik Bibliologiczno-Prasoznawczy”; bywa, że czasopismo jest na liście pod dwoma różnymi tytułami i z różną punktacją, brak numerów ISSN często uniemożliwia jednoznaczną identyfikację tytułu itp.).

Każda instytucja została obecnie sklasyfikowana na podstawie określonej liczby najwyżej punktowanych publikacji z ostatnich pięciu lat, proporcjonalnej do liczby (N) etatów badawczych (dokładniej – 3 N), przy czym nie ma zupełnie znaczenia to, ilu tak naprawdę pracowników złożyło się na ten dorobek. Stąd też pomysł na bardziej miarodajne podejście do tej sprawy, newralgicznej dla statusu naukowego placówki: przedstawiać należałoby po trzy najważniejsze publikacje każdego bez wyjątku pracownika.

Medium ulotne

Warto na koniec zwrócić uwagę na inny absurd w corocznej ankiecie jednostki: obowiązek podawania corocznej liczby cytowań prac wyłącznie z afiliacją do jednostki. Gdyby potraktować ten nakaz dosłownie, to należałoby przeszukiwać SCI i Google Scholar (to źródło bardzo niepewne!) pod kątem publikacji wszystkich zatrudnionych od początku powstania jednostki, niezależnie od ich obecnego statusu… W przypadku wykorzystania do oceny Google Scholar wątpliwości budzi brak możliwości zweryfikowania danych. Internet jest medium tak „ulotnym”, że codziennie można uzyskać inne rezultaty. Uzyskane z Internetu dane o liczbie cytowań nie zawsze są wiarygodne, z uwagi na fakt, że w sieci ten sam artykuł pojawia się często w kilku miejscach (np. w instytucjonalnym repozytorium, na stronie domowej uczonego czy też na stronie czasopisma).

Podsumowując – brak jednoznacznych ustaleń w sprawie listy czasopism punktowanych budzi liczne wątpliwości na przyszłość, a chyba przyszła najwyższa pora na stabilność całego systemu oceny parametrycznej. Czy zostaną za trzy lata wprowadzone na przykład dodatkowe kryteria formalne, podobnie jak to miało miejsce w przypadku monografii i rozdziałów (o ich zakwalifikowaniu do odpowiedniego typu piśmiennictwa decyduje liczba znaków)? Czy znów będą zawirowania z oceną grantów europejskich? Itd., itd. Ale co najważniejsze – w ciągu dwóch lat nowo powołany Komitet Ewaluacji Jednostek Naukowych w trakcie ponownej oceny wyróżni m.in. najlepsze placówki kategorii A+ i jest właśnie dobry czas na dyskusje o relacjach parametrycznych między trzema głównymi elementami dorobku: publikacjami, grantami międzynarodowymi i zastosowaniami praktycznymi.

 

Prof. dr hab. Grzegorz Racki, geolog, pracownik Wydziału Nauk o Ziemi Uniwersytetu Śląskiego, a także Instytutu Paleobiologii PAN.
Dr Aneta Drabek jest kustoszem dyplomowanym w Bibliotece Uniwersytetu Śląskiego.