Kierunek zmian w ewaluacji czasopism naukowych posiadających IF, zaproponowany przez zespół ds. oceny czasopism naukowych, wydaje się być zasadny ze względu na zróżnicowanie indeksów Hirscha autorów prac i czasopism naukowych w zależności od reprezentowanej dyscypliny naukowej.

Lista czasopism punktowanych, opublikowana 17 września 2012 na stronie internetowej MNiSW na potrzeby przyszłej oceny parametrycznej, została przedstawiona w trzech częściach: Lista A – obejmująca 10 230 czasopism posiadających współczynnik wpływu IF sklasyfikowany w wykazie JCR (Journal Citation Reports) Thomson Reuters (tzw. lista filadelfijska); Lista B – obejmująca 1798 czasopism nieposiadających IF w bazie JCR, oraz Lista C – obejmująca 4329 czasopism znajdujących się w bazie ERIH (European Reference Index for the Humanities) i nieujętych w bazie JCR.

Dziewięcioosobowy zespół ds. oceny czasopism naukowych pod przewodnictwem prof. Jerzego Wilkina wykonał olbrzymią pracę, przygotowując Kryteria i tryb oceny czasopism naukowych (patrz załącznik do komunikatu ministra nauki i szkolnictwa wyższego z 4.09.2012) oraz nadzorując i przeprowadzając punktację czasopism tak ważną dla całego środowiska oraz przyszłej ewaluacji jednostek naukowych.

Jak powstały listy?

Jako podstawę punktacji czasopism na Liście A przyjęto 5-letni (lub 2-letni dla czasopism nieposiadających 5-letniego) współczynnik wpływu IF określony w bazie JCR 2010, przy czym rozpatrywano tylko czasopisma mające IF-2010 ≥ 0,005. Liczba punktów za publikację w czasopiśmie ustalona jest odrębnie dla grup jednorodnych tematycznie określonych na liście JCR 2010. Zasady przyjętej punktacji zilustrowano w tabeli 1.

W grupie tematycznie jednorodnej ustalono ranking czasopism wg malejącej wartości IF, a następnie określono liczbę punktów zależnie od pozycji w rankingu wyrażonej w procentach (kolumny 1 i 3). Dla lepszego zilustrowania, w kolumnie 2 podano przyporządkowanie punktów pozycjom czasopism w grupie jednorodnej liczącej przykładowo 100 pozycji. Ostateczna liczba punktów jest zaokrągleniem wartości średniej Pśr obliczonej z n – grup jednorodnych, w których sklasyfikowano czasopismo, do progu punktowego P1, przy czym w przypadku, jeśli wartość Pśr wypada dokładnie między sąsiednimi progami punktowymi, np. 17.5, to zaokrągla się w górę, tzn. do 20 punktów.

Taki sposób określania liczby punktów wyjaśnia, dlaczego czasopisma o identycznej wartości IF w bazie JCR, lecz będące w różnych grupach tematycznie jednorodnych, mogą mieć różne liczby punktów na liście MNiSW (tabela 2).

Odnośnie do punktacji czasopism na liście B, zespół dokonał ich oceny na podstawie informacji podanych w ankietach złożonych przez redakcje czasopism w trzech obszarach: 1) nauki humanistyczne, 2) społeczne oraz 3) nauki ścisłe, techniczne, medyczne i przyrodnicze.

Na wstępie przyznano 10 punktów za publikacje znajdujące się w bazach: Science Citation Index Expanded, Social Science Citation Index, Arts & Humanities Citation Index, a nie są umieszczone na listach A i C ministerstwa. Dla pozostałych czasopism przeprowadzono bardziej skomplikowaną ocenę dwuetapową. Pierwsza obejmuje szereg wymagań odnośnie do sposobu pracy redakcji, zasad oceny publikacji, posiadania strony internetowej, stabilności wydawniczej, oryginalności publikacji (zapora ghostwriting) etc. W drugim etapie, do którego kwalifikują się tylko czasopisma spełniające określone kryteria z etapu pierwszego, punkty ustalono na bazie szczegółowego algorytmu przedstawionego w dokumencie Kryteria i tryb oceny czasopism naukowych, przy czym wynikowa punktacja zawiera się w przedziale 1 do 10 punktów. Ważnym parametrem w tym algorytmie jest tzw. PIF (Predicted Impact Factor), określany na podstawie liczby cytowań z bazy Web of Science w roku 2011 do liczby wszystkich artykułów opublikowanych w czasopiśmie w 2011 roku.

Odnośnie do punktacji czasopism na liście C, oceny dokonano na podstawie informacji o kategorii nadanej czasopismu w bazie ERIH. Wyniki zawierają się w przedziale 10 do 14 punktów.

Punktacja MNiSW najlepszych polskich czasopism naukowych wg JCR 2011

W tabeli 2, przedstawiającej ranking wg. JCR 2011 pierwszych 50 polskich czasopism naukowych, można zaobserwować, że dwa czasopisma o identycznym IF, znajdujące się na pozycjach np. 27. i 28., mają różną wartość przydzielonych punktów, podobnie pozycje 29 i 30. Wynika to z faktu, że należą do różnych (czasami kilku) grup jednorodnych tematycznie. Najwięcej punktów (35) otrzymało czasopismo matematyczne („Topological Methods in Nonlinear Analysis”) będące na 44. pozycji ze względu na wartość IF. Następne dwa czasopisma („Acta Astronomica” oraz „Bulletin of the Polish Academy of Sciences Technical Sciences”) otrzymały po 30 punktów, będąc odpowiednio na miejscach 8. i 29. pod względem współczynnika wpływu (IF). W tabeli 2, w celach porównawczych, zamieszczono również wartości IF z poprzedniej edycji JCR 2010 wraz z naliczonymi liczbami punktów według wówczas obowiązujących kryteriów ewaluacji czasopism naukowych.

Czasopisma PAN

Czasopisma wydawane przez komitety naukowe, oddziały regionalne i wydziały PAN na listach czasopism punktowanych MNiSW zajmują w sumie 93 pozycje: na liście A – 15 czasopism, Liście B – 65 czasopism oraz C – 13 czasopism. Z tego z dziedziny nauk technicznych znajduje się odpowiednio na liście A – 8 oraz B – 13 czasopism.

Jak wynika z danych podanych w tabeli 3, aż 9 z 15 (60%) czasopism grupy A poprawiło swoją punktację (z czasopism nauk technicznych nawet 75%), natomiast w grupie B, w przypadku aż 45 z 65 (tzn. około 70%) czasopism punktacja zmalała. Tak duży zanotowany spadek punktacji może wskazywać na zaostrzone kryteria oceny czasopism w grupie B w stosunku do kryteriów stosowanych w poprzedniej ocenie.

Uwagi końcowe

Kierunek zmian w ewaluacji czasopism naukowych posiadających IF (Lista A), zaproponowany przez zespół ds. oceny czasopism naukowych, wydaje się być zasadny ze względu na zróżnicowanie indeksów Hirscha autorów prac (h-index) i czasopism naukowych (H-index) w zależności od reprezentowanej dyscypliny naukowej (patrz: Nauki techniczne w rankingach międzynarodowych, FA 9/2012). Przyporządkowanie punktów pozycjom czasopism w grupie jednorodnej tematycznie w poważnym stopniu uwzględnia to zróżnicowanie.

Za słuszne należy uznać, że w obliczaniu punktów bazowano na IF określonym za ostatnie 5 lat, który poprzez uśrednienie za dłuższy okres czasu lepiej określa pozycję czasopism aniżeli okres 2-letni.

Szkoda, że nie dokonano oceny czasopism z Listy A wg IF JCR 2011. Mamy bowiem sytuację, że czasopisma na Liście A mają punktacje obliczoną wg JCR 2010, natomiast w odniesieniu do czasopism na Liście B przyjęty współczynnik PIF określony został wg JCR 2011.

Kryteria przyjęte do ewaluacji czasopism na liście B są skomplikowane i wydają się zbyt wygórowane. Nawet niektóre czasopisma z listy JCR mogłyby ich nie spełnić!

Pomimo precyzyjnego algorytmu naliczania punktów dla poszczególnych czasopism, zasadność proponowanej ewaluacji czasopism można podważyć ze względu na naganność nadmiernej liczby samocytowań wybranych czasopism naukowych. Jak wykazano we wspomnianym opracowaniu w FA, wśród pierwszej 50-tki polskich czasopism o najwyższych IF, aż 20 przekracza poziom 20 proc., przyjmowany za próg akceptowalny przez Thomson Reuters. Dlatego wiele redakcji (np. czasopism wydawanych przez organizację IEEE – Institute of Electrical and Electronics Engineers) analizuje ten problem i rozważa przyjęcie za podstawę oceny IF bez uwzględnienia samocytowań czasopism (IF bez samocytowań jest dostępny w raportach JCR) lub stosowania kilku wskaźników oceny jednocześnie np. Impact Factor, Eigen Factor and Article Influence.

Na koniec warto wspomnieć o irytującej środowisko naukowe, przyjętej przez MNiSW przy ewaluacji czasopism zasadzie „działania prawa wstecz”. Dopuszcza się bowiem do sytuacji, że autor składa do czasopisma artykuł, za który wg aktualnej oceny oczekuje np. 15 punktów, a w okresie cyklu wydawniczego (ponad rok i więcej) zasady punktacji MNiSW mogą być zmienione i otrzyma np. zero punktów. W takim przypadku bez winy autora, ale na podstawie decyzji administracyjnej (a nie merytorycznej), w jego dorobku nie zostanie formalnie uwzględniony dany artykuł.