Ocena parametryczna czasopism naukowych w Polsce – podstawy metodologiczne, znaczenie praktyczne, trudności realizacji i perspektywy

 

W kwietniu 2012 roku zostałem poproszony przez wiceministra nauki i szkolnictwa wyższego, prof. Mariana Ratajczaka o objęcie funkcji przewodniczącego Zespołu specjalistycznego do oceny czasopism naukowych dla potrzeb przyszłej oceny parametrycznej i sporządzenia wykazu wybranych czasopism naukowych. Miałem świadomość, że podejmując się tej funkcji wstępuję na grunt trudny, grząski i najeżony różnego rodzaju, niekiedy nieprzyjemnymi, niespodziankami. Z drugiej strony doceniałem wielką wagę tego zadania dla środowiska naukowego w Polsce. Problematyka, którą zajmuje się mój zespół, jest bardzo złożona, kontrowersyjna i wzbudzająca czasami silne emocje. Po kilku miesiącach pracy zespołu i wykonaniu pierwszego ważnego zadania, jakim było sporządzenie nowej listy czasopism naukowych wraz z odpowiednią punktacją, chciałbym podzielić się najważniejszymi informacjami i uwagami, które może częściowo przynajmniej wyjaśnią uwarunkowania i zasady nowej punktacji czasopism, rozwieją niektóre wątpliwości oraz zachęcą do dyskusji o sposobach doskonalenia oceny czasopism naukowych w Polsce.

 

Z czego wynika konieczność parametryzacji czasopism?

 

Każdy naukowiec ma zapewne swoje wyobrażenie i własną ocenę znaczenia czy rangi czasopism ze swojej dziedziny, zarówno w skali krajowej, jak i międzynarodowej. Są czasopisma wybitne, prestiżowe i wpływowe w skali światowej, są czasopisma dobre, a nawet bardzo dobre w skali krajowej, a niedostrzegane w skali międzynarodowej, są też czasopisma przeciętne i mierne nie tylko w skali krajowej, ale nawet lokalnej (uczelni czy ośrodka naukowego). Można przyjąć, że wszystkie one spełniają jakieś pożyteczne funkcje, jeśli ktoś chce je finansować, upowszechniać i zamieszczać w nich artykuły. W nauce, podobnie jak i nieomal we wszystkich dziedzinach życia, trwa jednak rywalizacja o prestiż, siłę oddziaływania, a także o pieniądze. Ośrodki naukowe i poszczególni naukowcy coraz ostrzej rywalizują o pozycję w swoim środowisku naukowym (krajowym i międzynarodowym), a także o pieniądze na badania, kształcenie studentów i doktorantów oraz na poprawę warunków materialno-dochodowych, w jakich pracują. Konkurencja ta przybiera rozmiar globalny, co będzie odczuwane i częściowo już jest odczuwane, również w Polsce. Nie ma od tego ucieczki, więc jak najszybciej trzeba się do tego przygotować i stanąć w szranki owej rywalizacji, chroniąc jednocześnie „nierywalizacyjne” cele i wartości nauki. Bardzo ważną rolę w tej rywalizacji odgrywa naukometria, której narzędziem jest bibliometria, zajmująca się analizą przepływu informacji z wykorzystaniem publikacji naukowych. Bibliometria posługuje się zestawem metod ilościowych służących analizie i ocenie osiągnięć naukowych poszczególnych badaczy, a także czasopism, jednostek naukowych oraz krajów. Interpretacje bibliometryczne wychodzą z założenia, że im częściej cytowana jest publikacja, tym mocniej oddziałuje ona na postęp naukowy, a czasopisma drukujące poczytne artykuły są lepsze od tych, których artykuły cytowane nie są. Jest to szybko rozwijająca się dziedzina wiedzy, będąca swoistą „nauką o nauce”. Bibliometria, jak każda nauka, dąży do obiektywizacji oceny badanych zjawisk. Ważną rolę w tej obiektywizacji odgrywa kwantyfikacja osiągnięć badawczych, a więc wymierność i współmierność osiągnięć naukowych. Powstanie i rozwój bibliometrii jest pozytywnym i pożytecznym zjawiskiem, chociaż budzi ono wiele, uzasadnionych niekiedy, obaw .

Ranking punktowy czasopism naukowych, podobnie jak i parametryzacja jednostek naukowych, jest próbą obiektywizacji ich jakości i pozycji na potrzeby pragmatyki postępowania przy podziale środków finansowych na naukę. Chodzi o wypracowanie przejrzystych i obiektywnych podstaw podziału funduszy publicznych, służących finansowaniu jednostek naukowych, zespołów i projektów badawczych, a także ocenie osiągnięć naukowych, zarówno poszczególnych badaczy, jak i instytucji. Obecnie parametryzacja jednostek w dużym stopniu zależy od klasyfikacji czasopism. Z parametryzacją wiąże się kategoryzacja, za którą idą pieniądze budżetowe. Można przyjąć, że punkty przyznawane czasopismom stanowią istotną część fundamentu dobrobytu bądź przyczyn upadku jednostek naukowych. Głównym problemem oceny czasopism jest znalezienie możliwie największej liczby wspólnych elementów oceny, a następnie przyznanie tym elementom określonej wagi. Każdy z naukowców jest w stanie wskazać najwybitniejszych, jego zdaniem, badaczy, najlepsze czasopisma i najlepsze instytucje z zakresu swojej dziedziny czy dyscypliny naukowej; znacznie trudniej jest już uzgodnić taką ocenę w kręgu nawet stosunkowo niewielkich zespołów (np. komitetów naukowych PAN). Ocena środowiskowa, w tym peer review, jest bardzo ważna i pożyteczna, ale staje się mało praktyczna w dokonywaniu ocen i porównań osiągnięć z różnych obszarów nauki, dziedzin i dyscyplin. O doniosłości i złożoności zadania związanego z oceną czasopism świadczą m.in. następujące dane:

Na liście czasopism naukowych Ministerstwa Nauki i Szkolnictwa Wyższego znalazło się 16,5 tysiąca czasopism, z tego w części A (potocznie nazywaną listą filadelfijska) jest 10 230 czasopism, w części B – 1854, a w części C – 4337. Ponad 1800 pozycji na tej liście to czasopisma polskie, z których najwięcej – 1606 – umieszczonych jest w części B, 133 znajduje się w części A, a 100 w części C.  Najwięcej trudności wiązało się ze sporządzeniem części B w/w listy, w której umieszczona jest większość polskich czasopism naukowych.

Zasady, kryteria i procedury sporządzania listy czasopism wraz z odpowiadającą im punktacją

Przystępując do utworzenia listy punktowanych czasopism naukowych, kierowany przeze mnie zespół znalazł się w bardzo trudnej sytuacji . Po pierwsze, odziedziczył po poprzednim zespole, kierowanym przez byłego wiceministra Nauki i Szkolnictwa Wyższego, prof. Macieja Banacha, zestaw kryteriów i zasad oceny czasopism, ogłoszonych na stronach internetowych ministerstwa, według których redakcje czasopism wypełniły w 2010/2011 roku ankiety i w większości przypadków dostosowały się do nowych podstaw oceny. Kryteria te i zasady były dość powszechnie komentowane i krytykowane przez przedstawicieli środowisk naukowych. Po drugie, zespół pracował pod silną presją czasu, bowiem nowa lista czasopism musiała być ogłoszona jeszcze w 2012 roku.

Koncepcja oceny czasopism naukowych, sformułowana przez zespół prof. Banacha, opierała się na czterech założeniach:

– dążenie do wypracowania podstaw pełnej parametryzacji czasopism i wyeliminowania uznaniowości w tej dziedzinie (wyeliminowanie „ręcznego sterowania” i uznaniowego przydzielania punktów poszczególnym czasopismom);

– konieczność uporządkowania zasad publikowania artykułów i wprowadzenia wysokich, formalnych standardów w tym zakresie (zasady recenzowania, zapora ghost writing oraz wprowadzenie redaktorów tematycznych, językowych i statystycznych);

– preferowanie dostępności czasopism w sieciach internetowych (indeksowania w bazach danych, dostępność on-line itp.);

– silne umiędzynarodowienie polskich czasopism naukowych (streszczenia i artykuły w językach obcych, zwłaszcza w języku angielskim, zagraniczni autorzy, członkowie rad naukowych czy redakcyjnych, zagraniczni recenzenci, a także cytowania polskich publikacji w literaturze światowej).

Te założenia można było uznać za uzasadnione i godne kontynuacji. Wyżej wymieniona koncepcja była najsilniej krytykowana przez przedstawicieli nauk humanistycznych i społecznych, jako nieprzystająca do specyfiki pracy naukowej i charakteru publikacji w tych obszarach nauk. Przygotowane przez nas symulacje oceny czasopism, opierające się na szczegółowych zasadach, kryteriach i wagach punktowych zaproponowanych w końcu 2010 r., wykazywały silną degradację, jeśli chodzi o liczbę punktów, czasopism z zakresu nauk humanistycznych i społecznych w stosunku do poprzedniej oceny. Większość z nich mieściłaby się w przedziale 1-3 punktów, a najlepsze z trudem uzyskiwałyby 6-7 punktów (na 10 możliwych), co słusznie uznane byłoby za niesprawiedliwe i nieuzasadnione. Jednym z nowych kryteriów oceny czasopism, z którym wiązano duże nadzieje, był zaproponowany przez zespół prof. M. Banacha współczynnik PIF (Predicted Impact Factor), obliczany na podstawie cytowań polskich czasopism w bazach Thomson Reuters Scientific, a głównie Web of Science. Po dokonaniu tych obliczeń okazało się, że PIF posiada tylko około 40% czasopism z grupy nauk technicznych, ścisłych, medycznych i przyrodniczych, niespełna 10% czasopism z nauk społecznych i poniżej 5% czasopism humanistycznych. Nie mógł on być więc podstawą oceny czasopism z listy B, chociaż spełniać może pożyteczną funkcje pomocniczą i w takiej roli został wykorzystany.

Po wielu dyskusjach zespół postanowił zmodyfikować zasady, kryteria i niektóre szczegółowe warunki oceny czasopism, zachowując jednak parametryczny charakter tej oceny i bazując na danych z wcześniej wypełnionych ankiet. Najważniejsze modyfikacje polegały na:

– ustaleniu nowego zakresu punktacji: w części A – od 15 do 50 punktów, w części B – od 1 do 10 punktów i w części C – 10, 12 i 14 punktów w zależności od grupy czasopism w bazie ERIH;

– wprowadzeniu tzw. stałej przeniesienia w wysokości 0,4, co oznaczało, iż znaczna część punktów wynika z poprzedniej punktacji (z 2010 r.). Pozwoliło to zmniejszyć rozpiętość między oceną tego samego czasopisma dokonaną w 2010 roku i 2012 roku;

– uznano jako minimalną liczbę kryteriów wstępnych 5 (z 9 możliwych), w tym obligatoryjnie – naukowy charakter czasopisma;

– silnym zróżnicowaniu wag poszczególnych kryteriów oceny, w tym PIF, na liście B w odniesieniu do jej trzech składników: nauk technicznych, ścisłych, medycznych i przyrodniczych (TZ), nauk społecznych (S) i nauk humanistycznych (H). Szczegółowe dane na ten temat są zamieszczone na stronie Ministerstwa Nauki i Szkolnictwa Wyższego.

W rezultacie przyjętych założeń, kryteriów i wag punktowych rozkład punktacji czasopism na listach A, B i C, przy uwzględnieniu także trzech części listy B (TZ, S i H), wygląda następująco (na osi poziomej zaznaczona jest liczba punktów):

Wykres 1. Rozkład ocen czasopism w ramach części „A” wykazu

Średnia ocena dla tej grupy czasopism wynosi 26,2 punktu.

Czasopisma z listy C mają tylko trzy możliwe oceny: 10, 12 i 14 punktów. Ich rozkład wygląda następująco:

Wykres 2.

W części B listy znajdują się trzy grupy czasopism (H, S i TZ), charakteryzujące się różnym rozkładem ocen w zakresie punktacji: 1-10.

W obu tych grupach (H i S) najwięcej czasopism otrzymało ocenę 4-5 punktów. Podobnie wygląda sytuacja w grupie czasopism z zakresu nauk technicznych, ścisłych, medycznych i przyrodniczych (TZ). Tu również najwięcej czasopism otrzymało 4 lub 5 punktów, ale relatywnie nieco mniej uzyskało ocenę 6-8 punktów. Pamiętać jednak należy, iż czasopisma z tej grupy nauk (TZ), pochodzące z Polski, są częściej reprezentowane w części A listy (z ustalonym Impact Factor). Częściej są też indeksowane w różnych bazach danych, co sprawia, ze polskie publikacje z grupy TZ są bardziej widoczne i doceniane w międzynarodowym obiegu literatury naukowej niż publikacje z zakresu nauk społecznych i humanistycznych.

Jak widać więc, rozkład ocen w trzech grupach części B listy czasopism naukowych jest dość podobny, co można uznać za cechę pozytywną.

 

Wnioski i przewidywane kierunki ewolucji zasad oceny czasopism naukowych w Polsce

 

Przygotowanie nowych zasad oceny czasopism naukowych i sporządzenie pełnej listy tych czasopism, zaakceptowanej i opublikowanej przez Ministerstwo Nauki i Szkolnictwa Wyższego, było trudnym zadaniem, które, w moim przekonaniu, mimo wszystko zakończyło się sporym sukcesem. Chciałbym z dużym naciskiem podkreślić, że lista ta została przygotowana według zasad przedyskutowanych przez zespół ekspertów reprezentujących środowisko naukowe, a nie przez urzędników ministerstwa. Mimo wielu prób, nie udało się nam znaleźć sposobu uwzględnienia tzw. oceny eksperckiej (peer review) w odniesieniu do poszczególnych czasopism, chociaż doceniamy znaczenie takiej oceny. Jej uwzględnienie umożliwiłoby wyeliminowanie niedoszacowań czy przeszacowań punktacji niektórych czasopism, ale jednocześnie wzmocniłoby uznaniowość oceny i zwiększyłoby nieprzejrzystość stosowanych zasad oceny. Przypominam, że naszym celem było skonstruowanie obiektywnych podstaw oceny około 16 tysięcy czasopism, w tym ponad 1800 czasopism polskich. W tej sytuacji system oceny musiał być stosunkowo prosty i uniwersalny. Przyjęliśmy pewne zasady i kryteria formalne, które jednakże generują, przynajmniej w jakimś zakresie, również efekty projakościowe. Niektóre z tych efektów zaczynają już być dostrzegalne. Opublikowanie Kryteriów i zasad oceny czasopism naukowych pod koniec 2010 roku skłoniło większość redakcji i wydawców czasopism do zwrócenia baczniejszej uwagi na sposób recenzowania artykułów, dobór recenzentów i rad redakcyjnych, częstotliwość wydawania czasopism, sporządzanie abstraktów i słów kluczowych, zachęciło do umieszczania abstraktów i pełnych artykułów w międzynarodowych bazach danych i szerszej obecności czasopisma w przestrzeni wirtualnej. To wszystko jest zjawiskiem niewątpliwie pozytywne i w moim głębokim przekonaniu zaowocuje dość szybko zwiększeniem obecności polskiej nauki na forum międzynarodowym.

Przygotowana przez nas lista czasopism naukowych ma szereg wad wynikających z zastosowanej metodologii jej konstruowania. Są na tej liście czasopisma zarówno mocno przecenione, jak i niedocenione, chociaż łagodzącym czynnikiem w tym względzie była stała przeniesienia. Przyglądaliśmy się, na podstawie wybranej próby, dlaczego tak się stało. Przyczyny są bardzo różne. Część dobrych czasopism, liczących się w swoich środowiskach, zlekceważyło ankietę i zaproponowane kryteria oceny. Nie dołożyło odpowiedniej staranności, aby np. znaleźć się w najważniejszych międzynarodowych bazach danych i być dostępnym on-line. Wiele ankiet zostało przygotowanych niestarannie, a niektóre czasopisma, mające uprzednio 6-9 punktów i należące do czołówki w swoich dziedzinach, w ogóle nie wypełniły ankiety w odpowiednim czasie. Z kolei niektóre czasopisma uprzednio mniej doceniane, poświęciły dużo uwagi poprawie formalnych stron edytorskich, co pozwoliło im na wyraźny awans w ocenie punktowej. Teraz jest czas i sposobność na dokonanie korekt i udoskonalenie systemu oceny czasopism w Polsce. Mam w tej sprawie optymistyczne nastawienie. Z czego ono wynika?

– Mamy wreszcie komputerową bazę czasopism naukowych wraz z dość znaczą liczbą danych o ich zawartości. Polskie czasopisma zaczynają być obecne w przestrzeni wirtualnej, co staje się już warunkiem ich przeżycia i odpowiedniego znaczenia. Coraz więcej czasopism, poza abstraktami w języku polskim i angielskim (a niekiedy też w innych językach), umieszcza pełne teksty artykułów w Internecie, co wydatnie ułatwia ich dostępność i potencjalne oddziaływanie.

– Czasopisma naukowe będą teraz oceniane corocznie, co umożliwi redakcjom, a także autorom tekstów, szybsze dostosowanie do wymaganych kryteriów i ewentualną poprawę pozycji na liście czasopism.

– Już w najbliższym czasie kierowany przeze mnie zespół i współpracujące instytucje dokonają weryfikacji danych umieszczanych w ankietach czasopism. Wstępny ogląd sytuacji, przeprowadzony na próbie ok. 200 czasopism, wykazał wiele niestaranności, a także nierzetelności w zakresie informacji o swoich czasopismach, zamieszczanych przez redakcje i wydawców w ankiecie, będącej podstawą oceny. Wszelka nierzetelność będzie miała odpowiednie skutki w zakresie punktacji.

– Dość zaawansowane jest przygotowywanie systemu obliczania indeksów cytowań w czasopismach ukazujących się w języku polskim, który umożliwi obliczanie tzw. Polskiego Współczynnika Wpływu (PWW), będącego ważnym uzupełnieniem Impact Factor, ustalanego przez „Journal Citation Reports” . Wykorzystanie PWW wraz z PIF (którego znaczenie zapewne wzrośnie) pozwoli zbliżyć zasady oceny punktowej czasopism z części B listy do tej z części A (opartej na Impact Factor). Zakładamy, że już w 2013 roku Polski Współczynnik Wpływu zostanie wykorzystany do oceny czasopism wydawanych w języku polskim, co będzie miało, jak sądzę, znaczny wpływ na punktację czasopism części B. Zasady tej oceny zostaną prawdopodobnie ogłoszone w końcu marca 2013 roku. Będą one polegały głównie na wzmocnieniu znaczenia siły oddziaływania czasopism na życie naukowe w kraju i za granicą w ich ocenie (czemu służy PWW i PIF). Jest to, jak sadzę, kierunek uzasadniony i oczekiwany przez środowisko naukowe.

Czy formalna ocena czasopism naukowych, taka, jaką przedstawia np. Ministerstwo Nauki i Szkolnictwa Wyższego, jest potrzebna? Czy można z tego zrezygnować i zastąpić ją różnymi, zdecentralizowanymi ocenami przygotowywanymi przez samo środowisko naukowe? Zapewne tak i mamy tego dowody w wielu krajach. Trzeba byłoby jednak zupełnie zmienić system finansowania nauki w Polsce. W aktualnie obowiązującym systemie taka formalna ocena czasopism jest konieczna (wynika zresztą z zapisów ustawowych). Czy ma to robić zespół powołany przez ministerstwo, czy jakieś inne gremium, wyłonione oddolnie przez samo środowisko? Prof. Jan Woleński z UJ w kilku swoich wystąpieniach apelował, aby środowisko wzięło sprawy w swoje ręce. W czerwcu 2012 r. napisał: „Środowisko akademickie nie powinno się zgodzić z polityką MNiSW w sprawie zasad oceniania czasopism naukowych (i nie tylko, ale to już inna sprawa, o której krótko wspominam na końcu niniejszego tekstu). Rzecz nie w podejmowaniu uchwał protestacyjnych i przesyłaniu ich do władz. Trzeba sprawy wziąć w swoje ręce. Postuluję, aby stosowne kryteria zostały opracowane przez Komitety Naukowe PAN lub specjalnie powołane zespoły międzyuczelniane, a potem stosowane niezależnie od ministerialnych wytycznych” .

Panie Profesorze, popieram Pański apel! Uważam, że nasze środowisko naukowe jest za mało aktywne i zintegrowane w działaniach służących rozwojowi nauki i samego środowiska. Byłbym szczęśliwy mogąc porównać przygotowaną przez nas (zespół MNiSW) listę czasopism naukowych z alternatywną listą przygotowaną przez samo środowisko naukowe, według kryteriów, które to środowisko w rozsądnym czasie wypracuje i zaakceptuje, a liczba protestów w sprawie listy będzie mniejsza niż w przypadku naszej listy. W niedawno przeprowadzonej dyskusji z prof. J. Woleńskim przytoczyłem znane hasło Jacka Kuronia: „Nie palcie komitetów, zakładajcie własne!”. Czekam z niecierpliwością na nowy „komitet”, który pomoże zarówno polskiemu środowisku naukowemu w rozwiązaniu tej ważnej sprawy, jak i naszemu zespołowi w lepszym wykonaniu podjętego zadania.

Zarówno ja, jak i członkowie mojego zespołu, staramy się wsłuchiwać w głosy przedstawicieli nauki na temat pożądanych i oczekiwanych sposobów poprawy systemu funkcjonowania polskiej nauki. Częścią tego systemu jest sposób oceny czasopism i kategoryzacja jednostek naukowych. Powyżej wskazywałem jakie to ma znaczenie i na jakie natrafia trudności. Czujemy się przede wszystkim rzecznikami środowiska naukowego, a nie bezdusznymi biurokratami. Zachęcam i proszę, aby w dyskusji na te ważne tematy wyzbyć się, w miarę możliwości, partykularyzmów, egoizmu i zacietrzewienia. Serdecznie apeluję o współpracę, w tym konstruktywne komentarze na temat samego systemu oceny, np. które niewątpliwe walory czasopism są pominięte w obecnym systemie oceny, a znaczenie których jest nadmiernie eksponowane? Nawet w trudnej sytuacji polskiej nauki jest wiele do wygrania i poprawienia po stronie środowiska naukowego.

Jerzy Wilkin