Z zainteresowaniem przeczytałem artykuł prof. Ryszarda Kierzka Publikowalność naukowa w Polsce (FA 7–8/2010), ale nie mogę zgodzić się w pełni z niektórymi opiniami Autora. Co więcej, brakuje wniosków dotyczących oceny rozwoju w badanym okresie. Doceniam przy tym znaczenie szczegółowego zajęcia się przez Autora sprawą parametryzacji, spostrzeżeniami o jej niezbędności i o różnicach w różnych dyscyplinach. Jestem również wdzięczny za zwrócenie uwagi na cenne opracowanie stanu publikacji w instytutach PAN w latach 1973–2008, wykonane w IChB PAN. Mam jednak inne zdanie w kilku poruszonych w artykule zagadnieniach.

Otóż nie można się zgodzić, że „stan nauki najlepiej opisuje liczba publikacji, częstotliwość ich cytowania oraz parametry będące pochodną ich obu. Oczywiście liczba publikacji jest ważna, bo jest to jeden z istotnych dowodów działalności. Cytowanie publikacji świadczy, że wyniki w niej zawarte były wartościowe dla osób cytujących”. Przecież wskaźniki nie opisują wartości naukowej publikacji, a tylko liczbę cytowań i ich kombinacje. Cytowanie tylko może, ale nie musi świadczyć o uznaniu wartości publikacji, bo przecież autorzy cytujący daną publikację mogą wskazywać na jej braki w postaci trafnej krytyki, mogą nawet się jej przeciwstawiać albo mogą to być laurki od przyjaciół. Co więcej, znane są coraz liczniejsze przypadki „łagodnego wymuszania” cytowań przez niektóre wydawnictwa i tworzenie „spółdzielni” wzajemnie cytujących się autorów, a te i inne niedobre zwyczaje będą się szerzyć w miarę wzrostu przypisywania znaczenia liczbie cytowań. Wobec tych argumentów uważam, że wyniki zliczania i dalszych operacji arytmetycznych na tych wynikach są ważnym i cennym elementem oceny uczonych, instytucji naukowych i czasopism, ale nie jedynym i nie powinny być decydujące.

Ostrożnie z tą bazą

Liczba publikacji, cytowań i wszelkie pochodne wskaźniki pozwalają na częściową ocenę stanu nauki i przez to są ważnym narzędziem oceny uczonych, instytutów badawczych i czasopism. Jednak jeżeli czynniki miarodajne, np. rady naukowe i inne gremia, będą uważały takie arytmetyczne oceny właśnie za decydujące, to łatwo można przewidzieć szkodliwe rezultaty takiego działania. Co więcej, ponieważ „system pozwala zsumować poszczególne dane i obliczyć dane sumaryczne”, jak pisze prof. Kierzek, to tylko powiększa niebezpieczeństwo zastępowania merytorycznych ocen publikacji w poszczególnych dziedzinach przez proste działania arytmetyczne, mogące prowadzić do błędnych wniosków. Nic nie zastąpi prawdziwej oceny wyników pracy badawczej przez kompetentne i obiektywne gremium, a także konieczna jest niekiedy odległość w czasie. Jeżeli więc dla potrzeb doraźnych nie możemy uniknąć stosowania wskaźników i ich pochodnych, to przynajmniej warto zdawać sobie sprawę z ułomności takich metod, a także trzeba uświadamiać o tym innych. Pokusa stosowania „prostych” metod i wskaźników liczbowych jest niebezpieczna. Szczegółowo swoje stanowisko uzasadniłem w artykule opublikowanym w kwartalniku „Nauka” (O parametryzacji ocen w nauce w Polsce, „Nauka” 3/2011).

Jednym z podstawowych braków bazy ISI jest nieuwzględnienie książek, a przecież nie można odmówić wartości tej formie pracy uczonych, a także realizowania projektów badawczych różnego rodzaju i uzyskiwania patentów. Zwraca na to uwagę prof. Kierzek, ale najważniejszą okolicznością, która utrudnia wykorzystanie wskaźników h, hm i podobnych do różnorodnych ocen w Polsce, jest okoliczność, że zawartość bazy ISI i innych baz tego rodzaju to publikacje w języku angielskim, które trafiły do tych baz. Publikacje w języku polskim nie wchodzą do ogólnej liczby cytowań według bazy ISI, a trudno odmówić jakiejkolwiek wartości pracom publikowanym po polsku, zwłaszcza w niektórych dziedzinach, nie tylko humanistycznych. O ile trzeba uznać dominację tego języka w nauce, to jednak nie we wszystkich dziedzinach wiedzy i nie w jednakowym stopniu. Cenne publikacje z zakresu geologii terenów Polski, wyniki lokalnych badań archeologicznych i wiele innych, mimo zastosowania zaawansowanych metod, najwyższego poziomu badawczego i wielkiego znaczenia naukowego i praktycznego, nie trafią do wspomnianych baz i nie będą cytowane w świecie anglojęzycznym. Mogą wśród tych publikacji znajdować się niezwykle ważne dla polskiej nauki i gospodarki „złote jaja”, jeżeli użyjemy określenia, zaproponowanego przez Autora dyskutowanego artykułu. Stąd wynika sugestia, aby ostrożnie stosować dane z bazy ISI do oceny osób i instytucji, zajmujących się nauką w Polsce.

Częstość cytowania jest bardzo różna w różnych dziedzinach nauki, więc wyniki są nieporównywalne między sobą. Porównania publikowalności i cytowalności między różnymi dziedzinami nauki mają więc ograniczone znaczenie. Nie chodzi tu bynajmniej o „antagonizowanie uczonych z poszczególnych dyscyplin”, ale skądinąd wiemy, że można porównywać zbiory, zachowujące niezbędne podobieństwa. Tego warunku nie spełniają prace badawcze w tak różnych dziedzinach, jak na przykład astronomia i chemia z jednej strony oraz inżynieria i rolnictwo z drugiej, o bardzo różnej częstości i publikowania, i cytowania. Inne są wielkości zespołów, techniki badań, zwyczaje autoryzowania i cytowania itd. Niewiele tu pomagają, choć są potrzebne, pomocnicze współczynniki korygujące.

Porównania są konieczne

Sugestia, że „obliczenie średniej liczby publikacji na osobę jest ułomne” wywołuje zdziwienie. Nawet jeżeli liczby pracowników w porównywanych instytucjach zmieniają się w czasie, to jednak podawanie liczby publikacji i cytowań w oderwaniu od przybliżonej choćby liczby pracowników tak zniekształca wyniki, że nie można ocenić, w którym z zestawionych instytutów pracowano skuteczniej, zwłaszcza jeżeli liczby pracowników w tych instytutach różnią się o jeden czy dwa rzędy. Posłużę się tu tabelą, zawierającą dane o publikowalności w instytutach należących do Wydziału IV Nauk Technicznych Polskiej Akademii Nauk. Tabela jest zaczerpnięta ze strony www.ibch.poznan.pl, wskazanej przez prof. Kierzka, a wybrałem przykładowo tylko jedną, która dotyczy Wydziału IV PAN, ponieważ w pozostałych wydziałach sytuacja jest podobna. Wobec tego dane liczbowe oderwane od liczby pracowników są jeszcze bardziej ułomne…

Otóż ze stosunku liczb publikacji w dwóch wybranych z tej tabeli instytutach 16:2143 nie wynika przecież, że stosunek „wydajności” w tych instytutach jest jak 1:130! Nawet przybliżone liczby pracowników umożliwiłyby jakieś znaczące porównania, a pominięcie tego daje niezbyt dobrze określone informacje.

Na wykresach wzrostu liczby publikacji i cytowań, podanych na stronie IchB, widać załamanie wzrostu w okolicy 2006 roku. Jest to niepokojące, przy czym brakuje komentarza tego zjawiska w artykule prof. Kierzka: z czego to wynika i jakie są rokowania na przyszłość. Przecież jeżeli Polska ma dorównywać innym krajom, przynajmniej europejskim, to gradient wzrostu powinien być rosnący.

Niektórych istotnych wyników, częściowo umieszczonych na stronie IChB, zabrakło w artykule prof. Kierzka, aby przedstawiony obraz sytuacji i poglądy Autora były pełne. Wszelkie porównania i analizy rozwoju nauki w Polsce są bowiem możliwe tylko w zestawieniu z sytuacją w innych krajach. Można przy tym porównywać się zarówno z krajami o największym rozwoju nauki, aby uzyskać poziom odniesienia, jak i z krajami o podobnej wielkości i historii ostatnich lat. Takie porównania są konieczne, jeżeli w ocenach wykorzystywane są wskaźniki oparte na światowych statystykach, metodach i kryteriach. Niestety, wszelkie porównania nauki w Polsce wykazują poważne opóźnienia niemal we wszystkich dziedzinach, a brakuje przesłanek, aby spodziewać się nadrobienia tych opóźnień. Prowadzi to do komentarzy i opinii, których szczegóły można znaleźć m.in. w kilku artykułach w kwartalniku „Nauka” (M. W. Grabski, Nauka zaściankowa, 3/2010; A.M. Brandt, Jeszcze o „nauce zaściankowej”, 2/2011).

Jest jeszcze jeden wniosek, dotyczący wykorzystywania liczb i pochodnych wskaźników przy analizie publikacji. Otóż, o ile w przypadkach analizowania większych grup uczonych, tworzących instytuty czy wydziały, posługiwanie się ocenami liczbowymi jest może nieuniknione i korzysta z zalet pewnego uśredniania, to w odniesieniu do pojedynczych osób, przechodzących przez kolejne etapy karier naukowych, nic nie zastąpi odpowiednio wybranych komisji w merytorycznej ocenie ich pracy, osiągnięć i sukcesów. Przecież obecnie w warunkach otwartych granic, swobodnego przepływu tekstów i obrazów nie ma przeszkód, aby procedury oceniania funkcjonowały przy stosunkowo niewielkich kosztach, a z udziałem niekwestionowanych autorytetów naukowych. Tradycyjne komisje, złożone z kompetentnych i bezstronnych uczonych, specjalistów w odpowiednich dziedzinach, nie powinny być zastępowane przez liczydła i sztywne progi liczbowe.