Parafrazę tytułu utworu Edwarda Stachury dedykuję wszystkim autorom publicznych wypowiedzi na temat zastosowania wskaźników bibliometrycznych do oceny dorobku naukowego osób i instytucji naukowych w Polsce. W artykułach prasowych popularna jest postawa totalnej negacji wskaźników bibliometrycznych opartych na analizie cytowań, jako narzędzia takiej oceny. Wskaźniki te mają oczywiście wiele wad i sam wielokrotnie wypowiadałem się krytycznie na ich temat. Warto jednak odróżnić rzeczową krytykę od „autorytatywnych” wypowiedzi, często wygłaszanych przez osoby zajmujące wysokie pozycje w polskiej hierarchii naukowej, przedstawiających współczynniki bibliometryczne, np. impact factor (IF), liczbę cytowań czy modny ostatnio współczynnik Hirscha (h), jako szkodliwe herezje, które dla dobra nauki polskiej należy bezwarunkowo wyplenić. Moją szczególną dezaprobatę budzą wypowiedzi, w których, po wyrażeniu negatywnej opinii na temat analizy cytowań, jednym tchem podaje się własną koncepcję oceny dorobku naukowego.

Doktor lepszy niż profesor?

Niedawno przeczytałem, że aby stwierdzić, czy ktoś jest dobrym naukowcem, wystarczy sprawdzić, w jakim wieku zrobił(a) doktorat, habilitację lub uzyskał(a) tytuł profesora. I tu wrócę do tytułowej parafrazy. Wszystko jest bibliometrią. Wiek, w którym zainteresowany uzyskał stopień lub tytuł naukowy, jest współczynnikiem bibliometrycznym posiadającym wady i zalety w podobnym stopniu, jak jego liczba publikacji, indeks h czy liczba uzyskanych doktoratów honorowych i Nagród Nobla. Pomysł, aby stosować tylko jeden (taki lub inny) arbitralnie przyjęty wskaźnik uważam za niemądry i szkodliwy. Niedawno moja znajoma uzyskała doktorat w wieku 31 lat, a więc dość poważnym. Za swój doktorat dostała parę ważnych nagród krajowych i jedną międzynarodową. Na doktorat składały się publikacje w czasopismach, o których wielu profesorów pracujących w tej dziedzinie może tylko pomarzyć. I teraz zadam retoryczne pytanie: dlaczego niby mielibyśmy ją oceniać niżej niż kogoś, kto zrobił marny doktorat mając lat 29?

Gdzie indziej przeczytałem, że skoro statystyczny fizyk w momencie uzyskania tytułu profesora ma pięć razy tyle cytowań co świeżo wypromowany profesor nauk rolniczych, to znaczy, że jedno cytowanie w dziedzinie nauk rolniczych jest warte tyle, co pięć cytowań w naukach fizycznych. Kuszące rozumowanie. Równie dobrze jednak można z tych danych wysnuć wniosek, że tytuł w dziedzinie nauk rolniczych wart jest mniej więcej tyle, co habilitacja z chemii lub doktorat z fizyki.

Wszystkie wskaźniki bibliometryczne są wzajemnie skorelowane i na ogół osoby, które uzyskują stopnie i tytuły naukowe w młodym wieku, mają także liczne publikacje, wiele cytowań i duże szanse na uzyskanie doktoratów honorowych. Naukowcy ci nie muszą się martwić o to, jaki wskaźnik zostanie zastosowany do ich oceny, bo bez względu na kryteria wypadną oni zawsze bardzo dobrze. Zdarza się jednak, że dana osoba w zależności od zastosowanych kryteriów uzyskuje skrajne (bardzo dobre lub bardzo złe) wyniki. Bywa na przykład, że osoby publikujące w najlepszych czasopismach i uzyskujące zawrotne liczby cytowań awansują nader wolno. Są też współcześni polscy naukowcy pracujący w dziedzinie nauk ścisłych i technicznych, którzy wypromowali więcej doktorów niż wydali publikacji w czasopismach z listy filadelfijskiej lub więcej doktoratów honorowych niż niezależnych cytowań. Oczywiście jednym i drugim nie jest wszystko jedno, jakie kryteria oceny są stosowanie w nauce polskiej i stąd właśnie mogą wynikać skrajne opinie na temat różnych wskaźników bibliometrycznych, wygłaszane przez samych zainteresowanych. O systemach oceny naukowców i instytucji decydują sami naukowcy i istnieje poważne zagrożenie manipulacją w celu przeforsowania rozwiązań korzystnych dla poszczególnych osób i instytucji. Za pomocą odpowiednio dobranych danych statystycznych można „udowodnić” dowolną tezę (G. Canning, 1770-1827).

Opinią pracowników polskich instytucji naukowych na temat oceny dorobku naukowego manipulować tym łatwiej, że praktycznie nie mamy własnych naukowców pracujących w tej dziedzinie. Pod względem liczby publikacji w 30 czołowych czasopismach w dziedzinie określonej przez Thomson Institute jako „information science & library science” w latach 1997-2010 Polska zajmuje 40. miejsce z dorobkiem stanowiącym 0,04 proc. (sic!) łącznej liczby publikacji, w tym 1/3 „polskich” publikacji ma również współautorów zagranicznych (te i większość innych danych liczbowych przytoczonych z tym artykule opracowano na podstawie bazy danych Thomson Institute).

Mity i fakty

Do złej prasy analizy cytowań przyczynia się kilka przesądów funkcjonujących w polskim środowisku naukowym. Tych mitów nikt nie prostuje, a wiele osób z pełnym przekonaniem je powtarza.

Mit 1. Aby dostać się na listę filadelfijską, redakcja czasopisma musi mieć masę pieniędzy lub szczególne znajomości.

Niekoniecznie. Na przykład prof. Henryk Kaproń z Politechniki Lubelskiej jest wydawcą i redaktorem „Rynku energii”, czasopisma o IF = 0,626. Nie miał ani znajomości, ani wielkich pieniędzy.

Mit 2. Aby zdobyć dużą liczbę cytowań, najlepiej napisać coś nieprawdziwego i opublikować to w dobrym czasopiśmie, a wtedy wszyscy zaczną ten błąd prostować.

Jako przykład na rzekomą skuteczność takiej strategii podaje się pracę: Fleischmann, M., Pons, S., „J. Electroanal. Chem.”, 261 (2A) 301-308, 1989, której autorzy twierdzili, jakoby udało im się przeprowadzić fuzję jądrową w temperaturze pokojowej.

Nie każdy wie, że naukowcy rzadko piszą sprostowania błędnych twierdzeń, znalezionych w pracach swoich kolegów, a redakcje czasopism naukowych nader niechętnie takie komentarze publikują. Wystarczy przejrzeć spis treści dowolnego czasopisma, aby się przekonać, jak niewielki ułamek opublikowanych prac stanowią komentarze i sprostowania. Większość błędów pozostaje więc bez komentarza. Zdecydowana większość cytowań (ponad 95 proc.) to odniesienia o charakterze neutralnym lub pozytywnym do cytowanych prac.

Wzmiankowana praca Fleischmanna i Ponsa uzyskała 741 cytowań. To bardzo dobry wynik jak na pojedynczą publikację, ale też żadna rewelacja. W prowincjonalnym Lublinie rekordzista Wydziału Chemii ma dwie publikacje, z których każda uzyskała czterocyfrową liczbę cytowań. Przypadek zimnej fuzji jest ewenementem w historii nauki, jedynym przykładem ewidentnie błędnej publikacji, która uzyskała tak znaczną liczbę cytowań. Np. Benveniste za swoją pracę, traktowaną przez zwolenników homeopatii jako dowód na istnienie „pamięci wody”, uzyskał „zaledwie” 233 cytowania (z czego znaczną część stanowią cytowania przez zwolenników „pamięci wody”, a nie jej krytyków). Należy również podkreślić, że przed pracami, które przyniosły im złą sławę, zarówno Benveniste, jak też Fleischmann i Pons opublikowali wiele rzetelnych prac, których łączna liczba cytowań wynosi po parę tysięcy na każdego z tych autorów. Jeżeli więc ktoś chce w budowaniu swojej pozycji naukowej pójść śladami wzmiankowanej trójki (w rzeczywistości Beneviste miał paru współautorów, ale etykietkę „ojca nowoczesnej homeopatii” przyklejono tylko jemu), to powinien w swojej strategii uwzględnić opublikowanie najpierw kilkudziesięciu rzetelnych publikacji, bo początkującemu autorowi redaktorzy i recenzenci od razu pokażą jego miejsce w szyku.

Mit 3. Nie da się zdobyć dużej liczby cytowań, pracując w innej dziedzinie niż nauki biomedyczne, ewentualnie fizyka lub chemia.

Jako kontrprzykład można podać następującą pracę: Pawlak Z., „International Journal of Computer & Information Sciences”, 11 (5) 341-356, 1982. Autor ma nie tylko swojsko brzmiące nazwisko, ale też polską afiliację, a praca ma 2561 cytowań, czyli więcej niż niejeden niezły biolog, fizyk lub chemik ma wszystkich cytowań razem wziętych. To prawda, że w fizyce średnia cytowalność prac jest większa niż w naukach rolniczych, ale w skali światowej jest to proporcja mniej więcej jak 4:3, a więc wzmiankowane wyżej mnożenie cytowań przedstawicieli nauk rolniczych przez czynnik 5 nie ma racjonalnych przesłanek. Natomiast zasadnicza różnica polega na tym, że pod względem liczby cytowań Polska zajmuje 15. miejsce w naukach fizycznych, ale 30 miejsce w naukach rolniczych. Nauki rolnicze mają całkiem dobry wynik w porównaniu z ekonomią (41. miejsce) i naukami społecznymi (43. miejsce). Średnia cytowalność prac Polaków (poza astronomią) jest poniżej średniej światowej, natomiast praktycznie w każdej dziedzinie wiedzy istnieją polskie publikacje, osiągające znaczne liczby cytowań.

Takich mitów jest dużo więcej i trudno omówić wszystkie w krótkim artykule.

Analiza cytowań jest uznanym i pożytecznym narzędziem, chociaż oczywiście ma też wiele wad i ograniczeń. Współczynniki bibliometryczne można potępiać i lekceważyć, ale z takiej postawy nic dobrego nie wyniknie. Już Newton doceniał rolę cytowań w nauce, głosząc, że karzeł stojący na barkach gigantów widzi dalej niż sami giganci. Z drugiej strony trudno o coś bardziej żałosnego niż karzeł, który próbuje udawać giganta.