Od pewnego czasu „Polityka” publikuje artykuły dotyczące roli współczynników bibliometrycznych w ocenie działalności naukowej; można tu wymienić artykuły prof. Sławomira Tumańskiego, Leszka Pacholskiego czy rankingi uczelni opracowane przez prof. Janusza Gila ze współpracownikami. Artykuły te opisują środowisko naukowe w sposób niezwykle uproszczony i w niektórych przypadkach nieprawdziwy, siejąc zamęt w głowach czytelników. „Polityka” jest tygodnikiem opiniotwórczym, więc czujemy się w obowiązku zareagować. W ostatnim numerze tego tygodnika ukazał się artykuł prof. Pacholskiego Kariery lewarowane , w którym autor, posługując się trzema nietypowymi przykładami, zdecydowanie przecenia wpływ patologii publikacyjnych na pozycję naukową pojedynczych naukowców czy instytucji naukowych. Zaskakuje tutaj niespójność poglądów prof. Pacholskiego. Kilka miesięcy temu („Polityka” 24(2962)2014) wysoko ocenił on niepoprawny metodologicznie ranking uczelni, oparty wyłącznie na indeksie Hirscha, czyli de facto na liczeniu cytowań, autorstwa prof. Janusza Gila, ogłoszony wcześniej w tejże „Polityce”. Z kolei w najnowszym numerze („Polityka” 38(2976)2014) ten sam autor nie zostawia suchej nitki na wskaźnikach bibliometrycznych (impact factor, indeks Hirscha) i zarzuca naukowcom, że zamiast rozwiązywać problemy naukowe, gonią za punktami i indeksami, w dodatku stosując nieuczciwe praktyki.

Cztery jabłonki

Zacznijmy od opisywanego przez prof. Leszka Pacholskiego przypadku Uniwersytetu Aleksandryjskiego w Egipcie, który w rankingu THE w 2010 r. został sklasyfikowany na 147. miejscu na świecie, czyli znacznie wyżej niż jakikolwiek uniwersytet polski. Cytujemy następujące stwierdzenie autora: „Jeszcze bardziej zaskoczyło jego [Uniwersytetu Aleksandryjskiego] czwarte miejsce – przed Uniwersytetami Harvarda i Stanforda – w kategorii «wpływ na badania», czyli w liczbie odwołań w publikacjach naukowych do osiągnięć pracowników egipskiej uczelni. Dokładniej mówiąc, cytowań jednego pracownika. Tak wysoka pozycja uniwersytetu była rezultatem przywołania ponad 320 publikacji tego samego autora – Mohameda El Naschiego – w czasopiśmie „Chaos, Solitons, Fraktals”, którego El Naschie był redaktorem naczelnym”. Stwierdzenie, że autor 320 publikacji, na dodatek miernie cytowanych (średnio 10,8 cytowań obcych na artykuł), potrafi wywrócić światową hierarchię cytowań jest absurdalne i sprzeczne z dostępnymi danymi bibliograficznymi. Wymieniony tu Uniwersytet Harvarda publikuje ok. 16 tys. artykułów rocznie, na ogół bardzo często cytowanych; Uniwersytet Stanforda – 9 tys., UJ – 1,6 tys., PW – 1,4 tys. Uniwersytet Aleksandryjski publikuje ok. 450 prac rocznie, dosyć kiepsko cytowanych. Równie kiepsko cytowane artykuły El Naschiego w okresie jego największej płodności publikacyjnej (lata 2005-2009) stanowiły zaledwie 10% wszystkich publikacji tego uniwersytetu. Równie dobrze można twierdzić, że cztery jabłonki w ogrodzie stuletniej mamy jednego z nas mają istotny wpływ na polską produkcję jabłek. Umieszczenie Uniwersytetu Aleksandryjskiego na czwartym miejscu na świecie w liczbie cytowań dowodzi albo skandalicznego błędu 13-osobowej ekipy „Times Higher Education” zajmującej się opracowaniem rankingu, albo jej skrajnej niekompetencji. Oczywiście ani do błędu, ani do niekompetencji THU się nie przyzna i stąd powstał mit, że jednym dziecięcym wiaderkiem można zaspokoić zapotrzebowanie na wodę dla całej Warszawy.

Dziwi nas także, jak Uniwersytet Aleksandryjski mógł zająć wysokie miejsce w jakimkolwiek rozsądnie skonstruowanym rankingu uczelni światowych, bo np. w opartym na liczbie cytowań rankingu uczelni polskich prof. Gila, opublikowanym w „Polityce”, uczelnie o podobnych osiągnięciach (h = 82) zajmują miejsca pod koniec drugiej dziesiątki. Uniwersytet Aleksandryjski ma co prawda inne istotne osiągnięcie: jego absolwentem (na poziomie studiów magisterskich) jest bowiem Ahmed Zewail – laureat nagrody Nobla z 1999 r., ten jednak argument nie ma nic wspólnego z machlojkami El Naschiego.

Zgadzamy się z wieloma postulatami prof. Pacholskiego, np. nam również nie podoba się absurdalna miejscami ministerialna punktacja czasopism, a zwłaszcza uzależnienie punktacji za artykuł naukowy wyłącznie od czasopisma, w którym się ukazał, gdyż praktycznie w każdym czasopiśmie, niezależnie od jego wskaźnika wpływu, ukazują się artykuły bardzo słabe, a nawet błędne. Natomiast uważamy, że obraz nakreślony przez prof. Pacholskiego jest przerysowany i pozostaje de facto projekcją wielu mitów funkcjonujących w polskim środowisku naukowym. Poniżej spróbujemy kilka z nich sprostować.

Mit 1: Duża liczba cytowań pozwala na zrobienie błyskotliwej kariery naukowej w Polsce

Jeżeli istnieje jakaś korelacja, to raczej jest to korelacja ujemna, tzn. zbiór osób piastujących najwyższe stanowiska decyzyjne w nauce polskiej i zbiór osób, których prace mają największą liczbę cytowań są zbiorami rozłącznymi. Nikt nie prowadził systematycznych badań w tym kierunku, dlatego możemy się posłużyć jedynie przykładami. Wśród trojga polskich chemików o najwyższej liczbie cytowań obcych, nikt nie pełni funkcji kierowniczej, nawet kierownika zakładu, co po części wynika z ich braku zainteresowania karierą administracyjną. Są to prawdziwi szeregowcy w armii naukowców. Z kolei obecni i byli rektorzy wyższych uczelni, w tym przedstawiciele nauk medycznych i przyrodniczych, mają, z nielicznymi wyjątkami, zawstydzająco niskie wskaźniki bibliometryczne.

W tym miejscu chcemy podkreślić, że nie jest naszym celem kwestionowanie kompetencji naukowych naszych kolegów posiadających niewysoki współczynnik h, lecz wykazanie braku dodatniej korelacji między współczynnikiem h i przebiegiem karier naukowych. W kontekście przedstawionych wyników walka o podniesienie liczby cytowań wydaje się więc raczej mało szkodliwym hobby niż skuteczną metodą na ułatwienie sobie kariery naukowej.

Mit 2: Za pomocą nieuczciwych metod można uzyskać bardzo wysoki indeks h

Wśród oszustw opisywanych przez prof. Pacholskiego rzeczywiście najłatwiejsze polega na sztucznym powiększeniu indywidualnego indeksu Hirscha i współczynnika wpływu (IF) czasopisma przez jego redaktora naczelnego. Możliwe jest to jednak tylko dla czasopism publikujących co najwyżej kilkaset artykułów rocznie i pod warunkiem skorumpowania redaktorów regionalnych. To przypadek czasopisma „Chaos, Solitons, Fractals”, które nie liczyło się nigdy w dziedzinie fizyki teoretycznej, fizyki matematycznej czy mechaniki teoretycznej, a publikowanie w nim nie było powodem do wielkiej chwały. Trudniej oszukiwać w czasopismach, które publikują kilka tysięcy artykułów rocznie (np. „Physical Review B” – 6 tys. artykułów rocznie), w których redaktorzy są nominowani przez towarzystwa naukowe. Opisane oszustwa mogą zwiększyć sławę danego naukowca, ale tylko czasowo i na ogół w skali lokalnej. Zresztą na ogół kończą się one źle dla oszukującego, co widać nie tylko w przypadku El Naschiego, którego zmuszono do rezygnacji z pracy naukowej, ale także w przypadku bardziej sławnych afer, jak te Benveniste’a, Schoena i wielu innych. Skrupulatna analiza ogólnie dostępnych danych statystycznych, publikowanych dla każdego czasopisma z listy filadelfijskiej, pozwala na łatwe wykrycie tych naiwnych oszustw. Afery te, nieuniknione – biorąc pod uwagę znaczną populację redaktorów czasopism indeksowanych: kilkadziesiąt tysięcy, z czego tylko w oficynie Elseviera ponad 7 tys. – wynikają z niezależności redaktora naczelnego i redaktorów regionalnych, którzy mają prawo przyjmować do druku artykuły nierecenzowane, a nawet wbrew negatywnym recenzjom. Wybuchające co jakiś czas afery świadczą o tym, że niektórzy redaktorzy nie potrafią sprostać ciążącej na nich odpowiedzialności. Niezależność redaktorów ma jednak więcej zalet niż wad. Opisane afery mają charakter marginalny i nie są największą bolączką współczesnej nauki. Większym problemem jest tzw. salamizacja nauki, czyli publikowanie kilku artykułów z cząstkowymi wynikami, zamiast jednej całościowej pracy, co prowadzi do ogromnej inflacji publikacyjnej. To patologiczne zjawisko jest generowane przez wadliwe kryteria aprecjacji osiągnięć naukowych stosowane przez instytucje kierujące badaniami. W tej sprawie całkowicie się zgadzamy z prof. Pacholskim.

Prof. Pacholski podaje następujące liczby: nobliści z fizyki mają indeks h w zakresie 35-39, zaś Ji-Huan He (naukowiec stosujący nieuczciwe praktyki) ma indeks h = 67. Ma to świadczyć o tym, że nieuczciwymi metodami można uzyskać bardzo wysoki indeks h. Dane podane przez prof. Pacholskiego są nierzetelne. Zacznijmy od tego, że naukowców nazywających się J.H. He, którzy opublikowali artykuły w czasopismach z listy filadelfijskiej, jest bardzo wielu i prawdopodobnie nie zmieściliby się oni wszyscy w jednym autobusie miejskim, nawet przegubowym. Podana liczba (h = 67) nie jest zatem osobistym współczynnikiem h jednego konkretnego naukowca, lecz zbiorowym współczynnikiem h paru tuzinów różnych J.H. He zajmujących się różnymi dziedzinami nauki (w bazie danych nie odróżnia się naukowców o jednakowych inicjałach imion). Świadczy o tym uwaga prof. Pacholskiego, że informatyk i matematyk Ji-Huan He jest również często cytowany w technologii i inżynierii materiałowej. Natomiast pozostali naukowcy wymienieni przez prof. Pacholskiego z powodu nieuczciwych praktyk mają odpowiednio h = 37 (Zavadskas) i 34 (El Naschie). Nie są to wyniki imponujące, nawet jeśli brać standardy polskie, np. w radzie Wydziału Chemii UW jest ponad pół tuzina naukowców o znacznie wyższych współczynnikach h.

Komitet noblowski nie kieruje się indeksem h przy przyznawaniu nagrody. Nagrodę otrzymali zarówno R.J. Glauber (h = 36) czy odkrywca quasi- kryształów Shechtman (h = 36), jak i Heeger (h = 150) czy Schrock (h = 115). Na ogół jednak doniosłe odkrycie naukowe generuje liczne cytowania, więc noblistów o h > 100 jest znacznie więcej niż takich, których h < 40. W tych ostatnich przypadkach mała wartość h wynika zresztą z powściągliwości w publikowaniu, a nie z braku cytowań. W tym kontekście nawet współczynnik h całego autobusu pełnego J.H. He nie budzi zachwytu.

Mit 3: St osowanie nieuczciwych metod jest powszechne

Baza danych Web of Science (TM) gromadzi dane o ponad 2 milionach publikacji rocznie napisanych przez parę milionów autorów. Liczby różnych autorów nie da się nawet w przybliżeniu określić z powodu wspomnianej wyżej homonimii. Kilkuset, kilka tysięcy, a nawet kilkadziesiąt tysięcy oszustów stanowi w tej liczbie niewiele znaczący margines. Zresztą każdy użytkownik bazy może łatwo sprawdzić, czy zaskakująco wysokie współczynniki obliczone dla danej osoby nie są wynikiem manipulacji opisanych przez prof. Pacholskiego, np. nadmiernych autocytowań lub spółdzielni cytowań. Cytowany w „Polityce” artykuł z „Nature” obnażający oszustwa El Naschiego raczej dobrze świadczy o zdolności środowiska naukowego do samooczyszczania.

Aby zrównoważyć wszystkie nasze krytyczne komentarze, pragniemy podkreślić, że podobnie jak prof. Pacholski uważamy, że mechaniczne porównywanie współczynników bibliometrycznych jest szkodliwe i często prowadzi do fałszywych wniosków. Na szczęście jednak w Polsce nie brakuje bibliotekarzy i bibliotekoznawców, którzy potrafią się nimi wprawnie posługiwać. Nieco gorzej radzą sobie z tym sami naukowcy, o czym świadczą ekstremalne opinie pojawiające się w wysokonakładowych tygodnikach.

Na końcu apel do studentów, doktorantów i młodych naukowców: Nie wierzcie w światowe i polskie rankingi uczelni, pełne są one bowiem błędów metodologicznych. Nie liczcie na „karierę lewarowaną”, bo uzyskana w ten sposób pozycja pozostaje w równowadze chwiejnej, co kończy się bolesnym upadkiem.