Bibliometria – niewiarygodna i niezastąpiona

Najlepszym sposobem oceniania nauki – tak jednostek, jak czasopism i samych naukowców – jest peer review. Niestety, nie stać nas na taki luksus. Musimy pozostać przy ocenie parametrycznej. Rzecz tylko w tym, by była sensownie prowadzona – stwierdzono podczas konferencji „Oceny nauki”, zorganizowanej w dniach 16-18 listopada przez Polską Akademię Umiejętności.

Nie przypadkiem na konferencji gościli były i obecny prezes Fundacji na rzecz Nauki Polskiej, profesorowie Maciej Grabski i Maciej Żylicz. Był również prof. Włodzimierz Bolecki, wiceprezes FNP. – Spotkanie jest kontynuacją „Fundacji na rzecz Nauki Polskiej dyskusji o nauce” – powiedział prof. Andrzej Białas, prezes PAU. Wyraził nadzieję, że konferencje te wejdą na stałe do kalendarza akademii. Obradowano nad ocenami: instytucji, czasopism oraz pracowników naukowych.

Prof. Andrzej Kajetan Wróblewski, wiceprezes PAU, który niegdyś spopularyzował (m.in. na łamach FA) pojęcie „lista filadelfijska”, okazał się zdecydowanym przeciwnikiem parametryzacji. Jego zdaniem, jakość badań naukowcy oceniają metodą peer review. Parametryzacja służy zaś do tego, aby wyeliminować naukowców z oceny. Mają ich zastąpić komputery i urzędnicy. Uczony uznał za nieprzydatny do oceny czegokolwiek współczynnik wpływu, przypominając o przyjętej niedawno Deklaracji San Francisco, w której grono znakomitych naukowców stwierdziło, że IF nie jest do niczego potrzebny i należy zaniechać stosowania go w ocenach czasopism, instytucji i uczonych. W krótkiej prześmiewczej prezentacji prof. Wróblewski wykpił tzw. Sumaryczny Impact Factor – SIF, który uznał za zupełnie bezużyteczny.

Prof. Antoni Tajduś, przewodniczący CK, stwierdził, że Komisja będzie miała kłopot, bo ustawa zmuszą ją do korzystania z IF w ocenie dorobku naukowego kandydatów do tytułu profesora.

Jednostki naukowe musimy ocenić, żeby mieć podstawy do podziału środków budżetowych na badania, mówił prof. Maciej Żylicz. Chodzi o 3 mld zł na działalność statutową. Najlepsza byłaby ocena peer review, ale nie damy rady ewaluować w ten sposób tysiąca jednostek, byłoby to też zbyt drogie. Dlatego stoimy przed koniecznością oceny parametrycznej. Niestety, im więcej szczegółowych parametrów, tym bardziej rozmyty system. Na dodatek okazuje się, że polskie jednostki oszukują już na wejściu, przedstawiając do oceny błędne dane. Obowiązek powszechnej dostępności tych danych pozwoliłby na ich społeczną kontrolę i uniknięcie większości przypadków ich fałszowania. Najwięcej krytyki wywołała ocena jednostek humanistycznych i społecznych. O ile przedstawiciele grupy nauk społecznych, jak psycholog prof. Jerzy Brzeziński z UAM, byli skłonni uznać sensowność bibliometrii, o tyle już językoznawcy, jak prof. Lucjan Suchanek, uznali ją za bezsensowną. Prof. Włodzimierz Bolecki przedstawił stanowisko kompromisowe. – To sami uczeni humaniści stworzyli kryteria i metody oceny jednostek humanistycznych i społecznych. My możemy je tylko doskonalić, a ocena zewnętrzna, panelowa powinna być bonusem dla najlepszych – mówił wiceprezes FNP.

Prof. Roman Laskowski, językoznawca, odnosząc się do ocen peer review, mówił: – Nie wierzę w obiektywne oceny fachowców w moim środowisku.

Krytykowano fetyszyzację języka angielskiego. Prof. Renata Przybylska, dziekan Wydziału Polonistyki UJ, mówiła o znaczeniu języka narodowego i o tym, że polski język nauki jest naszym dorobkiem i dziedzictwem, o które należy dbać. Tymczasem Narodowe Centrum Nauki każe polonistom pisać wnioski w języku angielskim. Prof. Bolecki odpowiadał: – Czołówka polskich humanistów działa na szerokim międzynarodowym polu, a język angielski jest powszechną platformą porozumienia.

– Wydawane w Afryce Południowej słabe czasopismo slawistyczne jest na ministerialnej liścia A i ma wielokrotnie więcej punktów niż znakomite czasopisma rosyjskie czy polskie – wołał prof. Lucjan Suchanek. Krytykowano stosowanie listy ERIH. Prof. Bolecki wskazał, że nie jest ona uzupełniana od 2008 roku, a zatem jest nieaktualna. Nie została też stworzona do żadnych ocen i ewaluacji, a zatem stosowanie jej w tym celu jest nieporozumieniem.

Prof. Jerzy Lis z AGH stwierdził, że stosowanie listy filadelfijskiej do oceny działalności naukowej nie ma sensu. W punktowanych czasopismach lawinowo wzrasta liczba aplikacji o druk. Wzrost liczby cytowań powoduje samonakręcanie tego zjawiska i marginalizowanie innych, bardzo dobrych czasopism. Na dodatek w wielu dziedzinach liczą się nie artykuły, ale inne formy publikacji, w tym krótkie doniesienia konferencyjne, plakaty, patenty. Wtórował mu prof. Karol Życzkowski z UJ, który stwierdził, że bardzo dobrze cytowane są jego niektóre obiektywnie słabe artykuły, co jest dowodem na bezsensowność kierowania się cytowalnością w ocenie jakości prac naukowych.

Prof. Jan Woleński wskazywał na absurdy w punktacji czasopism. Znakomity krakowski „Kwartalnik Filozoficzny” ma mniej punktów niż nieliczące się czasopismo doktorantów Uniwersytetu Szczecińskiego tylko dlatego, że to ostatnie ma w składzie redakcji osoby spoza kraju. Zgadzano się powszechnie co do tego, że większość zagranicznych członków redakcji i rad naukowych polskich czasopism to figuranci.

Krytykowano punktomanię. – Młodzi badacze kierują się możliwością uzyskania punktów i publikują w niewłaściwych dla przedmiotu swych artykułów czasopismach – mówił prof. Szczepan Biliński. A.K. Wróblewski przytaczał przykład aplikacji do Nagrody im. prof. Pieńkowskiego – 75 proc. kandydatów, zamiast opisać swoje osiągnięcia, podało liczbę uzyskanych punktów.

L. Suchanek krytykował NCN, którego eksperci kierują się modami. Inni wskazywali na zbyt skomplikowane formularze wniosków grantowych. Niech ci, którzy je tworzą, najpierw sami je wypełnią – nawoływano. Prof. Andrzej Jajszczyk bronił się: – Nasze formularze są maksymalnie uproszczone. Staramy się cały czas doskonalić system, ale oczekiwania środowiska są ze sobą sprzeczne. Wnioski po angielsku umożliwiają poddanie ich recenzjom ekspertów zagranicznych. Przyznał jednak, że mody odgrywają pewną rolę w nauce i może się zdarzyć, że nawet eksperci NCN im ulegną.

Prof. Życzkowski postulował, by wyniki ankiet ocen okresowych były jawne. Prof. Biliński wskazywał, że oceniamy nie tylko osiągnięcia naukowe, ale także dorobek dydaktyczny i organizacyjny pracowników.

Prof. Grzegorz Węgrzyn pokazywał pułapki wskaźników bibliometrycznych. – Nie ma sensu porównywanie IF, IH, cytowań między różnymi dyscyplinami, a także między naukowcami na różnych etapach kariery naukowej – mówił. Kiedy stosujemy bibliometrię nie wygrywa najlepszy, ale – zgodnie z teorią Darwina – ten, kto potrafi najlepiej przystosować się do warunków środowiskowych.

Wśród obrońców parametryzacji byli m.in. profesorowie Józef Dulak, Janusz Gil i Andrzej Pilc – akurat przedstawiciele nauk ścisłych i przyrodniczych. Ten ostatni wskazywał, że bibliometria to nie tylko suche cyfry, a bazy danych są kopalnią wiedzy o naukowcach.

Wyciągnięto co prawda wspólne wnioski z debaty, ale nikt z uczestników nie wyszedł z niej w stu procentach usatysfakcjonowany. Kompromisy bowiem są praktyczne, ale najczęściej pozostawiają niedosyt. Zwolennicy rzetelnych ocen peer reeview, ci nieliczni idealiści wierzący w rzetelność polskiego środowiska naukowego, z pewnością uważali kompromis uznający konieczność ocen parametrycznych za zbyt daleko idący. Zwolennicy parametryzacji musieli pogodzić się z tym, że nie do wszystkiego się ona nadaje i trzeba ją poprawić, a czasami uzupełnić o oceny peer review. Wszyscy chyba zgodzili się jednak, że parametryzacja to jedyna możliwa do zrealizowania w Polsce metoda ewaluacji jednostek badawczych i czasopism, a w pewnym stopniu – także naukowców. Jednak inne kryteria i metody należy stosować do oceny jednostek badawczych, inne do oceny czasopism, a jeszcze inne do oceny pracowników.

W stu procentach mogli być zadowoleni jedynie organizatorzy. Osiągnęli cel – dyskusje były zażarte, prezentowano różnorodne, często przeciwstawne opinie i interesujące uzasadnienia, nie „okopując się” jednak w swoich stanowiskach i zachowując skłonność do kompromisu. Wyniki obrad były właśnie kompromisem między tym, co naprawdę dobre, a tym, na co nas stać tak pod względem finansowym, jak ludzkim.