Tajemnice bibliometrii

Rozmowa z dr. hab. Emanuelem Kulczyckim, prof. UAM, specjalistą w dziedzinie bibliometrii i ewaluacji nauki

Bibliometria, którą pan tak lubi, jest dziś na cenzurowanym, podobno nie tylko w Polsce, ale i na świecie.

Bibliometria stała się bardzo popularna, dlatego ma i zwolenników, i przeciwników. Jej przeciwnikami są ci, którzy widzą niewłaściwe jej użycie. Jak każde narzędzie, bibliometria może być używana w sposób skuteczny, adekwatny, efektywny, ale też może być używana jak młot do walenia w porcelanowe wazony. Niestety często tak się zdarza. Jej przeciwnicy powołują się na deklarację DORA czy też Deklarację San Francisco. Ich zdaniem twórcy deklaracji, bardzo wybitni naukowcy z obszaru nauk biologicznych, twierdzą, że nie powinno się używać bibliometrii w ewaluacji. Tymczasem deklaracja DORA nie mówi o tym, żeby nie używać bibliometrii w ewaluacji, tylko o tym, żeby używać bibliometrii w sposób odpowiedni, np. nie używać wskaźników tworzonych dla czasopisma do oceny indywidualnych badaczy, bo takie wykorzystanie jest błędne. Taka sytuacja miała miejsce w starych wytycznych habilitacyjnych, gdy podawało się impact factor (IF) czasopisma, co miało świadczyć o jakości dokonań naukowca. Wszyscy, którzy tym się zajmują, mają świadomość, że IF służy tylko do opisu bądź oceny czasopism, a nie naukowców. Gdy chcemy ocenić naukowca, używajmy wskaźnika Hirscha, a nie impact factora. Można oczywiście powiedzieć, że najlepiej byłoby zapoznać się z najlepszych publikacjami takiego naukowca. I byłaby to prawda, tylko czasami musimy po prostu porównać bardzo wielu naukowców. I w takim przypadku efekt skali sprawia, że musimy się posiłkować liczbami.

Gdy nieżyjący już profesor Janusz Gil postanowił porównać uczelnie i instytuty naukowe stosując wskaźnik Hirscha, postąpił poprawnie?

Tak, gdyż porównywał duże instytucje. Nie da się tego zrobić, czytając artykuły wszystkich naukowców z tych instytucji. Tego typu ranking ma swoje zalety, ale i wady. Nie wynikają one jednak z samej bibliometrii, bo ona jest tylko ułomnym narzędziem, lecz z założeń, a czasami wręcz z interesów stojących za nimi. Mamy różne rankingi stosujące różne parametry i stąd różnice w wynikach. To dobór parametrów decyduje w dużej mierze o wynikach. Używanie wskaźnika Hirscha do oceny instytucji może być dobrym rozwiązaniem. Dochodzi jednak kwestia wyboru bazy bibliograficznej. W swoich badaniach podnoszę niewystarczalność baz Web of Science i Scopus do pełnego opisu rzeczywistości naukowej. Na przykład gdy chcemy powiedzieć, czy uniwersytet z Krakowa ma bibliometrycznie lepszych pracowników niż uniwersytet z Poznania, trzeba użyć odpowiedniej, kompletnej bazy, która indeksuje publikacje w wielu językach i obszarach wiedzy. Sprawa się komplikuje, kiedy chcemy bibliometrię wykorzystać nie tyle do opisu rzeczywistości, ile do jej zmiany, czyli tak, jak to robi Ministerstwo Nauki w Polsce. Wtedy nie potrzebujemy szerokiej bazy, tylko takiej, która pozwoli nam odpowiednio rangować czasopisma i wskazać, w których powinna publikować większość naukowców z punktu widzenia polityki państwa. Bibliometria może być narzędziem zmiany postaw społecznych i jak każde narzędzie ilościowe będzie ona miała pewne niepożądane i nieprzewidziane skutki negatywne. Nikt jednak nie wymyślił lepszego rozwiązania, bo takie systemy zarządzania sektorem nauki, szkolnictwa, edukacją czy służbą zdrowia są wykorzystywane na całym świecie. Polska nie jest specyficzna.

Proszę przypomnieć, jakie są parametry bibliometryczne, i wskazać, które do czego służą.

Najważniejsze jest kogo lub co chcemy ocenić: pojedynczy artykuł, całe czasopismo, wydawnictwo, a może instytucję naukową lub nawet całe państwo, a może pojedynczego badacza. Do opisu każdego poziomu trzeba stosować różne wskaźniki. Niektóre wykorzystuje się wszędzie, np. cytowania jednej publikacji. Możemy policzyć cytowania wszystkich publikacji w danym czasopiśmie lub wszystkie cytowania danej pracy, albo wszystkie cytowania prac jednego naukowca. Ale już wskaźnik Hirscha może być wykorzystywany tylko do naukowców, czasopism i krajów, a nie do pojedynczego artykułu. Tak samo z impact factorem – to najbardziej rozpowszechniona metryka, która jednak nadaje się tylko do tego, by w pewien sposób porównywać czasopisma o zasięgu międzynarodowym. Krytycy mogą mi słusznie zarzucić, że są różne sposoby wyliczania IF, a nawet „ogrywania” tego współczynnika, ale mimo to jest on najlepszym wskaźnikiem informującym o tym, które czasopismo jest najbardziej inspirujące i rozpoznawalne w danej dyscyplinie, a nawet subdyscyplinie. W różnych dyscyplinach są bowiem różne praktyki publikacyjne i cała bibliometria jest dobrym narzędziem opisu pewnej rzeczywistości społecznej tylko wówczas, gdy jest do niej poprawnie dobrana i użyta. Często się mówi, że dobry wskaźnik to wskaźnik znormalizowany, bo dziesięć cytowań książki w humanistyce to bardzo dużo, a dziesięć cytowań artykułu w biologii czy medycynie to nic. Dlatego te różnice trzeba uwzględniać niezależnie od tego, czy używamy bibliometrii do opisu rzeczywistości publikacyjnej, czy też do jej zmiany.

Znamy powszechnie bazy Web of Science i Scopus. Co jeszcze? Co z listą filadelfijską?

Lista filadelfijska to określenie typowo polskie, nieznane na świecie. To, w pewnym uproszczeniu, jeden z indeksów bazy Web of Science, czyli Journal Citation Reports (JCR). Ponieważ pierwsze prace nad nim powstały w Instytucie Informacji Naukowej w Filadelfii, zyskał w naszym kraju taką właśnie nazwę. Rzeczywiście na świecie dominują dwie bazy wspomniane w pytaniu. Są nowe narzędzia, takie jak Microsoft Academic, Dimension, Google Scholar. Jednak sposób ich tworzenia i dbania o jakość danych sprawia, że tych narzędzi nie można jeszcze wykorzystywać do dystrybucji środków na naukę na poziomie krajowym.

Web of Science jest najstarszą bazą, która indeksuje głównie artykuły z nauk przyrodniczych, twardych i społecznych; indeksuje również czasopisma humanistyczne, ale nie wylicza dla nich wskaźników cytowań. Zdecydowanie młodsza jest baza Scopus, która ma inne zasady przyjmowania czasopism do indeksowania. Jest ich dużo więcej i są tam indeksowane także czasopisma humanistyczne, nawet jeśli są wydawane w językach nieuznawanych za międzynarodowe. Różnica między tymi bazami jest w gruncie rzeczy ilościowa. Wielką wadą obu baz jest to, że praktycznie nie indeksują książek. Jest to problem całej bibliometrii, która mając „biblio” w nazwie, w zasadzie zapomniała o książkach. Na całym świecie trwają prace nad tym, jak lepiej opisać rzeczywistość publikacji książkowych. To dlatego w tworzonym wykazie wydawnictw naukowych nie wykorzystuje się wskaźników bibliometrycznych, nie liczy się indeksów cytowań dla książek wydanych przez daną oficynę, bo dla wydawnictw nie stworzono jeszcze takiego wskaźnika, jakim jest impact factor dla czasopism. Jak to często bywa, we wszelkich systemach zarządzania liczy się to, co jest możliwe do policzenia, chociaż nie zawsze jest to dokładnie to, co chcielibyśmy zmierzyć.

A baza ERIH?

Tak zwany stary ERIH, czyli European Reference Index for the Humanities, był stworzony przez European Science Foundation i został już zamknięty. Nowy ERIH Plus, czyli European Reference Index for the Humanities and Social Sciences, tworzy Norwegian Centre for Research Data i oprócz czasopism humanistycznych są tam czasopisma z nauk społecznych. To baza referencyjna i jej celem jest tylko spisanie czasopism wydawanych w tych dziedzinach. Pod żadnym pozorem baza nie rości sobie pretensji do oceny tych czasopism i ich rangowania. Podejmowanie na jej podstawie decyzji o jakości czasopism jest z perspektywy bibliometrycznej błędem.

Bazy są wiązane z instytucjami komercyjnymi, w tym jednym z największych wydawnictw naukowych. Czy to nie podważa wiarygodności tych baz?

Bazy Web of Science i Scopus są produktami komercyjnymi, nastwionymi na sprzedaż danych, które gromadzą. Z tego powodu dbają o ich jakość. Web of Science, a właściwie obecnie Web of Science Core Collection, jest tworzona od pół wieku, a obecnie należy do Clarivate Analitics. Natomiast Scopus tworzona jest przez Elseviera, który jest jednocześnie wydawnictwem naukowym. Istotne jest to, że dwa kluczowe wskaźniki bibliometryczne, czyli SJR (SCImago Journal Rank) i SNIP (Source Normalized Impact per Paper), nie są tworzone przez Elseviera. O indeksowaniu decyduje Elsevier, ale już policzenie wskaźników jest realizowane we współpracy z zewnętrznymi podmiotami. Elsevier ma swój wskaźnik – CiteScore – ale nie zdobył on uznania badaczy. Ważne też jest to, że realnie nie ma w tej chwili alternatywy dla tych baz i że są one bardzo dobrze przebadane naukowo. Mamy zatem świadomość wszelkich odchyleń i wad tych baz. Na ich podstawie tych baz tworzone są rankingi akademickie, które powodują ogromne przepływy kapitału na całym świecie. To twórcom tych baz zależy na jakości danych. Gdyby pojawił się jakiś nowy, międzyrządowy projekt, to środowisko naukowe zapewne bardzo by się tym zainteresowało. Obawiam się jednak, że to jest trochę jak z otwartym oprogramowaniem: idea bardzo szczytna, wykorzystywana i przetwarzana w bardzo zaawansowanych rozwiązaniach serwerowych, ale jak przychodzi co do czego, użytkownicy instalują Windowsa albo korzystają z Maca. Niezawodność, wsparcie i stabilność tych systemów operacyjnych sprawiają, że właśnie takie oprogramowanie cieszy się największym powodzeniem. Ważną cechą tych komercyjnych baz jest transparentność, chociaż trzeba przyznać, że wciąż pewne elementy zasad doboru źródeł do indeksowania nie są jasno komunikowane. Tymczasem np. Google Scholar jest zupełnie nietransparentny. Naukowcy zajmujący się tą bazą nie wiedzą, jak jest tworzona, nie mają dostępu do pełnych danych, a twórcy GS nie kontaktują się ze środowiskiem naukowym. Inaczej jest z omawianymi bazami, które otwierają się na naukowców, aby ci potwierdzili jakość ich pracy. To leży oczywiście w ich interesie i jest zgodne z biznesowym nastawieniem. Jednakże dzięki temu możemy zobaczyć, co tak naprawdę reprezentują wartości wskaźników, których używamy w ewaluacji.

Nie padła dotychczas nazwa Thomson Reuters.

To firma, która do niedawna była właścicielem produktu stworzonego przez wspomniany Instytut Filadelfijski, ale od kilku lat baza należy do Clarivate Analytics.

Co to jest JCR, SNIP, SJR?

Pierwszy skrót to nazwa indeksu czasopism, a dwa pozostałe to skróty wskaźników bibliometrycznych wyliczanych na podstawie bazy Scopus. Dla polskiego naukowca JCR to tzw. część A „Wykazu czasopism punktowanych”, czyli lista wszystkich czasopism z impact factorem. Natomiast SNIP i SJR to wskaźniki bibliometryczne, których głównym założeniem było przezwyciężenie słabości impact factora poprzez normalizację, czyli takie zbudowanie tych wskaźników, aby można było porównywać między sobą czasopisma z różnych dyscyplin. Można zatem powiedzieć, że SNIP i SJR różnią się między sobą sposobem owej normalizacji, z tym że SNIP został stworzony przez badaczy w Uniwersytecie w Lejdzie, którzy mają ogromne doświadczenia w badaniach naukometrycznych.

Padła tu nazwa Uniwersytetu w Lejdzie, który tworzy ceniony przez niektórych ranking.

Na tym uniwersytecie znajduje się najsłynniejsza na świecie jednostka naukometryczna Centre for Science and Technology Studies, czyli CWTS. Tworzy ona narzędzie, bo trudno to nazwać rankingiem w sensie ścisłym, które umożliwia wybór wielu wskaźników. Interesuje nas, jak mają się uniwersytety w zakresie publikacji w pierwszym percentylu najlepszych czasopism i jak mają się do najlepszych publikacji z pierwszego percentyla. Dostajemy narzędzie, które umożliwia dobieranie parametrów i generowanie wielu różnych przekrojów, zamiast podawać gotową listę pierwszego tysiąca instytucji. To jest przydatne, bo jeżeli mamy np. mały uniwersytet w Polsce, to nie interesuje nas, jak się on ma do Harvardu, ale do podobnej instytucji w innych krajach czy, w danej dziedzinie, do podobnych instytucji na świecie. Dlatego to narzędzie jest bardzo cenione. Poprawna interpretacja otrzymanych wyników wymaga jednak pewnego treningu bibliometrycznego.

Użycie wskaźników bibliometrycznych niesie ze sobą pewne ryzyko.

Pierwsze polega na tym, że sprowadzamy całą działalność naukową do publikacji. Takie założenie trzeba przyjąć, żeby szybko powiedzieć cokolwiek ilościowo o nauce i do tego w taki sposób, aby było to zrozumiałe dla niespecjalistów (np. urzędników czy polityków). Drugim niebezpieczeństwem jest to, że wykorzystane przez nas bazy nie pokrywają istotnej części naszej twórczości naukowej, np. nie widzimy książek i rozdziałów w książkach, nie widzimy publikacji w wielu językach, mamy mocny przechył na publikacje anglojęzyczne. Innego rodzaju ograniczenia są istotne, jeżeli zechcemy budować politykę zachęt, np. w większości analiz nie widzimy, czy dane artykuły były publikowane tylko przez autorów z jednej instytucji, czy może współpraca obejmowała wiele ośrodków. Dochodzimy do szczegółów, które wymagają dalszych analiz. Bibliometria, mimo tych niebezpieczeństw czy skrzywień, jest często wykorzystywana, ale jako narzędzie wspomagające. Dla przykładu: chcemy mieć ocenę ekspercką, ale jeśli ekspert ma ocenić kilkadziesiąt osób, to narzędzia bibliometryczne pomogą mu w preselekcji.

Padło już pojęcie percentyla. Co to znaczy, dlaczego posługujemy się częścią bazy czy dorobku publikacyjnego?

Percentyle czy kwartyle często stosujemy w bibliometrii, ponieważ trzeba wyznaczyć część najlepszych publikacji indeksowanych w jakiejś bazie. Czwarty kwartyl to 25% wszystkich czasopism, które miały najniższą wartość jakiegoś wskaźnika bibliometrycznego. Po przeciwnej stronie jest 25% tych, które miały najwyższą wartość wskaźnika. Natomiast od pewnego momentu zaczynamy mówić o decylach lub percentylach, bo interesuje nas dokładniejsza granulacja wyników, np. trzeci percentyl czasopism, czyli patrzymy na trzy procent czasopism znajdujących się najwyżej w rankingu. To się stało popularne, bo w rankingach uniwersytetów brane są pod uwagę publikacje z pierwszego decyla, czyli publikowane w 10% najlepszych czasopism według danego wskaźnika bibliometrycznego.

Kiedy bibliometria pojawiała się w Polsce? Czy to jest koncepcja z ostatnich lat?

Bibliometria nie jest w naszej kulturze akademickiej ani nowa, ani niepopularna. Wraz z grupą badawczą prowadzimy na UAM bibliografię polskiej bibliometrii. Na styczeń 2019 roku mamy tysiąc czterysta publikacji polskich naukowców, w których wykorzystuje się metody bibliometryczne. Początek tego zjawiska sięga lat siedemdziesiątych, natomiast ogromny rozkwit bibliometrii – powyżej 40 prac rocznie – pojawia się około 2005-2006 roku. Mamy zatem około 15 lat intensywnego wykorzystywania bibliometrii. Obecnie ukazuje się rocznie około 120 artykułów i książek z tego zakresu.

Miałem też na myśli wykorzystanie bibliometrii do oceny nauki.

Zaczęło się to z pewnością w połowie lat 90. W latach 1990-91 wprowadzono pierwszy system ewaluacji nauki przez KBN, a już w latach 1994-95 toczyły się istotne dyskusje na temat wykorzystania bibliometrii w ocenie, aby zobiektywizować cały proces. Kluczową przyczyną wdrożenia bibliometrii do ewaluacji była chęć zobiektywizowania procesu, ponieważ ocena ekspercka tak dużej liczby jednostek naukowych nie była możliwa bez poważnych uchybień co do jej rzetelności.

Możemy powiedzieć, że mija właśnie ćwierć wieku stosowania bibliometrii do oceny nauki w Polsce. Bardzo dużo kontrowersji budzą listy wydawnictw i czasopism.

Zacznę od listy czasopism, gdyż ona funkcjonuje w Polsce od 1999 r., czyli od dwudziestu lat. Naukowcy przyzwyczaili się do tej listy, myślą o swoich publikacjach w kontekście czasopism z listy. Nie ma tu problemu jako takiego. Natomiast nowością jest wykaz wydawnictw naukowych, ale także nie do końca, ponieważ w latach 1997-2000 jeden z zespołów KBN – Zespół automatyki, robotyki i telekomunikacji – stworzył wykaz wydawnictw naukowych, które będzie uznawał w ocenie jednostek z tego obszaru. Teraz powstał wykaz ministerialny. Krytycy podnoszą to, że pewne wydawnictwa liczą się w ewaluacji, a inne nie. Polscy naukowcy w ciągu czterech lat poprzedniego okresu parametryzacyjnego opublikowali książki w blisko 3,5 tysiąca wydawnictw, z czego większość w małych oficynach. Wykaz wydawnictw naukowych po raz pierwszy rozgranicza wydawnictwa dobre od miernych. Dotychczas w ewaluacji braliśmy pod uwagę w zasadzie tylko objętość pracy, a tak naprawdę wierzyliśmy temu, co napisali sami naukowcy w sprawozdaniach. Nie miało znaczenia, czy książka została opublikowana na Stanfordzie czy w „Oficynie druki i pieczątki s.c.”. Teraz mamy sytuację zdecydowanie lepszą, gdyż rozgraniczamy najlepsze wydawnictwa od pozostałych. Sensem wykazu wydawnictw jest po pierwsze, by monografie w naukach humanistycznych i społecznych mogły uzyskać więcej punktów niż artykuły, bo przez ostatnie 20 lat było odwrotnie, a po drugie, aby ograniczyć praktykę publikowania czegokolwiek byle gdzie, a zwłaszcza ograniczyć selfpublishing w firmach krzakach, które robią wątpliwe naukowo i etycznie konferencje, i aby wykorzystać w ewaluacji pośredni wskaźnik jakości książki. I właśnie takim wskaźnikiem (często się mówi gatekeeperem ) jest wydawnictwo. Do tej pory nie miało znaczenia, czy ktoś książkę rzetelnie zrecenzował, czy też nie – liczyło się tylko, że naukowiec zadeklarował, iż publikacja była recenzowana. Krytyka wytoczona przeciwko wykazowi wydawnictw dotyczyła dwóch rzeczy. Najpierw tego, że znalazły się w nim czasopisma paranaukowe, które nie powinny się tam znaleźć. Jednak po odpowiedzi ministra na interpelacje poselską w tej sprawie każdy może sprawdzić, które wydawnictwa minister włączył do listy sam, a nie z inicjatywy zespołu doradczego, którym miałem zaszczyt kierować. Drugie ostrze krytyki dotyczyło ograniczenia podziału wykazu do dwóch poziomów. Moim zdaniem ta krytyka oraz sposoby naprawienia wykazu poprzez dodanie kolejnych poziomów pokazuje, że naukowcy zaakceptowali samą ideę dowartościowania wydawnictw, sprawdzenia, które są coś warte. Zatem zaakceptowali sam pomysł rangowania wydawnictw, a teraz nadszedł czas udoskonalenia prototypu. To jest normalny etap wdrażania nowego instrumentu polityki publicznej.

Czy lista 500 jest wyczerpująca, wystarczająca?

To zależy od celu polityki naukowej. Jeśli oczekujemy tego, że nie będziemy już drukować w zatrważającym tempie mnóstwa monografii, które nie są czytane, nie docierają do nikogo, to ta lista jest jednak zbyt szeroka. Z drugiej strony trzeba pamiętać, że wykaz ten używany będzie również w awansach naukowych, w szczególności w procedurach habilitacyjnych. Gdybyśmy zatem zrobili bardzo selektywną listę, wówczas zatrzymałby się proces reprodukcji pewnych dyscyplin. Niektórzy mogliby powiedzieć, że właśnie o to chodzi. Jednakże zarządzanie sektorem nauki nie może polegać na nagłym wywróceniu stolika i powiedzeniu, że od jutra w ogóle nie gracie w danej dyscyplinie. Rozwiązania powinny być stanowcze, ale wtedy muszą być komunikowane z wyprzedzeniem. Ważne natomiast jest to, że po raz pierwszy została wskazana grupa wydawnictw, w których na pewno warto publikować. To może motywować badaczy do wybrania lepszego miejsca publikacji. Intencją było zatem pokazanie naukowcom, gdzie, z punktu widzenia polityki naukowej, publikować. Wykaz nie może być katalogiem wszystkiego. Przygotowując wykaz, zrobiliśmy analizę, gdzie przez ostatnie cztery lata publikowali polscy naukowcy, i rzeczywiście są sytuacje, gdy ktoś opublikował jedną pracę w wydawnictwie spoza wykazu, ale to nie wpływa na całą sytuację ewaluacji jednostek, a jeśli to jest wybitna książka, to dany naukowiec bez problemu przekona recenzentów swojego dorobku o ważności tej pracy. Wykaz to narzędzie wykorzystywane na poziomie państwa. Zatem ma on ułatwić ocenę całych instytucji czy dyscyplin, a nie pojedynczych pracowników.

Jak się pan czuł jako szef „nieznanego zespołu”, który stworzył listę wydawnictw?

Podejmując się roli przewodniczenia temu zespołowi, zdawałem sobie sprawę, że spadnie na nas ogromna krytyka, jako na twórców – jak niektórzy mówią – opresyjnego instrumentu, choć myśmy w zasadzie tylko doradzali ministrowi. Rozmawiałem z osobami, które były w podobnej sytuacji w Hiszpanii, Belgii, Finlandii, Norwegii. Wiedziałem, co mnie czeka. Zdecydowałem się na to, bo wiem, że ten mechanizm, po udoskonaleniu go, będzie bardzo ważnym narzędziem oceny dyscyplin. Taki mechanizm działa w innych, cenionych przez nas krajach. Lista czasopism, do której przywykliśmy, też na początku budziła gorące spory i protesty. Można wyobrazić sobie inne sposoby tworzenia wykazów, ale trudno wyobrazić sobie dobrą i zbalansowaną ocenę bez wykazów. I nie wynika to z braku wyobraźni, lecz z istotnego ograniczenia: my, tj. polscy naukowcy, nie do końca ufamy sami sobie jako ekspertom i chcemy posiłkować się liczbami, które traktowane są przez nas jako neutralne i obiektywne wskaźniki. A przecież dobrze wiemy, że takimi nie są.

W innych krajach wyglądało to bardzo podobnie. Co ciekawe, w Finlandii wprowadzono trzy poziomy punktacji wydawnictw, ale się okazało, że jest to niemożliwe do utrzymania i następuje powrót do dwóch poziomów, czyli tak jak mamy teraz w Polsce. W zespole wykonaliśmy tytaniczną pracę i przedstawiliśmy ministrowi najlepszą możliwą propozycję wykazu wydawnictw. Potem minister, konsultując się ze środowiskiem, dodał inne oficyny, a dzięki interpelacji poselskiej każdy może poznać to, co zostało dodane.

W podejściu do bibliometrii środowisko akademickie jest podzielone wedle kryterium pokoleniowego: młodzi za, starsi przeciw. Czy w polskiej nauce istnieje konflikt pokoleń?

Raczej konflikt tych, którzy mają wysokie wskaźniki bibliometryczne i tych, którzy tak wysokich wskaźników nie osiągają. Natomiast doświadczenia z pracy w Radzie Młodych Naukowców pokazały mi, że młode pokolenie jest zdecydowanym zwolennikiem wskaźników bibliometrycznych ze względu na ich zobiektywizowany charakter. Już nie można powiedzieć, że ktoś niczego sobą nie reprezentuje, bo ktoś inny, starszy, tak twierdzi. Punkty i parametry są wysoko cenione. Dziekani krytykują parametryzację w sposób absolutny – właśnie prowadzimy badania na ten temat. Gdy jednak zadajemy pytanie, jaki system ewaluacji byłby lepszy, to podają nowe rozwiązania, ale wszystkie są oparte na parametrach ilościowych, tylko inaczej zbudowanych. Zatem krytykuje się nie tyle bibliometrię, ile raczej zbyt mały wpływ na dobór wskaźników.

Czy możemy zmienić dobór wskaźników?

Tak. To jest decyzja polityczna. Podejmuje ją minister po konsultacji ze środowiskiem naukowym. Te wskaźniki nie są – albo raczej – nie powinny być dobierane na chybił-trafił, ale w celu realizacji określonej polityki naukowej.

Jest pan autorem niezwykle popularnego bloga akademickiego.

Tematyka wyłoniła się sama w chwili, gdy zacząłem wkraczać w profesjonalną akademię, gdy zauważyłem, że moi starsi koledzy nie są mi w stanie wyjaśnić wielu spraw związanych z codzienną pracą, jak publikowanie, składanie wniosków grantowych. Bardzo często krytykowałem ministerstwo za pewne rozwiązania i wskazywałem sposoby zmiany ewaluacji. W momencie gdy stanąłem po drugiej stronie, czyli dołączyłem do grona doradców w ministerstwie, zacząłem być traktowany jako człowiek, który stanął po ciemnej stronie mocy.

Ten blog prowadzi pan dla czystej satysfakcji?

Tak. Widzę, że pewne rzeczy udaje się zmienić, że pomagam ludziom: młodym badaczom w pisaniu artykułów naukowych czy dziekanom w rozwikłaniu meandrów sprawozdawczości.

Czy publikując dane bibliometryczne kandydatów do Rady Doskonałości Naukowej, chciał pan wpłynąć na rzeczywistość?

Nie miałem złudzeń, że mogę wpłynąć na wyniki wyborów, natomiast chciałem pokazać, że nawet jeśli będziemy krytykować ministerstwo, że nie zawiesza wysokich poprzeczek, to jednak samo środowisko wybiera do oceny swoich dokonań ludzi, którzy sami takich dokonań nie mają. Nie trafia do mnie argument, że starsi profesorowie funkcjonowali w innej rzeczywistości, ponieważ są inni starsi, którzy w tych samych dziedzinach mają dobry, rozpoznawalny dorobek. Decydowanie o awansach naukowych jest niezwykle odpowiedzialnym zadaniem. Dlatego chciałem pokazać, kogo zarekomendowaliśmy na sędziów naszego dorobku. Trzeba się z pewnością zastanowić, czy w kolejnych nowelizacjach ustawy nie powinny się pojawić dodatkowe kryteria członkostwa w tego typu organach co Rada Doskonałości Naukowej, tak jak było to wielokrotnie sugerowane w konsultacjach w ramach Narodowego Kongresu Nauki.

Rozmawiał Piotr Kieraciński