Docenia znaczące publikacje
Dr hab. Natalia Letki z Uniwersytetu Warszawskiego, laureatka grantu ERC, rozpoczęła na swoim profilu na Facebooku dyskusję na temat listy czasopism. Jej wypowiedź z 7 sierpnia odbiega od wielu „ogólnie krytycznych” głosów. Uznaliśmy, że już choćby z tego powodu – a nie jest to jedyny powód – warto z nią zapoznać czytelników FA.
Ogłoszony ministerialny wykaz czasopism, jak pozostałe elementy reformy nauki i szkolnictwa wyższego, budzi spore kontrowersje. Wydaje się, że można je podzielić na następujące grupy:
1. Pretensje tych, którzy uważają, że cała ta gadanina o umiędzynarodowieniu i to, że artykuł w czołowym czasopiśmie międzynarodowym jest znaczniejszym elementem dorobku niż w czasopiśmie lokalnym, to kompletna bzdura, i że dobrze było tak, jak było. Te argumenty pozwalam sobie pominąć.
2. Wypowiedzi tych, którzy uważają, że proces był zmanipulowany i nieprzejrzysty, a tak w ogóle, to martwi ich to, że nie wiedzą, jak przebiegała praca zespołów. Te osoby pozwalam sobie odesłać do artykułu prof. Jacka Radwana z FA 6/2019. Dotyczy on nauk biologicznych, ale jest reprezentatywny również dla zespołu nauk o polityce i administracji i zapewne wielu innych. Może to pozwoli wyjaśnić część wątpliwości. (Redakcja FA proponuje też lekturę wypowiedzi prof. Marka Kornata w FA 7/8 – przedstawia on wyniki prac zespołu dyscypliny historia, a na str. 19 opinię o liście czasopism historycznych).
3. Zastrzeżenia tych, którzy uważają, że choć artykuł w czołowym czasopiśmie międzynarodowym to może rzeczywiście coś więcej niż w czasopiśmie krajowym, to jednak nie aż tak dużo więcej i dlatego punktacja jest nieadekwatna. Argumenty te koncentrują się na dolnej części wykazu. Pojawiają się tu argumenty typu „Wydawany od 1930 r. «Przegląd Socjologiczny» otrzymał 20 punktów, a równie renomowany «Polish Sociological Review» — 40 punktów. Anglojęzyczne (i raczej niszowe) «Porn Studies» otrzymało 70 punktów” (prof. Adam Leszczyński, portal oko.press). Takie argumenty wskazują na brak zrozumienia, co ma odzwierciedlać punktacja. Otóż zgodnie z przyjętą zasadą, punktacja ma odzwierciedlać wpływ czasopism (i publikowanych w nich prac) na naukę według wskaźników bibliometrycznych z baz WoS i Scopus. Zgodnie z (liberalnym) google.scholar „Porn Studies” w latach 2015-2018 miało wskaźnik ‘cites per paper’ na poziomie 5.14, „Polish Sociological Review” na poziomie 1.41, a „Przegląd Socjologiczny” – 0.85. Jest też oczywiste, że odwoływanie się do tego, że w poprzednim wykazie czasopisma miały inną punktację, jest bez sensu, ponieważ punktacja poprzedniego wykazu została uznana za nieodzwierciedlającą rzeczywistej pozycji poszczególnych czasopism.
Co więcej, w przypadku polskich czasopism mylone są dwa procesy: na liście nie znalazły się polskie czasopisma, które 1) nie są indeksowane w żadnej bazie międzynarodowej, 2) nie zakwalifikowały się do programu WCM. Miał on bardzo liberalne wymagania (np. by nie więcej niż 50% autorów publikujących w danym czasopiśmie miało taką afiliację, jak całe czasopismo (sic!)), a kwalifikacja do programu oparta była na recenzjach ekspertów pochodzących ze środowiska naukowego. (Nie)obecność różnych polskich czasopism na ogłoszonym właśnie wykazie nie jest więc efektem prac 44 zespołów ani ministerialnych machlojek, tylko wyniku konkursu WCM.
4. Zaniepokojenie tych, którzy zauważają, że polskie czasopisma o podobnym statusie mają radykalnie różną punktację. Co więcej, wysoka punktacja niektórych z nich rzeczywiście nie jest uzasadniona porównaniem pod względem bibliometrycznym z innymi czasopismami w tej kategorii punktowej w danej dyscyplinie. Przytaczanym szeroko przykładem są „Teksty Drugie” za 100 pkt. Czasopismo to jest przypisane do 4 dyscyplin: historii, literaturoznawstwa, nauki o kulturze i religii, nauk socjologicznych. Można spytać ekspertów zasiadających w zespołach zajmujących się tymi dyscyplinami, skąd tak wysoka punktacja. Można też spytać ekspertów KEN, czy nie należało jej skorygować. Można też zapytać ogólnie, czy występowanie takich „kwiatków” podważa zasadność całej listy (kilkadziesiąt tysięcy czasopism, po kilka tysięcy w dyscyplinie).
5. Zaniepokojenie ekspertów, że punktacja w wykazie w niektórych dyscyplinach odbiega od wersji, którą przygotowały ich zespoły. Wydaje się, że stało się tak dlatego, że w przypadku czasopism „wielodyscyplinowych”, przy których występowała duża rozbieżność w punktacji, KEN podjął decyzję o dyscyplinie wiodącej i to punktacja tej dyscypliny miała największą wagę przy obliczaniu punktacji końcowej. Być może było to słuszne podejście, ale zespoły eksperckie nie zostały poinformowane, że taka procedura zostanie zastosowana – miała być wyliczana punktacja uśredniona. Gdyby o tym wiedziały, to z pewnością zastosowałyby bardziej selektywne podejście do tego, które czasopisma przypisane są do ich dyscypliny. Konsekwencje takich decyzji KEN są szczególnie dotkliwe tam, gdzie czasopisma z dolnej części wykazu (np. za 70 pkt) otrzymują 200 pkt (bo taka była punktacja w dyscyplinie wiodącej). Powoduje to „wypchnięcie” z górnych 3% czasopisma, które jest jednym z kluczowych dla danej dyscypliny. Wydaje się, że powinno to się stać podstawową kwestią do korekty w przyszłych wersjach wykazu.
6. Upolitycznianie dyskusji nad narzędziem ewaluacyjnym jednostek, jakim ma być wykaz. Towarzyszy temu ośmieszanie ekspertów biorących w tym procesie udział i przedstawianie ich jako niekompetentnych, skorumpowanych i/lub zagubionych (np. „Cały proces ustalania punktacji był całkowicie nieprzejrzysty dla środowiska naukowego — w tym dla naukowców, którzy brali w nim udział”. „Członkowie zespołów (…) otrzymali 500 zł wynagrodzenia” – z artykułu oko.press). Należy przyznać, że ministerstwo nauki nie ułatwia podtrzymywania wizerunku wykazu jako rzetelnego, bezstronnego i kompetentnego narzędzia – zamiast zakazywać komunikacji i nakazywać zniszczenie dokumentów (czyt. też felieton Leszka Szarugi na str. 72 – red.), dobrze by było wyjaśnić zawiłości całego procesu i odpowiedzieć na stawiane przez środowisko pytania. Jeśli chodzi o brak przejrzystości procesu, ponownie odsyłam do tekstu prof. Radwana, a jeśli chodzi o kompetencje ekspertów – zapewne były różne. Wiemy, że są dyscypliny, które szczególnie cierpią na brak osiągnięć na poziomie międzynarodowym.
Podsumowując, wykaz nie jest – i chyba nie oczekiwano, że będzie – doskonały. Mimo pewnych istotnych niedociągnięć zdecydowanie docenia znaczące publikacje międzynarodowe w stosunku do publikacji lokalnych, i taki też był zamysł. Ma on pozwolić odróżnić jednostki, w których publikuje się średnio na poziomie 140-200 pkt. od tych za 100-140, 70-100 i mniej. Czy „Teksty Drugie” albo „Journal of Parapsychology” temu przeszkodzą? Moim zdaniem nie.