Pierwsze kroki ku ewaluacji jakości nauki
Do ważnych zadań Komisji Ewaluacji Nauki należy sporządzanie wykazów wydawnictw monografii naukowych oraz czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych. Wykaz czasopism naukowych oraz recenzowanych materiałów z konferencji międzynarodowych stanowi jeden z filarów ewaluacji jakości działalności naukowej, którą Komisja Ewaluacji Nauki przeprowadzi w roku 2021.
Po raz pierwszy w historii ewaluacji osiągnięć naukowych w Polsce wykaz czasopism punktowanych był tworzony przez szerokie środowisko naukowe, którego reprezentację stanowiły 44 zespoły dokonujące oceny czasopism w poszczególnych dyscyplinach nauki. Aktualny wykaz obejmuje przede wszystkim czasopisma zarejestrowane w międzynarodowych bazach danych, takich jak: Scopus, Science Citation Index Expanded, Social Sciences Citation Index, Arts & Humanities Citation Index czy Emerging Sources Citation Index. Ponadto w wykazie uwzględniono czasopisma naukowe, które uzyskały grant w ministerialnym programie WCN (wsparcie dla czasopism naukowych). Uwzględniono w nim także wskazane przez zespoły czasopisma z bazy European Reference Index for the Humanities and Social Sciences (ERIH+), posiadające międzynarodową renomę i wykazujące znaczący wpływ na rozwój dyscypliny naukowej. Aby ocena czasopism miała charakter obiektywny, wykorzystano wskaźniki bibliometryczne pochodzące z dwóch największych międzynarodowych baz danych: Scopus oraz Web of Science, takie jak: Source Normalized Impact per Paper, CiteScore, Scimago Journal Rank czy też Journal Impact Factor, Article Influence oraz Category Normalized Citation Impact.
W poszczególnych dyscyplinach nauki reprezentowanych przez zespoły zostały przypisane czasopismom punkty w zakresie od 20 do 200, na podstawie tzw. wartości centylowej. W znakomitej większości przypadków – zgodnie z obowiązującym rozporządzeniem ministra nauki i szkolnictwa wyższego w sprawie sporządzania wykazów wydawnictw monografii naukowych oraz czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych – ostateczna punktacja danego czasopisma została wyznaczona na podstawie średniej arytmetycznej uwzględniającej przypisane w poszczególnych dyscyplinach wartości punktowe. Czasopismom z programu WCN oraz z bazy ERIH+ przypisano wstępnie 20 pkt. Warto także podkreślić, iż zespoły dyscyplinowe miały możliwość zaproponowania zmiany liczby punktów przypisanych periodykowi w danej dyscyplinie nauki, jednak nie więcej niż o dwa poziomy w górę lub w dół.
Komisja Ewaluacji Nauki – działając zgodnie z rozporządzeniem MNiSW – na podstawie przygotowanych przez zespoły uzasadnień zweryfikowała proponowane przez zespoły czasopisma z listy ERIH+ (niemal 1000 czasopism), dokonała pogłębionej analizy wybranych czasopism, dla których zespoły zaproponowały zmianę punktacji (ponad 2 tysiące czasopism) oraz przeprowadziła od podstaw ewaluację tych czasopism, dla których różnica wartości przypisanych punktów w poszczególnych dyscyplinach przekraczała dwa progi punktowe (nieco ponad 700 czasopism). W tym ostatnim przypadku komisja wyszła naprzeciw postulatom środowiska naukowego i wyznaczyła ostateczną punktację na podstawie średniej ważonej, przypisując dyscyplinie wiodącej dla danego czasopisma wagę równą 75%. Ostatecznie Komisja Ewaluacji Nauki zaakceptowała w ponad 85% przypadków bez zmian punktację zaproponowaną przez zespoły. Spośród pozostałych niespełna 15% przypadków, które komisja – zgodnie z rozporządzeniem MNiSW – poddała pogłębionej analizie, znacząca większość decyzji zespołów została również zaakceptowana. Komisja dokonała wreszcie analizy proponowanej przez zespoły punktacji recenzowanych materiałów z konferencji międzynarodowych. Także w tym zakresie ingerowała w stosunkowo niewielkiej liczbie uzasadnionych przypadków. Wykaz czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych jest więc przede wszystkim wynikiem pracy 44 zespołów eksperckich, reprezentujących szerokie środowisko naukowe w Polsce.
Wychodząc jeszcze dalej naprzeciw postulatom środowiska naukowego, Komisja Ewaluacji Nauki poparła pomysł ponownego wyznaczenia za pomocą algorytmu średniej ważonej ostatecznej punktacji tych czasopism, dla których różnica wartości przypisanych punktów w poszczególnych dyscyplinach wyniosła dwa progi punktowe (około 2300 czasopism). KEN stoi bowiem na stanowisku, że wyznaczenie średniej arytmetycznej dla tych czasopism nie było właściwe, ponieważ pomijało rzeczywistą wagę dyscyplin nauki w profilu danego czasopisma. Warto zauważyć, że wyznaczenie średniej ważonej wymaga w pierwszym rzędzie wskazania dyscypliny wiodącej w danym czasopiśmie. Komisja poparła również ideę uproszczonej procedury, która umożliwia dokonanie przez KEN oceny tych czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych, które zostały w ostatnim czasie ujęte w międzynarodowych bazach danych. Ten problem był podnoszony przez liczne środowiska naukowe w kontekście polskich czasopism naukowych, które zostały ostatnio wpisane do bazy Scopus lub do jednej z baz wchodzących w skład bazy bibliograficznej Web of Science. Warto wreszcie zauważyć, że w chwili obecnej trwa uzupełnianie wykazu wydawnictw recenzowanych monografii naukowych na podstawie informacji nadesłanych przez zainteresowane wykazem środowiska. Obydwa wykazy – wydawnictw recenzowanych monografii naukowych oraz czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych – będą stanowiły solidny fundament w procesie ewaluacji jakości działalności naukowej, którego algorytmy są aktualnie rozwijane we współpracy z OPI.
Dodaj komentarz
Komentarze