Marność parametryzacji

Jestem przeciwnikiem parametryzacji opartej na zbyt wyrafinowanych kryteriach. Można powiedzieć, że ktoś publikuje prace lub nie. To jest oczywiście pewien wskaźnik, mówiący o aktywności człowieka lub instytucji, ale jedynie na zasadzie: publikuje lub nie. Tak jest na całym świecie. Wszystkie bazy danych mają wyłącznie system zero-jedynkowy. Jest publikacja to jest jeden punkt, nie ma publikacji – jest zero punktów. Natomiast w naszym kraju od lat dziesięciu albo i więcej próbuje się wprowadzić paradoksalny system, mówiący o tym, że publikacja w jednym czasopiśmie daje tyle punktów, a w innym tyle. Abstrahując od tego, ile są warte te punktowane prace, jest to system niesłychanie wygodny dla biurokratów. Wystarczy bowiem znać ten magiczny numer czasopisma i sam biurokrata, który zwykle nic nie rozumie z tego, co w artykule jest opublikowane, mówi: “acha, to ta praca jest warta 3 punkty, a ta 5. Tragedią naszego systemu jest fakt, że wprowadzono to do ustawy i rozporządzeń.

Gdy w KBN robiliśmy pierwszą parametryzację w Polsce, była ona zero-jedynkowa. Jeżeli się publikowało, to był punkt, jeśli nie, było zero. Nie było żadnych impaktów i innych diabelskich wynalazków. Błąd obecny leży w tym, że zamiast liczyć efekt w postaci czy to publikacji, czy liczby cytowań, udziwniamy tę parametryzację w niespotykanym stopniu.

W moim działaniu, chęci przekazania środowisku informacji o tym, co się dzieje na świecie, użyłem kiedyś skrótu myślowego „lista filadelfijska”. Powiedziałem, że w bazach danych nie są uwzględniane wszystkie czasopisma na świecie, a tylko pewna ich liczba. Jeśli ktoś publikuje w czasopismach należących do tej listy, to ma jeden punkt, a jeżeli publikuje tę samą pracę w czasopiśmie spoza tej listy, nie ma punktu. To tak, jakby nie opublikował w ogóle. Wtedy, gdy podałem tę informację o praktykach stosowanych na świecie, w Polsce istniały setki zeszytów naukowych, biuletynów wewnętrznych i ludzie szczycili się tym, że tam publikują, choć nikt na świecie o tym nie wiedział i tego nie czytał. Chodziło mi zatem tylko i wyłącznie o pokazanie, że na świecie tego nie znają i nie czytają. Lista filadelfijska mówi tylko, że są czasopisma, które są na świecie znane i takie, o których nikt nie wie.

Ta pierwsza parametryzacja, sporządzona przez KBN, polegała na tym, że jak ktoś opublikował w czasopiśmie z tej ogromnej przecież listy, zawierającej wówczas około dziesięciu tysięcy czasopism, to liczyliśmy, że opublikował, a jeśli nie – to nie. Musimy wrócić do tego prostego sposobu oceny nauki. Dziś można dostać za publikację 40 punktów lub 8 bez żadnego związku z jakością pracy, z opinią środowiska o jej jakości. Im szybciej dojdziemy do normalności, tym lepiej. Mam nadzieję, że nowa minister nauki spróbuje wrócić do korzeni.

Nie ma jednak lepszej metody oceny nauki – czy to uczonych, czy czasopism, czy jednostek naukowych – niż peer review. Zrobiłem kiedyś dwa eksperymenty. Jeden polegał na tym, że poprosiłem dziekanów wydziałów fizyki oraz dyrektorów instytutów fizyki w Polsce, aby ocenili każdą jednostkę, przyznając jej odpowiednią kategorię. Potem na Komitecie Fizyki PAN, czyli w zupełnie innym środowisku, poprosiłem o to samo. Wyniki były niezwykle skorelowane. Dwie niezależne oceny peer review wykazały niezwykłą zbieżność. Jeżeli się zbierze grupę odpowiedzialnych ludzi w danej dziedzinie, np. dziesięć lub nieco więcej osób, i prosi o zrobienie kategoryzacji, to oni potrafią to zrobić przy zupełnie minimalnych kosztach i z wynikiem porównywalnym z tymi wszystkimi ocenami parametrycznymi. Okazało się, że wyniki tych wspomnianych ocen były też zbieżne z pierwszą, prostą oceną parametryczną, wykonaną przez KBN. Musimy wrócić do najprostszych metod oceny, bo w tej chwili wchodzimy coraz głębiej w maliny. W grudniu 2012 r. uchwalono tzw. Deklarację San Francisco (DORA), nawołującą do odejścia od stosowania impact factor w ocenie osiągnięć naukowych. Podpisało ją już ponad 400 instytucji badawczych i redakcji czasopism (w tym tak poważnych, jak np. „Science”) oraz ponad tysiąc naukowców. To jest informacja o tym, w jakim kierunku przy ocenach nauki idzie świat. Powinniśmy co najmniej brać to pod uwagę.