Kategoryzacja jednostek naukowych budzi wielkie emocje. Zanim nowo powołany Komitet Ewaluacji Jednostek Naukowych ogłosi nowe rankingi, które uradują jednych (kategoria A+) i zasmucą drugich, warto bez emocji przyjrzeć się właściwościom rozkładów, które niedługo zostaną wygenerowane przez KEJN.

Medaliści i cała reszta

Bez względu na algorytm stosowany do ewaluacji jednostek naukowych i abstrahując od tego, czy dotychczas stosowane algorytmy były właściwe, prawdopodobny rozkład punktacji będzie zbliżony do krzywej przedstawionej na rysunku. Tak było w poprzednich kategoryzacjach i nic nie wskazuje, aby tym razem miało się to zmienić. Rozkłady tego typu są znane od kilku pokoleń i występują w bardzo wielu dziedzinach, jak częstotliwość występowania słów w języku angielskim, ludność miast, przychody przedsiębiorstw, rankingi skoczków narciarskich i liczba cytowań publikacji naukowych. W zależności od badanej dziedziny mówi się o regule Pareto (80–20), rozkładach Zipfa itd.

Wspólne cechy tych rozkładów można opisać następująco. W czołówce rankingu występują znaczne różnice, natomiast na dalszych miejscach rankingu różnice są coraz mniejsze, zaś w pobliżu środka peletonu różnice są często zerowe lub w granicach błędu pomiaru. Na przykład Warszawa ma więcej mieszkańców niż Kraków i Łódź (drugie i trzecie miejsce) razem wzięte, natomiast pomiędzy dwusetnym, dwieście pierwszym i dwieście piątym miastem w Polsce pod względem liczby mieszkańców nie ma praktycznie żadnych różnic. Dlatego też dzieląc elementy (np. oceniane jednostki naukowe) uszeregowane według osiągniętego wyniku (patrz rysunek): A1>A2>…>Aω>B1>B2>…>Bω>C1>C2>… na kategorie A, B, C itd., musimy się liczyć z tym, że:

do tej samej kategorii zaliczymy elementy (np. A1 i Aω) które uzyskały bardzo różne wyniki; różnica między najsłabszym wynikiem w wyższej i najlepszym wynikiem w niższej kategorii (np. Aω i B1) będzie minimalna.

To z kolei spowoduje falę odwołań. Trudno się dziwić frustracji pracowników, a zwłaszcza kierownika jednostki B1, że nie znalazł się w kategorii A (także C1 w B itd.), ale decyzja raz podjęta powinna być ostateczna. Odwołanie zwykle oznacza, że wyniki różnych jednostek są obliczane według różnych algorytmów, co przeczy samej idei rankingu. Albo wprowadźmy ogólną zasadę, że wstępne wyniki podlegają weryfikacji przez samych zainteresowanych dokładnie w tych samych ramach czasowych i na tych samych zasadach dla wszystkich ocenianych jednostek. W przeciwnym razie o pozycji w rankingu będzie decydowała determinacja w walce o punkty za już zrealizowane prace, a rzeczywista jakość produkcji naukowej zejdzie na dalszy plan. Na przykład wystarczy (dzięki skutecznemu odwołaniu) wymóc na organizatorze rankingu dodanie paru czasopism do listy czasopism punktowanych (kryteria w dotychczasowych rankingach były dość dowolne), aby wywrócić tabelę, a przynajmniej środkową jej część, do góry nogami.

Całkiem sensownie problem ten jest rozwiązywany w sporcie, tzn. trzem najlepszym zawodnikom przyznaje się złoty, srebrny i brązowy medal (i duże sumy pieniędzy), a pozostali, czyli od 4. miejsca w dół, dostają znacznie mniej lub nic. Dzięki temu nie trzeba angażować sędziów i fotokomórek do pomiaru różnicy jednej tysięcznej sekundy między osiemnastym a dziewiętnastym zawodnikiem lub analizować hektolitrów moczu, by sprawdzić, czy zawodnicy ze środka stawki nie pomogli sobie za pomocą niedozwolonych środków. Wyobraźmy sobie zawody sportowe, w których na 100 startujących 30 pierwszym przyznaje się kategorię A, bez względu na to, czy ktoś zajął pierwsze czy 29. miejsce, trzydziestu kolejnym kategorię B, a pozostałym kategorię C.

Okno transferowe

Kolejny problem czy raczej retoryczne pytanie: jak wielkie jednostki powinno się oceniać? Czy powinny to być (jak dotąd) wydziały w uczelniach i instytuty PAN, czy np. katedry lub zakłady, czy wręcz poszczególni naukowcy? Rozkłady podobne do tego przedstawionego na rysunku występują zarówno w skali makro (Polska), jak i w skali mikro (wydział, zakład). Nawet na stosunkowo dobrych wydziałach są kiepskie zakłady, zaś w średnich jednostkach mogą być zakłady znakomite.

Uzależnienie finansowania od wyniku całego wydziału (instytutu) spowoduje uprzywilejowanie tych pierwszych i niedofinansowanie tych drugich przy braku realnej możliwości poprawy własnej pozycji przez poprawę jakości pracy naukowej. Zarówno wynik słabeusza w mocnej jednostce, jak i geniusza w słabej jednostce ma umiarkowany wpływ na wynik całej jednostki, natomiast nie słyszałem, aby dobry zakład ze słabej jednostki otrzymał propozycje przejścia do mocnej jednostki, na zasadzie analogicznej do skautingu, czyli kupowania obiecujących zawodników z drużyn z niższych klas rozgrywkowych przez czołowe kluby ekstraklasy.