Wyniki ministerialnej kategoryzacji placówek badań medycznych napełniły mnie niemałym zdumieniem, rezygnacją i zwątpieniem w swoje zdrowe zmysły. Nie najlepsze jednostki okazały się bowiem najlepszymi, a najlepsze zajęły dalsze pozycje. Postanowiłem jednak przeanalizować ten ranking punkt po punkcie, używając do tego celu również statystyki.

Na tej podstawie wydaje się, że nauka w naszym kraju bawi częściowo w rzeczywistości wirtualnej. Czy w normalnej codzienności można sobie wyobrazić, aby np. po sezonie rozgrywek ligi piłki nożnej ktoś ogłosił, że o kolejności drużyn decydują zasady stosowane w piłce ręcznej? Jest to niemożliwe, ale w wirtualnej rzeczywistości naszej nauki (to taka rzeczywistość, w której każdy ma np. trzy życia i przenika przez ściany) tak się właśnie stało. Warunki rankingu dotyczyły bowiem poprzedniego czterolecia, kiedy nikt nie wiedział, jakie będą zasady.

Dzielenie biedy

Podstawą rankingu była: a) aktywność jednostki naukowej, b) jej działalność naukowa, c) zastosowania praktyczne tej działalności. Aktywność naukowa mierzona była m.in. liczbą zdobytych stopni naukowych. Jest to łatwo sprawdzalne i tutaj ranking trzymał się rzeczywistości. W punkcie b), w którym chodziło o jakość pracy naukowej mierzonej poprzez odpowiedniki impact factor prac, które jednostka opublikowała, w stosunku do liczby jej pracowników naukowych, świat wirtualny dawał o sobie znać. Okazało się, że jednostki naukowe nie wiedzą, ilu mają pracowników (pomyłki dochodziły do 50 proc.!), nie wiedzą, co to jest publikacja naukowa, radośnie zaliczając do niej abstrakty prac czy komunikaty zjazdowe. Na szczęście, w dobie powszechnego dostępu do Internetu i przez to do całej informacji naukowej, punkt ten był łatwy do zweryfikowania i w końcu poprawnie zrealizowany. Tutaj świat wirtualny przegrał. Dał jednak o sobie znać w punkcie c), gdzie wpisywano dość dowolne i trudne do zweryfikowania dane. Punkt ten miał znaczny wpływ na ostateczne wyniki rankingu, on to bowiem spowodował, że jednostki nie najlepsze stały się najlepszymi.

Ostateczne wyniki zostały ocenione przez komitety naukowe. Nie byłoby w tym nic dziwnego, gdyby ich członkowie nie pracowali w ocenianych jednostkach. Czy można sobie wyobrazić sędziego, który rozstrzyga w sprawie swojej własnej czy najbliższej rodziny? Gigantyczny konflikt interesów okazał się tu nieunikniony i oczywisty. Nie było w tym winy członków komitetów, których wybierano w powszechnym głosowaniu, bo to ministerstwo postawiło ich w roli sędziów. Wirtualny świat nauki dał o sobie znać w tym punkcie z całą mocą. W efekcie 50 proc. placówek w dziedzinie nauk medycznych zostało zaliczonych do pierwszej (najwyżej ocenianej) grupy. Podobnie stało się w innych dziedzinach nauki. W efekcie tego podejścia, jednostki rzeczywiście najlepsze w pierwszej grupie rankingu dostały tyle samo pieniędzy, co poprzednio, a liczne jednostki z „ogona” tej grupy nawet 2 czy 3 razy więcej niż w latach poprzednich. Typowe socjalistyczne dzielenie biedy po równo, całkowicie zaprzeczające idei rankingu, który miał wyłonić najlepsze jednostki i lepiej je dofinansować. Ta słuszna idea w wirtualnej rzeczywistości została kompletnie wypaczona.

Przeprowadzona analiza statystyczna rankingu ku mojemu zdumieniu wykazała, że uzyskano zupełnie sensowne wyniki. Analiza dystrybucji pokazała istnienie bimodalnej krzywej, z medianą = 1,48 proc., 25 proc. otrzymało punktację < 1,07 proc., a 25 proc. < 1,876 proc. Okazało się zatem, że nawet niedoskonale przeprowadzony ranking dał w efekcie ciekawe wyniki, które powinny doprowadzić do wyodrębnienia grupy 7 jednostek w kategorii 1, 13 w kategorii 2, 11 w kategorii 3, 10 w kategorii 4 i 20 w ostatniej (patrz: wykres A). Świat wirtualny jest przedstawiony na wykresie B i odzwierciedla rzeczywiste wyniki rankingu. Widać tutaj całkowitą dowolność w dzieleniu jednostek na grupy, z ogromną skłonnością do zaliczania ich do grupy pierwszej. Okazało się, że z 61 jednostek blisko połowa (29) została sklasyfikowana w kategorii 1, tj. jednostek najlepszych, 10 zaliczono do kategorii 2, 9 do 3, 10 do 4 i 3 do 5. Powodowało to duże rozproszenie i zmniejszenie finansowania jednostek najlepszych, a w kategorii 1 znalazły się jednostki jakościowo bardzo różne. Efekt był zatem odwrotny do zamierzonego. Podobne proporcje dotyczyły zresztą innych działów nauki.

Urealnić świat nauki

Co należy robić w przyszłości, by uniknąć takich błędów? Świat nauki należy urealnić. Po pierwsze, warunki rankingu muszą być znane w momencie rozpoczęcia. Tutaj ministerstwo poszło w dobrym kierunku i obecnie niektóre zasady (punktacja za publikacje) znane są już w połowie meczu. Po drugie, należy zrezygnować z punktacji za aktywność jednostki, jest ona wynikiem jej działalności naukowej. Po trzecie, działalność naukowa powinna być nadal oceniana według „punktów impaktowych czasopism”. Niestety, punktacja taka ocenia jedynie warsztat naukowy, zupełnie nie określa jakości pojedynczych publikacji, te z łatwością mogą być oceniane na podstawie współczynnika H (patrz: Hirsch J.E., PNAS, 2005, 102, 16569−72). Współczynnik H równy jest liczbie publikacji cytowanych co najmniej h razy. H = 30 oznacza, że 30. z kolei publikacja, jeżeli uszeregowane były one w kolejności uzyskanych cytowań, cytowana była nie mniej niż 30 razy. Współczynnik ten mierzony jest automatycznie w bazach Scopus czy ISI Web of Knowledge. Czas jego wyznaczania mierzony jest w sekundach i nadaje się znakomicie do oceny jakości publikacji pojedynczych naukowców, całych jednostek naukowych, dziedzin nauki, a nawet całych państw. Na przykład współczynnik H Polski za lata 2000−07 wynosi 122, Ukrainy 64, Szwecji 207. W przypadku uczelni można wprowadzić „poprawkę na nauczanie” – jeśli uczelnia poświęca na to 50 proc. czasu, to jej wynik za działalność naukową byłby mnożony przez 2.

Po czwarte, należy zrezygnować z wirtualnego punktu c), chyba że chodzi jedynie o jednostki zajmujące się działalnością praktyczną. Jednostki badawczo−rozwojowe powinny być oceniane wyłącznie na podstawie wyników w zakresie działalności praktycznej, która zdecydowanie nie powinna być miernikiem jakości pracy uczelni. Po piąte, do ustalania rankingu należy zatrudnić 2−3 niezależnych statystyków, którzy w ciągu miesiąca, za odpowiednim wynagrodzeniem, opracują wyniki rankingu w sposób zgodny z zasadami statystyki.