Potrzebujemy rankingów, ale jakich?
W nawiązaniu do publikacji rankingu osiągnięć naukowych uczelni polskich (FA 5/2013) chciałbym podzielić się kilkoma uwagami w trzech zasadniczych aspektach wspomnianego rankingu.
Pierwsza i najważniejsza uwaga dotyczy samej nazwy ranking i tytułu opublikowanego materiału. Śmiem twierdzić, że jest to ranking nie naukowy, ale bibliometryczny. Różnica jest zasadnicza. Otóż ów ranking, bardzo starannie przygotowany przez zespół prof. Janusza Gila, byłby rankingiem naukowym, gdyby obejmował wszystkie opublikowane, bądź w inny sposób udostępnione, efekty pracy naukowej prowadzonej w jednostkach badawczych (uczelniach wyższych) na terenie kraju (świata). Jednak tak nie jest, albowiem ranking oparty jest jedynie na danych o publikacjach dostępnych w bazie naukowej Web of Knowledge/Web of Science, która, mimo imponującej liczby rekordów, jest w pewien sposób ułomna, o czym bezpośrednio świadczy końcowy fragment artykułu, odnoszący się do niewielkiego stopnia uwzględnienia w bazie dorobku „nauk humanistycznych i społecznych”. Baza nie obejmuje danych na temat publikacji monografii naukowych, a w wielu dziedzinach nauk humanistycznych i społecznych tego typu publikacja jest podstawowym nośnikiem wiedzy i elementem dyskursu naukowego. Jestem przekonany, że celem autora opracowania i jego zespołu nie jest stawianie poza nawiasem nauki prac z zakresu chociażby historii, archeologii, socjologii, politologii, językoznawstwa, nauk prawnych itp. Proszę zauważyć, że nie chodzi tu o to, że czasopisma z tych dziedzin są dostępne w bazie Web of Knowledge/Web of Science i polscy badacze w nich publikują (niestety, nadal zbyt rzadko), ale o to, że monografie książkowe są tutaj równoprawnym medium komunikacji naukowej (w odróżnieniu od nauk ścisłych, technicznych i przyrodniczych).
Reasumując, wspomniana baza danych raportuje część wyniku z procesu badawczego komunikowanego światu, a tym samym wnioski dotyczące wyniku naukowego oparte na częściowej bazie są też jedynie częściowe. Stąd bardziej adekwatna nazwa to ranking bibliometryczny, oparty na tych danych, które są dostępne w bazie Web of Knowledge/Web of Science, a siłą rzeczy są to dane niezawodne dla dziedzin takich, jak: medycyna, fizyka, astronomia, chemia, nauki matematyczne, ścisłe, techniczne, biologiczne, ekonomiczne itp. Sprostowanie to jest o tyle istotne, że bez niego natychmiast prowokuje się przedstawicieli nauk humanistycznych i społecznych do obrażania się na jakiekolwiek próby kwantyfikacji oraz gremialnego i niesłusznego atakowania idei rankingów w ogóle. Rozumiem, że sformułowanie „ranking naukowy” stanowi swego rodzaju skrót myślowy, wymagający jednak korekty lub rozwinięcia.
Drobne różnice
Jak przystoi polemice dotyczącej kwestii naukowych, istnieje też empiryczny dowód na tezę sformułowaną powyżej. Otóż w publikacji FA zespół prof. Gila często odnosi swoje badanie do wieloaspektowego rankingu „Perspektyw” i wskazuje na różnice w pozycjach poszczególnych uczelni, zauważając, że najbardziej miarodajny i obiektywny w ocenie wydajności naukowej (a tym samym jakości) poszczególnych szkół wyższych jest jednak indeks Hirscha. Implicité, ranking FA jest bardziej obiektywny (lepszy?) niż ranking „Perspektyw”. Nic bardziej mylnego. W istocie oba rankingi niewiele się różnią; ranking FA - „naukowy”, daje identyczne wyniki jak agregacja kilku cząstkowych rankingów „Perspektyw” dotyczących liczby publikacji, cytowań oraz indeksu Hirscha dla kierunków ścisłych, technicznych, medycznych oraz nauk o życiu („Perspektywy” 5/135, maj 2013; str. 72-80). Nawet pobieżne porównanie wyników w tych kategoriach wykazuje uszeregowanie uczelni w niemal identycznym szyku, jak w FA. Liderami są: Uniwersytet Warszawski, Jagielloński, Wrocławski, Politechnika Warszawska, Wrocławska, Uniwersytet Mikołaja Kopernika czy Warszawski Uniwersytet Medyczny. Występują tylko drobne różnice oraz trudności metodologiczne przy porównaniu obu rankingów, bowiem w odróżnieniu od FA „Perspektywy” opierają się na bazie Scopus i nie podają danych bezwzględnych, ale porównawcze (lider danej kategorii otrzymuje wskaźnik 100). Co najważniejsze, podstawowym warunkiem otrzymania niemal identycznego wyniku w obu rankingach jest pominięcie danych z zakresu nauk humanistycznych i społecznych.
Nota bene, w okresie 2009-2012 na 17 048 wszystkich publikacji na wydziałach reprezentujących nauki humanistyczne i społeczne UAM w Poznaniu, jedynie około 0,5% znajduje się w bazie Web of Knowledge/Web of Science (sic!). Przy czym nie jest to wskaźnik dyskwalifikujący na tle innych uczelni, bowiem na 7 zakresów nauk humanistycznych wyróżnianych przez „Perspektywy” UAM zajmuje czterokrotnie pierwsze miejsce w kraju w kategorii indeks Hirscha (poza tym dwa razy miejsce 3 i raz 4).
Wydział bardziej miarodajny
Uwaga trzecia dotyczy dalszej części tytułu artykułu, a mianowicie terminu „uczelni”. Jeżeli bowiem porównamy dwie uczelnie tego samego typu, np. uniwersytety, z których jeden ma w swoim składzie cztery wydziały z dziedziny nauk o życiu (tj. medycyna, biologia), ścisłych i technicznych oraz cztery humanistyczno-społeczne, a jego konkurent ma więcej wydziałów w tej drugiej kategorii, to oczywiście ta pierwsza uczelnia ma duże szanse zdystansować rywala z powodu natury procesu publikowania wyniku badawczego opisanej powyżej. Czy w lepszy sposób uprawia naukę? Niekoniecznie, ma za to lepszy wynik bibliometryczny. Najzręczniej zatem i najbardziej adekwatnie byłoby przy okazji sporządzania rankingów afiliować autorów publikacji nie do ich macierzystych uczelni, ale do wydziałów, jako jednostek bardziej jednorodnych i tematycznie zdefiniowanych (chociaż i tu mamy do czynienia jedynie z bardziej przybliżoną jednorodnością). Wówczas w sposób bardziej miarodajny moglibyśmy porównać poszczególne jednostki (na kształt wzajemnego porównania w ramach jednorodnych grup wspólnej oceny Komitetu Ewaluacji Jednostek Naukowych). Oczywiście takie określenie afiliacji wymaga wielkiego wysiłku, a sami autorzy opracowania w FA podają przykłady trudności napotkanych już przy ujednolicaniu nazw poszczególnych uczelni w bazie.
Powyższe uwagi polemiczne nie mają absolutnie na celu krytykowanie zaproponowanego podejścia do kwantyfikacji wyniku badawczego. W pełnej rozciągłości podzielam przekonanie prof. Gila i członków jego zespołu, że z dużym prawdopodobieństwem artykuł opublikowany w czasopiśmie wyżej punktowanym będzie szerzej cytowany i zakomunikuje wyniki bardziej istotne dla danej dziedziny. Potrzebujemy rankingów jako punktów odniesienia (tzw. benchmarking) i mierników wysiłku włożonego przez poszczególnych autorów, potrzebujemy ich jako środka dopingu dla zaznaczenia postępu (regresu?) i relacji pomiędzy wynikiem badawczym a poniesionymi na niego nakładami. Do takich działań trzeba jednak przekonać przedstawicieli wszystkich dziedzin nauki (w tym nauk humanistycznych i społecznych), a przede wszystkim nikogo nie zniechęcać poprzez popełnianie, nawet niezamierzone, niestosowności terminologicznych. Poprawa jakości i międzynarodowej percepcji wyniku badawczego jednostek polskiego sektora nauki i szkolnictwa wyższego leży w naszym wspólnym interesie.
Komentarze
Tylko artykuły z ostatnich 12 miesięcy mogą być komentowane.