Naukometria to dział naukoznawstwa praktycznego, który dostarczył nam wiele narzędzi do oceny efektów pracy naukowej, takich jak współczynnik wpływu IF, służący np. do pomiaru jakości czasopisma naukowego, h-indeks, powszechnie wykorzystywany do porównywania naukowców, czy też rankingi, np. lista szanghajska, która stanowi światowy wyznacznik poziomu naukowego uniwersytetów. Wzrastające zainteresowanie kwantyfikacją nauki doprowadziło równocześnie do jej kontestacji, w tym do ogłoszenia w „Nature” w 2015 roku tzw. manifestu z Leiden, stanowiącego zbiór dobrych praktyk oceny parametrycznej badaczy i grup. Manifest z Leiden zwraca między innymi uwagę na to, że ewaluacja indywidualna osób powinna uwzględniać ocenę jakościową badań, a nie wyłącznie miary ilościowe.

Jednak pomimo gorącej dyskusji na ten temat w środowisku naukowym do tej pory nie przyjęto innej, powszechnie uznawanej miary do oceny indywidualnej naukowców poza indeksem Hirscha. W porównaniu do h-indeksu, współczynnik wpływu czasopism umożliwia łatwą i szybką ocenę naukowca, bez konieczności czekania na pojawienie się bezpośrednich cytowań jego prac, także nie faworyzuje naukowców z dużym stażem.

Poza porównywaniem naukowców, czasopism i ośrodków badawczych istnieje jeszcze jeden aspekt, którym są zainteresowane instytucje finansujące naukę – wymierne efekty nauki oraz jej efektywność. W szczególności instytucje publiczne zainteresowane są zobiektywizowanymi miarami, dzięki którym mogłyby dokonywać oceny projektów badawczych do sfinansowania. Oczywiście takie instytucje chcą osiągnąć jak największe efekty badawcze przy zadanych środkach finansowych, a także mieć możliwość oceny prowadzenia określonych polityk, np. wsparcia wybranych kierunków badań czy współpracy międzynarodowej.

Co to jest WEIG?

Wychodząc naprzeciw tym oczekiwaniom, proponujemy zastosowanie miary oceny efektywności projektów badawczych, którą nazwaliśmy Wroclaw Effectiveness Indicator for Grants (WEIG). Określa ona sumaryczną wartość wskaźnika wpływu IF publikacji powstałych ze wsparciem grantów badawczych przypadającą na 1 milion PLN wartości tych grantów, tj. IF/1mPLN. Innymi słowy, WEIG mierzy hipotetyczną wartość IF publikacji związanych z zainwestowaniem 1 miliona zł w dany typ grantów, danego naukowca-kierownika czy dziedzinę nauki. Miara ta umożliwia więc ocenę zmian efektywności w czasie, porównywanie między sobą poszczególnych grantów, kierowników grantów, jednostek badawczych, jak również obszarów, dziedzin i dyscyplin naukowych, w tym również zdefiniowanych paneli dziedzinowych stosowanych przez Narodowe Centrum Nauki.

Do obliczenia wskaźnika WEIG posłużyliśmy się dwoma zbiorami danych: ogólnie dostępnymi informacjami o grantach udostępnionymi przez Narodowe Centrum Nauki (w tym o efektach w postaci publikacji) – https://projekty.ncn.gov.pl/ oraz danymi z Web of Science (WoS). Biorąc pod uwagę długość realizacji grantów (zwykle 3 lata) i czas od ogłoszenia konkursu do startu projektów (zwykle ok. 1 roku) do analiz wzięliśmy projekty z konkursów ogłoszonych w latach 2011-2013.

I co uzyskaliśmy? Otóż przy porównaniu median oraz dolnych i górych kwartyli w latach 2011-2012 występowały dość duże rozbieżności w wynikach pozyskanych z serwisu NCN, które wyraźnie zmniejszyły się w 2013 roku. Prawdopodbnie wynika to z niedoskonałości danych NCN, m.in. z powodu braku list publikacji dla niektórych projektów (np. Opus 2 w panelu ST6) czy też złych wartości IF (brak przecinka lub wpisywanie punktacji czasopisma zamiast jego IF). W efekcie zdecydowaliśmy się na połączenie danych z serwisu NCN z bazą WoS, korzystając z wyszczególnienia numeru projektu w podziękowaniach (Acknowledgement ) w treści publikacji. Dodatkowo zauważyliśmy, że w bazach NCN raportowane były artykuły, które w istocie nie miały odpowiedniej informacji o finansowaniu (Wykres 1).

Uznaliśmy więc, że Web of Science jest wiarygodniejszym źródłem danych, zwłaszcza w przypadku projektów zakończonych do 2012 roku. Dlatego też na nim przeprowadziliśmy analizy wskaźnika wrocławskiego. Na Wykresie 2 przedstawiono wartość wskaźnika WEIG dla poszczególnych paneli dziedzinowych w kolejnych latach, tj. dolny i górny kwartyl (wąsy), medianę (kwadrat) oraz średnią (trójkąt).

W pierwszej kolejności należy zauważyć, że zaproponowany wrocławski wskaźnik WEIG wyraźnie nie pozwala nam na ocenę nauk humanistycznych. Wynika to z przyjętego miernika efektu – współczynnika wpływu IF, który silnie preferuje czasopisma anglojęzyczne oraz nauki niehumanistyczne. Dlatego w naszej opinii nie powinno się stosować takiej miary efektywności projektów badawczych do nauk humanistycznych, społecznych i o sztuce.

Należy także podkreślić, że generalnie trudno porównywać między sobą dwa różne panele. Rozbieżności pomiędzy panelami mogą wynikać nie tylko z różnic w efektywności prowadzenia grantów, ale także z tego, jakie przeciętne wartości IF posiadają czasopisma w danej dziedzinie. Ponadto w takich panelach jak np. astronomia i badania kosmiczne (ST9) wiele artykułów powstaje przy udziale licznego grona współautorów, którzy zwykle mają swoje własne źródła finansowania, co stawia pytanie, na ile finansowanie z NCN przyczyniło się do powstania danego efektu w postaci artykułu.

Niemniej jednak wrocławski wskaźnik WEIG można wykorzystać do oceny zmian efektywności w czasie. Dlatego też skupiliśmy się na sprawdzeniu, jak zmieniały się pozycje poszczególnych paneli dziedzinowych w rankingu median (a w przypadku „remisu” – średnich), skupiając się na zmianach wynoszących co najmniej 3 pozycje rankingowe w latach 2011-2013 (patrz Wykres 2 i liczby nad danymi w roku 2013). I tak najmocniej rosnącymi w rankingu paneli były kolejno: NZ7 (nauki o lekach i zdrowie publiczne), ST6 (informatyka i technologie informacyjne), ST8 (inżynieria procesów i produkcji) oraz NZ5 (choroby niezakaźne ludzi i zwierząt).

W tym samym czasie finansowanie projektów w panelu NZ7 wzrosło o prawie 14%, zaś w panelach NZ5, ST6, ST8 i NZ5 spadło odpowiednio o 38%, o 29% i 27%. Ogólnie finansowanie wszystkich projektów zmalało o około 10%. Na Wykresie 3 oraz w Tabeli 1 można odnaleźć szczegółowe dane na temat finansowania paneli. Należy zwrócić uwagę, że oczekiwanym efektem spadku finansowania danego panelu powinien być raczej wzrost jego efektywności (w związku z większą selektywnością projektów) a wraz ze wzrostem finansowania – spadek efektywności.

Do czego służy wskaźnik

Upublicznienie wartości wrocławskiego wskaźnika WEIG do poszczególnych paneli i konkursów, a nawet poszczególnych zakończonych projektów może być ważną informacją dla wszystkich kierowników projektów umożliwiającą umiejscowienie własnego projektu na tle innych, podobnych (np. w tym samym panelu i rodzaju konkursu). Ponieważ obecnie NCN dużo skrupulatniej monitoruje i sprawdza raporty, w tym umiejscowienie podziękowań, dla kolejnych lat można by wykorzystywać dane z raportów końcowych NCN, przy czym zdarza się, że odpowiednie podziękowania dla NCN są wymieniane także w pracach publikowanych nawet kilka lat po zakończeniu projektu.

Wrocławski wskaźnik efektywności grantów WEIG może być wykorzystany do porównania między rodzajami konkursów, jak również w kontekście międzynarodowym, tj. efektywności grantów europejskich, bilateralnych czy efektywności polskich badań w porównaniu do badań wspieranych przez zagraniczne agencje, takie jak NSF (USA), DFG (Niemcy), EPSRC (Wielka Brytania) czy GACR (Czechy) lub UE. Możliwe jest nawet porównanie wskaźników WEIG dla poszczególnych paneli grantów NCN z grantami ERC (European Research Council), gdyż obie agencje stosują te same panele. Wstępne badania wskazują większą efektywność grantów NCN.

Wskaźnik WEIG (IF/1mPLN) mógłby być używany do oceny realizacji zakończonych projektów, co już obecnie ma wpływ na ocenę kolejnych wniosków danego kierownika.

Powyższa analiza jest przykładem wykorzystania typowych statystyk i tworzenia nowych miar w celu porównywania złożonych obiektów, które są częścią dynamicznie rozwijającej się interdyscyplinarnej dziedziny, danologii, czyli nauki o danych (data science ).