Publikacje wieloautorskie a wyniki kategoryzacji
Umiędzynarodowienie oznacza często włączenie się grupy naukowców z danego ośrodka do ponadnarodowej grupy badawczej, skupionej wokół dużego projektu lub eksperymentu i wniesienie wartości dodanej ściśle związanej ze specjalizacją tego ośrodka naukowego. Taka współpraca niesie ze sobą budowę międzynarodowej platformy współpracy i wymiany myśli naukowej. Jej konsekwencją jest odejście od publikowania wyników prac badawczych w postaci artykułów, których autorami jest kilku naukowców, na rzecz publikacji wieloautorskich, ujmujących wszystkich uczestników danego projektu lub eksperymentu, którzy wnieśli do niego jakąkolwiek kontrybucję.
W niektórych dziedzinach, np. naukach ścisłych, wieloośrodkowa współpraca naukowa, szczególnie ta międzynarodowa, rozwinęła się w ostatnich latach tak bardzo, że w jej wyniku coraz częściej można spotkać publikacje o liczbie autorów powyżej stu, a nawet tysiąca. Powstaje wtedy problem odpowiedniej oceny rzeczywistego wkładu poszczególnych autorów czy jednostek naukowych w tak powstałe osiągnięcia naukowe. Tym niemniej prace wieloautorskie są często bardzo znaczące dla rozwoju dyscyplin naukowych i wyznaczają nowe kierunki badań. Przykładowo, w dziedzinie astronomii pod koniec września 2018 r. cztery najwyżej cytowane artykuły z roku 2016 osiągnęły ponad tysiąc cytowań. Wszystkie te artykuły są wynikiem badań dużych, międzynarodowych konsorcjów naukowych (liczących powyżej 200 osób każde) i dotyczą kluczowych zagadnień współczesnej astrofizyki: obserwacji fal grawitacyjnych z koalescencji czarnych dziur oraz parametrów modeli inflacyjnych Wszechświata.
Prace wieloautorskie często osiągają dużą liczbę cytowań w stosunkowo krótkim czasie. Można jednak zauważyć, że w dłuższej perspektywie czasowej dużą liczbę cytowań uzyskują również prace o mniejszej liczbie autorów. Po przeszukaniu najczęściej cytowanych prac we wspomnianej astronomii z ostatnich 10 lat, znajdujemy ponad 81 prac z liczbą cytowań ponad tysiąc, a z nich aż 40% to prace z liczbą autorów do dziesięciu.
W 2017 roku przeprowadzono ewaluację i kategoryzację jednostek naukowych. Czy i w jakim stopniu prace wieloautorskie miały wpływ na wynik tej kategoryzacji? W jakich dyscyplinach najczęściej powstawały takie prace? Jakie zmiany można zauważyć na przestrzeni ubiegłych lat?
W ewaluacji z 2017 r. publikacje były oceniane w zależności od liczby autorów w sposób następujący: do 10 autorów włącznie – 100% punktów przypisanych według punktacji ministerialnej dla czasopisma, z którego artykuł pochodzi; powyżej 10 autorów: 100% punktów, gdy co najmniej 20% autorów było pracownikami danej jednostki; 75% punktów, gdy co najmniej 10% autorów było pracownikami jednostki; 50% punktów, gdy mniej niż 10% autorów pochodziło z jednostki. Generalnie, im większa była liczba autorów publikacji, tym mniejsza waga została im przypisana. Ponadto, z tą samą wagą zaliczano liczbę tych prac do limitu związanego z liczbą pracowników jednostki. Podczas kategoryzacji w roku 2013 zarówno punktacja za prace wieloautorskie, jak i ich ważenie podczas zliczania były identyczne, a zatem wyniki z tych dwóch procesów oceny jednostek mogą być bezpośrednio porównywane.
Analiza publikacji
Przeprowadzono obliczenia wkładu, jaki wniosły artykuły o punktacji 100%, 75% i 50% w całkowitą punktację jednostek naukowych za publikacje w czasopismach. Wkład ten liczono jako znormalizowany do jedności. Wzięto pod uwagę jedynie artykuły w czasopismach naukowych i prace konferencyjne, nie uwzględniano natomiast monografii. Wszelkie dane o publikacjach pochodzą z kart oceny jednostek naukowych, które bazowały na ankietach sporządzonych przez jednostki. Ponadto w analizie wyników uwzględniono jedynie te jednostki, którym zaliczono do oceny co najmniej 20 artykułów naukowych.
Okazuje się, że średni wkład do oceny jednostki artykułów z wagami 75% i 50% jest w różnych grupach nauk stosunkowo niewielki (Rys. 1., lewy panel) i maksymalnie osiąga 6% (nauki o życiu). Podobnie sytuacja wygląda w podziale na rodzaj jednostek naukowych (uczelnie, jednostki Polskiej Akademii Nauk, instytuty badawcze oraz inne jednostki). Tutaj również przytłaczający wkład do oceny stanowią prace o niewielkiej liczbie autorów lub z dużym udziałem autorów z jednostki, natomiast pozostałe (z wagami 75% i 50%) wnoszą średnio wkład w zakresie od 2% do 5% (Rys. 1, prawy panel).
Podobną analizę przeprowadzono w węższych grupach jednostek, tzw. grupach wspólnej oceny (GWO, Tabela 1.), które z założenia kumulują jednostki tego samego rodzaju, reprezentujące tę samą dyscyplinę lub grupę dyscyplin nauki (nie uwzględniano tzw. niejednorodnych jednostek naukowych). Spośród analizowanych 55 GWO tylko dla czterech sumaryczny wkład prac z punktacją 75% i 50% przekroczył 10% (nauki ścisłe i inżynierskie: SI1FA, SI2FA; nauki o życiu: NZ3M, NZ4B) i maksymalnie wyniósł 18% w SI1FA (fizyka i astronomia). Wydawać by się mogło, że problem prac wieloautorskich jest zatem mało istotny i występuje w ograniczonym zakresie w fizyce, astronomii oraz naukach o życiu.
Jednak w niektórych GWO ujawniają się znaczące różnice pomiędzy jednostkami wchodzącymi w ich skład (Tabela 1.). Niektóre GWO zawierają bowiem zarówno jednostki przedstawiające w swym dorobku prace o małej liczbie autorów (udział prac z wagą 75% i 50% jest wtedy bliski zeru), jak i jednostki, dla których prace wieloautorskie stanowią główny udział punktów za publikacje (prace za 75% i 50% wnoszą co najmniej 0,5). Taka sytuacja występuje w SI1FA, SI2FA i NZ1M.
Dla bliższego przyjrzenia się zjawisku współautorstwa prac naukowych dokonano analizy publikacji ze względu na bezwzględną liczbę autorów prac, dzieląc je na 8 kategorii: do 10 autorów włącznie, do 20 autorów (ale powyżej 10, czyli 11-20), do 50 (czyli 21-50), do 100 (czyli 51-100), do 200 (czyli 101-200), do 500 (czyli 201-500), do 1000 (czyli 501-1000) oraz ponad 1000 autorów. Następnie wyliczono wkład artykułów danej kategorii do całkowitej punktacji jednostki za publikacje naukowe. Dodatkowo obliczono średni współczynnik współautorstwa, liczony jak średnia z liczby autorów przypadających na jedną pracę. Podobnie wyliczono medianę tego współczynnika.
Ze wszystkich uwzględnionych w ewaluacji 2017 publikacji naukowych 29,3% było jednoautorskich, 17,2% miało dwóch autorów, a 13,1% – trzech. Do 10 autorów posiadało 93,3% wszystkich prac. Średni współczynnik współautorstwa wyniósł 27,8 (a jego mediana 3,0). W grupie nauk humanistycznych i społecznych (HS) oraz nauk o twórczości artystycznej (TA) średni współczynnik wspólnych prac wyniósł 1,7 (mediana 1,0), w naukach o życiu (NZ) 7,4 (mediana 5,0), a w naukach ścisłych i inżynierskich (SI) osiągnął on wartość 66,1 (ale jego mediana już tylko 3,0). Spośród wszystkich GWO tylko dla siedmiu z nich średni współczynnik współautorstwa był większy od 10. Dla dwóch GWO (SI2FA, SI1FA) przekroczył on wartość 300, jednak mediana osiągnęła maksymalnie wartość 8 (Tabela 1). Lepszy ogląd tych różnic daje przyjrzenie się rozkładom liczby autorów prac w poszczególnych jednostkach naukowych.
Dla większości (98%) jednostek prace o niewielkiej liczbie autorów (do 10) wniosły decydujący, co najmniej 70-procentowy wkład do całkowitej punktacji za publikacje naukowe. Dla pozostałych 15 jednostek ten wkład był mniejszy, a zwiększony był udział prac wieloautorskich (Rys. 2.). Dla pewnej grupy jednostek rozkład wkładu do punktacji jest wyraźnie bimodalny: oprócz lokalnego maksimum dla publikacji do 10 autorów, widoczne jest wyraźne zwiększenie udziału w punktacji za pośrednictwem prac z co najmniej 100 autorami, a więc pochodzącymi z dużych konsorcjów naukowych. W trzynastu takich jednostkach udział prac z drugiego maksimum wynosi ponad 10% w całkowitej punktacji i maksymalnie osiąga 62% (Rys. 2). Taki bimodalny rozkład wkładu prac wieloautorskich tłumaczy dużą wartość współczynnika współautorstwa nie tylko dla tych jednostek (w skrajnym przypadku przekraczając tysiąc), lecz również dla całych GWO, w których te jednostki występują (Tab. 1). Większość z tych trzynastu jednostek pochodzi z nauk ścisłych (GWO: SI1FA i SI2FA), a pojedyncze z nauk inżynierskich (SI1EA), nauk o życiu (NZ1M) oraz nauk humanistycznych i społecznych (HS1SP) (Rys. 2). W znakomitej większości jednostki te prezentowały bardzo wysoki poziom doskonałości naukowej we wszystkich aspektach ewaluacji w 2017 roku, co pozwoliło na uzyskanie przez nie kategorii naukowej A+ (dla 6 z nich) lub A (również dla 6 z nich).
Nasza analiza pokazuje, że w fizyce i astronomii główne konsorcja, z których pochodziły prace wieloautorskie (czasami liczące nawet ponad 1000 naukowców), to: ATLAS, CMS, LHCb i DELPHI, które związane są ze zderzaczem hadronów LHC w CERN; LIGO i VIRGO – związane z badaniami fal grawitacyjnych; H.E.S.S., CTA oraz Pierre Auger – związane z instrumentami do badań cząstek promieniowania kosmicznego wysokiej energii. Mniej liczne konsorcja naukowe, m.in. ZEUS i Belle w zakresie fizyki cząstek elementarnych, dostarczały prac wieloautorskich liczących 100-200 autorów. Podobne wieloautorskie prace powstawały w wyniku współpracy wielu innych grup badawczych, takich jak BCAC z zakresu medycyny.
Porównanie wyników ewaluacji 2013 i 2017
Przeprowadziliśmy analogiczną analizę prac wieloautorskich uwzględnionych w kategoryzacji w roku 2013. Z naszej analizy wynika, że aż 94,8% prac miało do 10 autorów, czyli o 1,5 punktu procentowego więcej niż w roku 2017. Wśród tych prac 33,5% stanowiły prace jednoautorskie, 19,3% miało dwóch autorów, a 13,2% – trzech autorów, czyli nieco więcej niż w 2017 roku (Tabela 2). Tendencję tę potwierdza średni współczynnik współautorstwa, który dla ogółu prac był mniejszy niż w roku 2017 i wyniósł 19,3, a jego mediana osiągnęła wartość 2,0, wobec 3,0 w roku 2017.
W poszczególnych grupach nauk wieloautorstwo mierzone średnim wkładem do oceny artykułów z wagami 75% i 50% było w roku 2013 niewielkie, maksymalnie osiągnęło 4% dla grupy NZ, a zatem o 2 punkty procentowe mniej niż w roku 2017. W pozostałych grupach nauk różnice pomiędzy kategoryzacjami były jeszcze mniejsze. Podobne konkluzje można wysnuć na podstawie średniego współczynnika wspólnych prac (Tabela 3).
Spośród różnych GWO tylko dla trzech średni wkład prac z punktacją 75% i 50% przekroczył 10% (SI1FA, SI2FA, NZ3M), a maksymalnie wyniósł 13% w SI1FA, czyli o 5 punktów procentowych mniej niż w roku 2017. Również tylko dla trzech GWO (SI3EG, SI1FA, SI2FA) średni współczynnik współautorstwa był większy od 10 i mieścił się w zakresie 180-244, a jego mediana osiągnęła największą wartość 7,0 dla SI2FA, czyli była o jeden mniejsza niż w 2017 roku (Tabela 1.). Wśród jednostek GWO SI3EG znalazło się Narodowe Centrum Badań Jądrowych, które w ewaluacji 2017 było uznane za jednostkę niejednorodną i nie było brane pod uwagę w naszej analizie. Jednostka ta, mając znaczący wkład prac powyżej 100 autorów, znacząco podwyższyła dla całej GWO średni współczynnik wieloautorstwa w kategoryzacji 2013 (Tabela 1).
Trzynaście jednostek, które w kategoryzacji 2017 pokazały największy wkład prac liczących ponad 100 autorów do całkowitej punktacji za publikacje, wykazało w kategoryzacji 2013 wkład nieco mniejszy, średnio o 13 punktów procentowych. Największe różnice, zaobserwowane dla czterech jednostek, mieściły się w zakresie 15-20 punktów procentowych. Zatem kategoryzacja przeprowadzona w roku 2013 dała wyniki bardzo podobne do tej z roku 2017, z tym że udział prac wieloautorskich w roku 2013 był nieco mniejszy. Tendencje te sugerują możliwość dalszego wzrostu liczby publikacji wieloautorskich w kolejnych latach.
Podsumowanie oceny publikacji wieloautorskich
W kontekście ewaluacji osiągnięć naukowych jednostek lub dyscyplin nauki mamy więc problem swoistej dwubiegunowości (struktura bimodalna) polegający na konieczności uwzględnienia w ewaluacji dwóch rodzajów publikacji: klasycznych, o liczbie autorów na ogół nieprzekraczającej 10, oraz wieloautorskich, o liczbie autorów przekraczającej 100. Pierwszy rodzaj publikacji dotyczy zwykle badań podstawowych, prowadzonych w mniejszych grupach badawczych lub indywidualnie, zaś drugi rodzaj publikacji dotyczy badań doświadczalnych i stosowanych, prowadzonych w ramach dużej współpracy międzynarodowej. Zarówno jeden, jak i drugi sposób prowadzenia badań ma swoje trwałe miejsce na mapie rozwoju dyscyplin naukowych w Europie i na świecie.
Z przeprowadzonej w artykule analizy wynika jednoznacznie, iż liczba prac jedno– lub dwuautorskich stopniowo maleje, natomiast liczba prac wieloautorskich systematycznie rośnie (szczególnie w naukach ścisłych i inżynierskich oraz naukach o życiu). Świadczy to o wzrastającej tendencji do włączania się naukowców do krajowych lub międzynarodowych grup skupionych wokół dużych projektów badawczych. W tym kontekście problem oceny artykułów wieloautorskich staje się jeszcze bardziej aktualny. Pojawiające się często w dyskusjach o ewaluacji uproszczone rozumowanie o dzieleniu punktów za publikację przez liczbę autorów, prowadzi do eksponowania małych grup badawczych i w pewnej mierze penalizuje współpracę międzynarodową. Z drugiej jednak strony przyjęcie w procesie kategoryzacji jednostek 2017 i 2013 minimalnej punktacji za publikacje wieloautorskie na poziomie 50% możliwych do uzyskania punktów wywołuje negatywne reakcje niektórych środowisk naukowych, które zauważają, że publikacja wieloautorska jest w gruncie rzeczy opracowana przez niewielką grupę najbardziej aktywnych badaczy, natomiast pozostali autorzy są „dopisywani” na mocy umowy o współpracy. Potrzebne jest zatem wyważone podejście, ujmujące opisany wyżej efekt dwubiegunowości (bimodalności) prac naukowych, premiujące rzeczywisty wkład autorów w dzieło naukowe, zarówno o małej (poniżej 10) jak i dużej (powyżej 100) liczbie autorów. Warto na koniec zauważyć, iż zaproponowane w przyszłej ewaluacji i kategoryzacji dyscyplin naukowych ograniczenie liczby sprawozdawanych osiągnięć przypadających na jednego pracownika w naturalny sposób zmniejszy możliwość przedstawiania przez pojedyncze osoby wysokiej liczby prac wieloautorskich pochodzących z dużych konsorcjów naukowych.
Dodaj komentarz
Komentarze