Punktoza to relatywnie nowa jednostka chorobowa. Osobniki nią owładnięte gotowe są sprowadzać ocenę osiągnięć naukowych niemal wyłącznie do tak czy inaczej rozumianej liczby zdobytych punktów. Dużo starszą i szerzej rozpowszechnioną jednostką chorobową jest ekspertoza. Nosiciele ekspertozy żyją w głębokim przekonaniu, że tylko eksperci są w stanie oceniać wyniki naukowe, oczywiście pod warunkiem, iż to nosiciel tej choroby lub ewentualnie jego koleżanka/kolega uznany zostanie za eksperta w danej dziedzinie.

Obie te jednostki chorobowe mogą być dla nauki szkodliwe, jeśli występują w dużym nasileniu. Zapewne wielu czytelników FA we wcześniejszej fazie swojej młodości naukowej zetknęło się z sytuacjami forowania pupilów przez szefa, mimo że inni jego podwładni również mieli ciekawe wyniki naukowe i to poparte wysokimi wskaźnikami bibliometrycznymi. Z drugiej strony, o szkodliwości skrajnej postaci punktozy świadczą przykłady karier naukowych opartych głównie na wynikach punktowych, za którymi kryje się wyłącznie talent do sprawnego opisywania przyczynkowych wyników.

Nie wydaje się właściwe leczenie ekspertozy wyłącznie za pomocą punktozy, chociaż sytuacje, w których dana osoba posiada wysokie wartości wielu wskaźników (IF, cytowań) i nie awansuje, powinny wzbudzać nasz niepokój. Podobnie zastanawiające powinny być przypadki awansu naukowego jedynie na podstawie ocen ekspertów (recenzentów), bez żadnego wsparcia wskaźnikami bibliometrycznymi.

Waga oceny punktowej

Na obecnym etapie rozwoju specjalizacji nauki nie mamy chyba odwrotu od stosowania równocześnie obu tych podejść: eksperckiego i bibliometrycznego. Wyrażamy też pogląd, że udział podejścia bibliometrycznego może być tym wyższy, im większa jest oceniana grupa uczonych. Na poziomie oceny wydziałów czy instytutów, które zatrudniają po kilkaset osób, wady podejścia bibliometrycznego maleją na skutek efektu uśredniania. Z drugiej strony, stosowanie oceny eksperckiej staje się w takich przypadkach tym trudniejsze, im większa jest oceniana jednostka naukowa. Nie bez znaczenia są także wysokie koszty i duża czasochłonność ocen eksperckich oraz obawy o ich stronniczość i niezbędny zakres kompetencji (KEJN w zakończonej właśnie kategoryzacji starannie dbał o to, by eksperci zespołów ewaluacji nie brali udziału w ocenie własnej jednostki, a odwołania rozpatrywali eksperci z innych jednostek, którzy nie uczestniczyli w pierwotnej fazie kategoryzacji. Nie zapobiegło to jednak wyrażanym niekiedy domniemaniom o stronniczości ekspertów. Ten czynnik powoduje, że skłaniamy się ku pozostawieniu niskich wag przy kryterium oceny eksperckiej).

Kierując się zbliżonymi do powyższych poglądami, Komitet Ewaluacji Jednostek Naukowych położył większy nacisk na punktową ocenę dorobku publikacyjnego jednostek (waga 0.65 dla jednostek podstawowych uczelni i instytutów PAN) niż na oceny eksperckie (waga 0.1 lub 0.15 w zależności od grupy nauk). Zanim przejdziemy do szczegółowej analizy danych zebranych w trakcie zakończonej oceny parametrycznej, warto poczynić jeszcze kilka uwag nieco ogólniejszej natury.

Trzeba zaznaczyć, że współczynnik IF i stworzona na jego bazie punktacja na liście A ministerstwa nie mierzą jakości konkretnego artykułu, choćby nawet ukazał się w czasopiśmie o IF = 30. Co zatem mierzy IF? Mierzy on średnią cytowalność artykułów z danego czasopisma. Dlaczego zatem KEJN stosuje punktację artykułów na podstawie IF (lista A) i list B i C, zamiast oceniać wkład konkretnego artykułu? Odpowiedź składa się z części merytorycznej i pragmatycznej. W części merytorycznej zauważyć trzeba, że jednak statystycznie artykuł opublikowany w czaspiśmie o IF = 13 ma znacznie większe prawdopodobieństwo odegrania ważkiej roli, niż praca z tej samej dziedziny, ale opublikowana w czasopismie o IF = 0.5, a przynajmniej będzie przejrzany przez znacznie większą liczbę osób. W pragmatycznej części odpowiedzi zaczniemy od stwierdzenia, że w ostatniej kategoryzacji jednostki wykazały około 87 tysięcy publikacji z listy A za lata 2009-2012. Ich merytoryczna ocena wymagałaby całej dywizji ekspertów. Przedstawiane były także pomysły indywidualizacji oceny konkretnego artykułu na bazie jego indywidualnej listy cytowań. Merytorycznie miernik ten byłby dość dobry, jednakże trzeba wziąć pod uwagę to, że dany artykuł zaczyna gromadzić cytowania zwykle najwcześniej po roku, a szczyt cytowalności osiąga – zależnie od dziedziny – po 5-7 latach, a w matematyce nawet po 10 latach. W zestawieniu z czteroletnim okresem kategoryzacji, miernika tego nie da się na masową skalę zastosować.

Podsumowując, na obecnym etapie rozwoju scjentometrii, jako główny miernik pozostaje nam współczynnik IF i bazująca na nim punktacja listy A.

Poniżej przedstawiamy próbę syntetycznego spojrzenia na stan publikacji w polskiej nauce. Stosowana będzie następująca konwencja list publikacji:

A  – czasopisma wymienione w części A wykazu ministra;

B – czasopisma wymienione w części B wykazu ministra;

C – czasopisma wymienione w części C wykazu ministra;

D – czasopisma w języku podstawowym w danej dyscyplinie naukowej lub w językach angielskim, niemieckim, francuskim, hiszpańskim, rosyjskim lub włoskim, zamieszczone w zagranicznym czasopiśmie naukowym, niewymienione w wykazie czasopism naukowych A, B ani C;

E – publikacje w recenzowanych materiałach z konferencji międzynarodowych uwzględnionych w Web of Knowledge.

W tabelach pojawią się także skrócone nazwy obszarów i dziedzin nauki: HS – nauki humanistyczne i społeczne, NZ – nauki o życiu, SI – nauki ścisłe i inżynierskie, TA – nauki o twórczości artystycznej.

Trzeba zaznaczyć, że podane niżej liczby publikacji uwzględniają to, iż ta sama publikacja mogła mieć współautorów z różnych jednostek, które miały prawo ją zgłosić. Takie publikacje pojawią się w poniższych tabelach tylko jednokrotnie, a to dzięki pracy firmy Index Copernicus, która zapewnia obsługę informatyczną KEJN. Warto dodać, że takich publikacji zgłoszonych przez więcej niż jedną jednostkę było tylko 16%. Liczba ta wskazuje, że współpraca różnych instytucji naukowych nie jest mocną stroną polskich środowisk naukowych. Jeszcze raz podkreślmy, że KEJN od początku swego istnienia przyjął, iż pełne punkty za dany artykuł przysługują każdej jednostce, z której pochodzą współautorzy właśnie po to, by stymulować współpracę między jednostkami. Od reguły tej był tylko jeden wyjątek – gdy liczba współautorów przekracza dziesięć osób – wówczas jednostki uzyskują tylko część punktów za daną publikację.

Korzystna tendencja

W Tabeli 1. podano liczbę publikacji w kolejnych latach objętych kategoryzacją, z podziałem na rodzaj listy, na której dana publikacja się znajduje. Tabelę tę warto analizować łącznie z Tabelą 2., która pokazuje procentowy udział publikacji z poszczególnych list w okresie 2009-2012.

Jeśli podzielimy liczbę 262 tys. publikacji przez liczbę jednostek naukowych, które poddały się kategoryzacji, to otrzymamy 273 publikacje na jednostkę. Czy to dużo, czy mało – zależy od wielkości jednostki. W kategoryzacji uczestniczyły takie, które zatrudniają około tysiąca pracowników, jak i takie, w których pracuje tylko kilka osób. Ważna jest jednak inna tendencja, widoczna w Tabeli 2., a mianowicie zauważalny – zwłaszcza w latach 2011 i 2012 – wzrost liczby publikacji na liście A i spadek liczby publikacji na liście B. Ze wszystkimi zastrzeżeniami poczynionymi na wstępie, tendencję tę należy uznać za korzystną, choćby z tego względu, że wzrastają szanse na zwiększenie w niedalekiej przyszłości liczby cytowań naszych publikacji, a to – jak wiadomo – jest jedną z głównych przyczyn, dla których wypadamy w międzynarodowych rankingach słabiej, niż byśmy tego oczekiwali. Odnotujmy przy okazji, że wpływ publikacji z list D i E na kategoryzację nie był duży, natomiast czasopisma z listy C odegrały kluczową rolę w różnicowaniu jednostek z obszaru nauk humanistycznych.

Zobaczmy, jak te ogólne tendencje przejawiały się w rozbiciu na obszary naszej nauki (Tabela 3.).

Wbrew wyrażanym czasem obawom, że punktoza spowoduje zalew kiepskich publikacji, Tabela 3. wskazuje, iż tendencja wzrostowa jest bardzo nieznaczna. Jedynie w obszarze nauk humanistycznych i społecznych zaobserwować można pewien wzrost liczby publikowanych prac. Co więcej, jak wskazuje Tabela 4., główna składowa tego wzrostu lokuje się na liście A.

Ten dwukrotny – w okresie samej tylko kategoryzacji – wzrost liczby publikacji z listy A, a więc umiędzynarodowienia polskiej myśli naukowej w obszarze HS, powinien ucieszyć nawet tych, którzy wieszczą upadek polskich nauk humanistycznych i społecznych. Trzeba jednak wyraźnie zaznaczyć, że dokonał się on za przyczyną nauk społecznych, przede wszystkim psychologii i nie jest zjawiskiem typowym dla całego obszaru HS. Analiza Tabeli 4. wskazuje także, że między rokiem 2009 a 2012 w obszarze nauk o życiu nastąpił ponad 40-procentowy wzrost liczby publikacji z listy A i ponad 20-procentowy wzrost w obszarze nauk ścisłych i technicznych. Na „usprawiedliwienie” tych ostatnich dodać trzeba, że już punkt startowy w roku 2009 był dość wysoki – ponad 10 tys. publikacji. Z podobnej analizy publikacji na liście B wynika, że liczba ich nieznacznie maleje lub – jak w obszarze SI – utrzymuje się na podobnym poziomie.

Statystyki odnoszące się do obszaru HS są w pewnym sensie mylące, albowiem ujmują dane z dziedzin dość znacznie różniących się kulturą publikacji. Obok wspólnej dla nich obu istotnej roli monografii (pozostających poza zakresem rozważań w niniejszym artykule), różni je wyraźnie większy udział publikacji z listy A w naukach społecznych (na poziomie ok. 2%; w humanistyce poniżej 1%) i – odwrotnie – znacznie większy udział czasopism z listy C (ERIH – European Reference Index for the Humanitites) dla humanistyki (ok. 8%; w naukach społecznych 2%). Wobec dość częstych utyskiwań na zaściankowość polskiej humanistyki warto także podkreślić znaczenie publikacji w czasopismach z tzw. (nieoficjalnej) listy D, a zatem recenzowanych czasopismach zagranicznych spoza wykazu ministra, wydawanych w językach kongresowych (zob. Tabela 1.). Chociaż zatem generalnie humanistyka nie poddaje się miernikom bibliometrycznym, we właściwy i możliwy dla siebie sposób także włącza się w międzynarodowy obieg myśli naukowej, o czym nierzadko się zapomina.

Czas na dyskusję

Tak znaczący wzrost „widzialności” polskiej nauki w dobrych czasopismach międzynarodowych musi cieszyć. Przy skromnym finansowaniu badań z budżetu państwa można zaryzykować tezę, że wzrost ten nastąpił w wyniku dobrego wykorzystania środków z funduszy UE przez polskie instytucje naukowe. Zwiększa to nasze szanse na szerszy udział polskich środowisk naukowych w międzynarodowych projektach perspektywy finansowej 2014-2020.

Kategoryzacja dostarczyła bardzo cennych danych na temat stanu polskiej nauki. W miarę postępu analiz KEJN będzie je sukcesywnie publikował. Liczymy także na opinie czytelników FA na temat kierunków ulepszania reguł kategoryzacji. Teraz jest najlepszy okres na dyskusję, gdyż do końca 2014 roku chcemy zaprezentować środowisku naukowemu proponowane zmiany, które obowiązywać będą w kategoryzacji planowanej na 2017 rok. Zamysł ten jest zgodny z wielokrotnie powtarzanymi postulatami, by nie dokonywać „rewolucji” w zasadach kategoryzacji i by były one znane na poczatku okresu, który kategoryzacja obejmie. Powyższe zamiary KEJN nie stoją w sprzeczności z naszą otwartością na dyskusję o dalej idących zmianach, które mogłyby obowiązywać w kategoryzacji w roku 2021, gdyż – z punktu widzenia procesu legislacyjnego – rok 2021 jest bardzo nieodległy.

Tabela 3. Liczba publikacji z podziałem na obszary nauki

Tabela 4. Liczba publikacji na liście A w poszczególnych obszarach nauki