Pominięto odpowiedzi „ani tak, ani nie”**  NIE oznacza odpowiedzi „raczej nie”, „nie” i „zdecydowanie nie”*  TAK oznacza odpowiedzi „raczej tak”, „tak” i „zdecydowanie tak”

Ponad 90 proc. naukowców przebadanych przez Ośrodek Przetwarzania Informacji wypowiedziało się niepochlebnie o procesie recenzowania wniosków grantowych w Polsce. Największe wątpliwości ankietowanych budził sposób wyboru recenzentów oraz stosowane przez nich kryteria oceny.

– Przygotowujemy dla Ministerstwa Nauki i Szkolnictwa Wyższego inteligentny system informatyczny wspomagający wybór recenzentów. W ramach przygotowywania założeń do jego budowy dokonano przeglądu literatury dotyczącej procesów recenzowania. Skłoniło to nas do przeprowadzenia badania, które miało wykazać, czy problemy opisywane w wielu zagranicznych publikacjach są odczuwane także przez polską społeczność naukową – tłumaczy dr Olaf Gajl, dyrektor Ośrodka Przetwarzania Informacji.

Tendencyjny dobór recenzentów, kierowanie się podczas oceny statusem akademickim aplikanta czy przynależnością do określonej instytucji dostrzeżono w różnych krajach (Australia, Szwecja, USA, Wielka Brytania). Dość powiedzieć, że instytucja kontrolna Kongresu Stanów Zjednoczonych (Government Accountability Office, odpowiednik NIK) jakiś czas temu zwróciła uwagę na dyskryminacyjne praktyki w peer reviews wobec młodych naukowców i mniejszości naukowych.

Obiektywne recenzje wydają się warunkiem sine qua non nowoczesnego, opartego na jasnych zasadach i wspierającego konkurencyjność systemu organizacji badań naukowych. Celem badania ankietowego OPI było zebranie opinii o procesie recenzowania wniosków grantowych w Polsce. Analiza słabych i mocnych stron recenzowania pozwoliłaby wyeliminować najistotniejsze błędy, a także wypracować rozwiązania podnoszące jakość procesu.

Nieco statystyki

Ankietę rozesłano do około 40 tys. naukowców, zarówno do recenzujących wnioski grantowe, jak i do starających się o granty. Na udział w badaniu zdecydowało się ponad osiem tysięcy z nich, w tym 64 proc. to mężczyźni. Najwięcej było doktorów (43 proc.), następnie profesorów (28 proc.) i doktorów habilitowanych (24 proc.). 35 proc. respondentów występowało w roli zarówno wnioskodawcy, jak i recenzenta. Osoby, które były jedynie wnioskodawcami stanowiły 45 proc., a pełniące rolę jedynie recenzenta – 17 proc. Przeważająca część aplikantów (57 proc.) złożyła od jednego do trzech wniosków. Największa grupa badanych (31 proc.) otrzymała grant jeden raz, a co piąta nie otrzymała żadnego grantu. Aż 95 proc. respondentów miało doświadczenie w programach grantowych Ministerstwa Nauki i Szkolnictwa Wyższego.

Autorzy badania dokonali ilościowej i jakościowej analizy otrzymanych danych. Właściwa część ankiety składała się z 20 pytań. Dotyczyły one technicznej strony recenzowania, uczciwości i obiektywności procesu, osoby recenzenta (jego wiedzy, jakości dokonywanych przez niego ocen, stopnia dopasowania do projektów) oraz podejmowania końcowych decyzji o finansowaniu. Na te pytania zamknięte odpowiadano na siedmiostopniowej skali Likerta (od 1 – zdecydowanie nie do 7 – zdecydowanie tak). Poza tym kwestionariusz zawierał dwa pytania polegające na wyborze odpowiednich opcji z listy możliwych. Badani wskazywali powody, które ich zdaniem mogą zaburzać obiektywizm recenzenta oraz wybierali preferowany model procesu recenzowania (single blind , double blind lub open review ). W ostatnim, otwartym pytaniu respondenci mogli się wypowiedzieć swobodnie (z tej możliwości skorzystało ponad 2,5 tys. osób).

Zakłócenia obiektywizmu

Wśród powodów, które mogą zaburzać uczciwość recenzji, najczęściej wybierano sugerowanie się afiliacją i statusem wnioskodawcy, interes własny oraz znajomość recenzenta z aplikantem (te odpowiedzi miały po niemal 60 proc. wskazań). Niewiele mniej respondentów typowało rywalizację i ograniczoną wiedzę recenzenta, a ponad 40 proc. – przeświadczenie recenzenta o własnej nieomylności. Co ciekawe, na uprzedzenia płciowe zwróciło uwagę zaledwie 4 proc. ankietowanych. Taki sam procent osób wskazał dodatkowe powody wpływające na uczciwość recenzji, na przykład: poczucie bezkarności wynikające z anonimowości, ograniczoność środowiska, chęć wykorzystania tematu wnioskodawcy, zazdrość, dyskryminowanie młodych naukowców i pewnych tematów.

Zarzuty wobec kryteriów oceniania wniosków pojawiły się też w otwartym pytaniu ankiety. Badani pisali, że o finansowaniu często decydują względy pozamerytoryczne, np. afiliacja uczestników projektu („Granty przydzielane są jedynie osobom pochodzącym z tzw. silnych instytucji naukowych. Otrzymanie grantu wysoce zależy od posiadania w zespole wpływowego profesora. Coraz większą rolę odgrywa dorobek wnioskodawcy – i to mierzony numerycznie – a nie ocena samego projektu”). Określano proces jako „zbyt tajemniczy”, oparty na nieznanych kryteriach. Pojawiały się takie określenia, jak: „tajne grupy wzajemnego wsparcia”, „kolesiostwo”, „swoi ludzie”, „grupy liderskie”, „handlowanie grantami” etc.

Pojawiały się opinie, że „niektóre recenzje są pisane zbyt szybko, niestarannie i pobieżnie”. Zarzucano im zdawkowość i braki w rzetelnym uzasadnianiu przyznawanych punktów. „Czasem recenzje sprawiają wrażenie, że opiniodawca przeczytał tylko streszczenie grantu” – napisał jeden z badanych. W opinii badanych może to wynikać z niekompetencji recenzentów („Nie posiadają dostatecznej wiedzy do recenzowania projektów nowatorskich i interdyscyplinarnych”), a także ich braku odpowiedzialności za przedstawione oceny. Recenzentom zarzucano też skupianie się na własnym obszarze badań i ocenianie przez pryzmat swojego pola badawczego.

Zależność od pełnionej roli

Analiza wyników ankiet wskazuje na spore różnice między naukowcami-recenzentami a naukowcami-wnioskodawcami. Np. zdecydowana większość recenzentów (76 proc.) przekonana jest o obiektywności procesu recenzowania, podczas gdy wśród wnioskodawców sądzi tak 35 proc. Recenzenci lepiej też oceniają uczciwość w przydzielaniu grantów (61 proc., wnioskodawcy – 36 proc.), rzetelność recenzji (74 proc., wnioskodawcy – 37 proc.) i dopasowanie recenzentów do projektów (74 proc., wnioskodawcy – 32 proc.).

Ocena dopasowania recenzentów do projektów w dużym stopniu zależy również od posiadanego stopnia czy tytułu naukowego. Pozytywne zdanie na ten temat miało 41 proc. doktorów, 57 proc. doktorów habilitowanych i 65 proc. profesorów. Coraz wyższe miejsce w naukowej hierarchii oznacza również coraz mniejsze poczucie braków w wiedzy. Na pytanie, czy recenzenci mają wystarczającą wiedzę, by dokonać oceny projektu, pozytywnie odpowiedział co drugi doktor i aż trzech na czterech profesorów. O rzetelnym wykonywaniu recenzji przekonanych jest 40 proc. doktorów, 55 proc. doktorów habilitowanych i 65 proc. profesorów. Oczywiście można przypuszczać, że takie wyniki również mają związek z pełnioną w procesie recenzowania rolą. Młodzi naukowcy ze stopniem doktora częściej wnioskują o recenzje, podczas gdy samodzielni pracownicy naukowi częściej są ich autorami. Dokładne dane widnieją w tabeli.

Co zmienić?

W ankiecie OPI respondenci mieli wybrać preferowany przez siebie model procesu recenzowania. Zdecydowana większość (60 proc.) wskazała na model double blind , w którym i wnioskodawca i recenzent są dla siebie anonimowi. 29 proc. opowiedziało się za open review , czyli procesem z możliwością komentowania ze strony naukowej społeczności. Co piąty badany pozostałby przy modelu single blind , gdzie recenzent zna tożsamość aplikanta, a sam pozostaje anonimowy. Pojawiały się również alternatywne propozycje, np. oceny dwuetapowej. W fazie oceny wstępnej obowiązywałaby pełna dwustronna anonimowość, a częściowe lub pełne odtajnienie tożsamości osób zaangażowanych następowałoby później, po to, by można było ocenić zespół projektowy i jego potencjał.

W ostatnim, otwartym pytaniu ankiety respondenci również niejednokrotnie dzielili się dodatkowymi komentarzami i sugestiami na temat tego, jak można by ulepszyć proces recenzowania. Najczęściej poruszano kwestię sposobu wyboru recenzentów. Pojawiły się takie postulaty, jak: dopuszczenie do procesu recenzowania naukowców z zagranicy oraz adiunktów w stopniu doktora; zwiększenie liczby recenzentów; recenzowanie mniejszej liczby wniosków przez jedną osobę; powstanie paneli profesjonalnych recenzentów, które recenzowałyby wszystkie wnioski z danej dyscypliny (możliwość porównywania); zobiektywizowany sposób powoływania recenzentów.

Naukowcy wyrażali opinię, że poprawić trzeba formalną obsługę procesu, przez co zazwyczaj rozumie się maksymalne uproszczenie spraw administracyjnych, ale też dawanie szczegółowych wytycznych do recenzowania, w tym sprecyzowanego, rozbudowanego formularza oceny. „Recenzenci powinni postępować według jednolitych zasad i przepisów. Być może recenzenci powinni mieć obowiązek wypełniania specjalnego formularza, w którym wprost należy odpowiedzieć na pytania” – to jedna z opinii. Zwracano również uwagę, że na równi z wartościami naukowymi wniosku należałoby uwzględniać jego wartości aplikacyjne.

Ważne wydają się wypowiedzi o odrzucaniu błędnych i skrajnych recenzji („Recenzja najbardziej odbiegająca powinna być automatycznie odrzucana!”) czy powoływaniu dodatkowych recenzentów („W przypadku sprzecznych ocen konieczna powinna być ocena innego niezależnego eksperta”). Zauważono konieczność prowadzenia dialogu aplikanta z recenzentem, dawania możliwości odpowiedzenia na recenzje, zadawania dodatkowych pytań aplikującemu, polemizowania. „Niewątpliwie byłoby korzystne, gdyby w trakcie procesu recenzowania aplikant mógł wejść w dialog z recenzentem w celu wyjaśnienia ewentualnych wątpliwości oraz gdyby aplikant mógł odpowiedzieć na negatywną recenzję” – czytamy. Akcentowano też brak realnej procedury odwoławczej od decyzji i niekompetentnych recenzji. Według naukowców z nierzetelnych recenzji powinny być wyciągane konsekwencje. Ich zdaniem sytuację mógłby poprawić system weryfikacji recenzentów, który eliminowałby nierzetelnych oceniających z procesu recenzowania.

Niemal wszyscy respondenci odpowiadali, że w procesie ubiegania się o granty recenzje naukowe są potrzebne. 80 proc. z nich sądzi też, że przy przydzielaniu grantów decydenci biorą pod uwagę opinie recenzentów. Przeprowadzone badanie potwierdza jednak konieczność udoskonalenia systemu recenzji (po wejściu w życie ustaw reformujących naukę, agencje wykonawcze MNiSW – Narodowe Centrum Nauki i Narodowe Centrum Badań i Rozwoju – wprowadziły swoje rozwiązania dotyczące oceny wniosków w ramach prowadzonych przez nie konkursów). W Laboratorium Inteligentnych Systemów Informatycznych OPI prowadzony jest obecnie – na zlecenie Ministerstwa Nauki i Szkolnictwa Wyższego i pod kierownictwem dr. Jarosława Protasiewicza – projekt System wspomagania wyboru recenzentów . Powstać ma baza wiedzy, która pozwoli m.in. na wygenerowanie rankingu recenzentów odpowiednich do recenzowania poszczególnych artykułów lub wniosków badawczych, a w tej chwili trwają prace nad budową prototypowego systemu. Ale to już temat na zupełnie inny artykuł.