Jedną z kluczowych zasad działania Narodowego Centrum Nauki jest konkursowy wybór projektów badawczych na podstawie oceny środowiskowej (ang. peer review), dokonywanej przez samych naukowców reprezentowanych przez ekspertów i recenzentów zewnętrznych. O ich znaczeniu i sposobach pracy pisał już w FA jeden z nich – prof. Paweł Koteja (FA 3/2012). Polecam ten znakomicie napisany tekst wszystkim tym, którzy chcieliby poznać od podszewki stosowane w NCN procedury wyboru projektów do finansowania. Natomiast w tym artykule chciałbym przedstawić problematykę ekspertów z perspektywy pracowników centrum.

Powoływanie ekspertów

Tylko w ubiegłym roku do NCN zgłoszono kilkanaście tysięcy wniosków w kilku ogłoszonych konkursach. Łatwo więc sobie wyobrazić, jak znaczna liczba ekspertów i recenzentów zewnętrznych musi być zaangażowana w proces oceny. W bieżącym roku powołano ich już ponad 5000. Od jakości ekspertów zależy poziom całego procesu wyłaniania projektów do finansowania przez NCN. Dlatego też przykładamy ogromną wagę do tego, by nasz korpus ekspertów był złożony z naukowców o wybitnym dorobku i osiągnięciach w pracy naukowej, a także o nieposzlakowanej uczciwości, rzetelnie wykonujących swoje obowiązki. Jakkolwiek wśród ekspertów dominują, ze zrozumiałych względów, profesorowie tytularni, Rada NCN stara się angażować w coraz większym stopniu młodych, ale już uznanych naukowców, niejednokrotnie ze stopniem doktora. Często są to laureaci wcześniejszych konkursów NCN. Jestem przekonany, że przytłaczająca większość ekspertów działających na rzecz centrum spełnia wspomniane wcześniej wysokie wymagania. Trzeba jednak pamiętać, że korpus ekspertów jest emanacją polskiego środowiska naukowego i jego jakość, siłą rzeczy, jest mocno skorelowana z jakością tego środowiska w poszczególnych dyscyplinach. Jak zwykle w przypadku zbiorów liczących kilka tysięcy osób zdarzają się też ewidentne pomyłki. Za identyfikowanie takich przypadków odpowiadają przewodniczący zespołów i koordynatorzy dyscyplin odpowiedzialni za konkretne panele.

Zasady tworzenia i działania korpusu ekspertów określa załącznik do uchwały Rady NCN nr 46/2012 z 10 maja 2012 r. Trzy komisje Rady NCN, odpowiadające panelom z obszarów: nauk humanistycznych, społecznych i o sztuce, nauk ścisłych i technicznych oraz nauk o życiu, tworzą na okres dwóch lat kalendarzowych korpus ekspertów, z możliwością zmiany jego składu. Spośród członków korpusu komisje Rady proponują zespoły ekspertów do oceny wniosków w poszczególnych konkursach. Członkiem zespołu ekspertów można być co najwyżej w trzech następujących po sobie konkursach. Po wyrażeniu zgody przez kandydatów na ekspertów Rada NCN przyjmuje uchwałę w sprawie wyboru zespołów ekspertów, których następnie powołuje dyrektor NCN.

Ekspertów zewnętrznych, (czyli takich, którzy nie biorą udziału w posiedzeniach zespołów), zwanych w tym artykule recenzentami, wskazują koordynatorzy dyscyplin spośród osób rekomendowanych przez przewodniczącego zespołu ekspertów, z uwzględnieniem kandydatur przedstawionych przez członków zespołu.

Nazwiska ekspertów i recenzentów nie są ujawniane wnioskodawcom, podobnie jak to się dzieje w innych agencjach grantowych. Przeciwne postępowanie groziłoby trudnościami w pozyskaniu odpowiedniej liczby oceniających, a co gorsza mogłoby wpływać na rzetelność ocen projektów, szczególnie wniosków pochodzących od osób o mocnej pozycji instytucjonalnej w świecie polskiej nauki. Raz do roku publikujemy jednak zbiorczą listę ekspertów zaangażowanych w ocenę wniosków, bez powiązania ich z konkretnymi panelami. Ma to umożliwić ocenę jakości doboru ekspertów w NCN przez szerokie środowisko naukowe, a także stanowi swoiste ich wyróżnienie.

Dotychczasowa praktyka pokazuje, że nie wszyscy kandydaci wyrażają zgodę na pełnienie roli ekspertów. W części przypadków jest to zrozumiałe, w szczególności gdy zapraszana osoba chce sama uczestniczyć w konkursie. Niekiedy kandydat bądź kandydatka nie mogą się podjąć dodatkowych zadań z powodu przeciążenia innymi obowiązkami. I oczywiście takie decyzje szanujemy. Ale zdarzają się też przypadki braku zrozumienia ważnej roli, jaką członkowie środowiska naukowego mają do odegrania wobec swoich koleżanek i kolegów przez udział w procesie oceny wniosków o projekty badawcze. Jeżeli nie znajdą się osoby gotowe poświęcić swój cenny czas na te obowiązki, rzetelne rozdzielanie środków nie będzie możliwe. Pracownicy NCN starają się formułować bardzo grzecznie swoje prośby bądź przypomnienia związane z recenzowaniem i nie wywierać nadmiernej presji na zapraszanych naukowców. Ogromna większość zapraszanych postępuje podobnie. Niestety bywa też inaczej. Brak jakiejkolwiek odpowiedzi na nasze zapytania czy niedotrzymywanie terminów wykonania recenzji to nasz chleb powszedni. Zdarza się nawet grubiaństwo wobec pracowników NCN. Spotykamy się też z przypadkami, w których zapraszani, sami nie przestrzegając żadnych form grzecznościowych, okazują się nadzwyczaj czuli na przykład na kompletność swojej tytulatury, udzielając w takim przypadku naszym pracownikom sążnistej reprymendy. Potrafią też odmawiać przygotowania recenzji pod niekiedy nadzwyczaj błahymi pretekstami.

Wynagrodzenia ekspertów

Wysokość wynagrodzeń ekspertów reguluje rozporządzenie ministra nauki i szkolnictwa wyższego z 21 października 2011 r. Na przykład za pisemną opinię na temat wniosku, potrzebną w drugim etapie oceny, recenzent zewnętrzny otrzymuje 400 zł (dotyczy to także recenzentów zagranicznych), a wynagrodzenie eksperta przygotowującego opinię w pierwszym etapie konkursu wynosi 200 zł. Nie są to sumy imponujące, ale warto wspomnieć, że honoraria za recenzje są największą pojedynczą pozycją kosztów ponoszonych przez Narodowe Centrum Nauki i w bieżącym roku pochłoną prawie 15,5 mln zł. Wiele światowych agencji grantowych, w tym bogata amerykańska National Science Foundation, w ogóle nie płaci honorariów recenzentom, a tamtejsi naukowcy traktują pisanie opinii jako obowiązek wobec własnego środowiska. I słabo do mnie przemawia argument, że polscy profesorowie zarabiają dużo gorzej niż ich zagraniczni koledzy, więc należy się im ten dodatkowy dochód. Co oczywiście nie oznacza, że nie chciałbym, aby NCN miał więcej środków na wynagrodzenia ekspertów.

Smutną ilustracją wspomnianego problemu są e-maile wymienione w tym roku między koordynatorem dyscyplin z NCN a prodziekanem jednej z polskich uczelni medycznych. Na zaproszenie do wykonania recenzji wniosku otrzymaliśmy następującą odpowiedź: „Płacicie śmiesznie małą kwotę, jak na poziom wykształcenia i doświadczenia ludzi, których prosicie o recenzję. Taka zapłata jest poniżej progu mojej godności. Dziękuję, ale nie skorzystam”. Na kolejny e-mail z NCN informujący o formalnym wycofaniu prośby o recenzję z systemu odpowiedź była następująca (pisownia oryginalna): „ZAPROSZENIE NIE JEST AKTUALNE, BO DROGA PANI NIE BEDE PRACOWAŁ ZA TEKIE PIENIĄDZE!!! Żenujący mail, proszę do mnie więcej nie pisać”. Pan profesor, będący autorem zacytowanych odpowiedzi, zupełnie nie rozumie swojej roli uczonego. Warto też wspomnieć, że znaczna część recenzentów zagranicznych rezygnuje z pobierania honorariów (jest taka opcja w systemie OSF). Nawiasem mówiąc, największy procent odmów wykonania recenzji mamy wśród profesorów prawa i medycyny.

Recenzenci i eksperci zagraniczni

Rosnący procent wszystkich recenzentów stanowią recenzenci zagraniczni. Są oni szczególnie przydatni w tych dyscyplinach, w których brakuje odpowiednich kandydatów krajowych. Ale głównymi powodami zapraszania ekspertów spoza Polski jest chęć skonfrontowania naszej nauki z nauką światową, jej promocja i oderwanie procesu oceny od lokalnych układów. Stąd też w najnowszych konkursach obowiązek przygotowania szczegółowego opisu projektu w języku angielskim dotyczy już prawie wszystkich paneli dziedzinowych. Na przykład w trzeciej edycji konkursów NCN (OPUS 2, PRELUDIUM 2, SONATA 2) recenzje zagraniczne stanowiły 12 proc. wszystkich recenzji zewnętrznych. Oczywiście istnieje spore zróżnicowanie udziału recenzji zagranicznych w poszczególnych panelach. Przodują tu panele z obszaru nauk o życiu. Na przykład w panelu NZ8 „Podstawy wiedzy o życiu na poziomie środowiskowym” 28 proc. stanowiły recenzje zagraniczne, przy czym najwięcej recenzentów pochodziło z Wielkiej Brytanii, Niemiec i Stanów Zjednoczonych. Jeszcze większy odsetek takich recenzji (30 proc.) uzyskano w panelu NZ6 „Immunologia i choroby zakaźne ludzi i zwierząt”, a rekordzistą był panel ST9 „Astronomia i badania kosmiczne” (41 proc.). W ostatniej edycji prestiżowego konkursu dla doświadczonych naukowców MAESTRO recenzenci zagraniczni stanowili 61 proc. wszystkich ekspertów zewnętrznych, przy czym w obszarze nauk o życiu wszyscy recenzenci pochodzili z zagranicy. Naszą intencją jest stopniowe zwiększanie udziału recenzentów zagranicznych we wszystkich typach konkursów.

Inaczej wygląda sprawa w przypadku zespołów ekspertów. Dotychczas nie korzystaliśmy w nich z osób spoza Polski. Przyczyny są prozaiczne. Koszt udziału, w szczególności podróży, w dwóch posiedzeniach zespołów ekspertów byłby bardzo wysoki. Trudno też byłoby znaleźć chętnych, o odpowiednio wysokiej pozycji naukowej, na dwukrotne poświęcenie kilku dni dla polskiej agencji grantowej. Nie bez znaczenia jest też fakt, że ocena w pierwszym etapie odbywa się na podstawie skróconego opisu projektu w języku polskim (co pośrednio wymusza ustawa o NCN). Chcemy jednak zaangażować ekspertów zagranicznych w ocenie projektów zgłaszanych na przygotowywany obecnie elitarny konkurs badań interdyscyplinarnych SYMFONIA, a także w nowych edycjach konkursu MAESTRO.

Warto również wspomnieć, że kilkakrotnie spotkaliśmy się z zarzutem, iż powoływanie ekspertów czy recenzentów zagranicznych może prowadzić do kradzieży pomysłów polskich naukowców. To zarzut absurdalny – jakkolwiek takie przypadki mogą się zdarzyć (również w przypadku polskich recenzentów), to nie istnieje lepszy sposób oceny wniosków. Eksperci i recenzenci podpisują zresztą stosowne oświadczenie zobowiązujące ich do poufności. Praktyka powoływania ekspertów zagranicznych jest powszechna w agencjach grantowych krajów najbardziej rozwiniętych.

Opinie ekspertów – częste źródło kontrowersji

Znakomita większość ocen przygotowywanych przez ekspertów i recenzentów jest napisana rzetelnie i zrozumiale. Nie jest to zadanie łatwe, a jego dobre wykonanie wymaga na ogół sporo czasu, którego przecież nam wszystkim brakuje. Niestety wnioskodawcy, szczególnie ci, których wnioski nie odniosły sukcesu, są często niezadowoleni z uzyskanych ocen. Poza nielicznymi przypadkami, w których recenzenci rzeczywiście nie stanęli na wysokości zadania, pretensje wynikają najczęściej z niezrozumienia stosowanego w NCN procesu wyłaniania projektów do finansowania, a także z nieco naiwnej wiary, że oceniający wniosek eksperci mają superspecjalistyczną wiedzę na temat proponowanych badań (gdyby ją mieli, prawdopodobnie badania te nie byłyby w ogóle potrzebne), a także dorobku i kariery naukowej wnioskodawcy. Przesadne też bywają oczekiwania dotyczące długości czy wnikliwości recenzji. Opinie zbyt długie uniemożliwiałyby ich rzetelne omówienie na posiedzeniu zespołu, a zbyt szczegółowe – mogłyby być niezrozumiane przez znaczną część jego składu. Trzeba tu pamiętać, że zespół na swoim dwudniowym posiedzeniu musi przedyskutować nawet kilkaset wniosków.

Warto zwrócić uwagę, że istotą oceny wniosków w NCN jest ustalanie ich rankingu na podstawie dyskusji w czasie posiedzenia zespołu ekspertów. Pisemne oceny przygotowane przed posiedzeniem przez jego wybranych członków, a w przypadku drugiego etapu oceny – także przez recenzentów zewnętrznych, są wyłącznie podstawą i punktem wyjściowym do debaty. Takie podejście pozwala m.in. na zweryfikowanie ocen niesprawiedliwych czy niekompetentnych, a niekiedy po prostu na skonfrontowanie rozbieżnych poglądów ekspertów. Także punkty przydzielone poszczególnym wnioskom przez ekspertów i recenzentów zewnętrznych mają wyłącznie znaczenie pomocnicze. Unika się w ten sposób mechanicznego obliczania średnich, co mogłoby prowadzić do sztucznego zawyżania bądź zaniżania szans danego wniosku przez pojedynczego recenzenta. Szczególnie w pierwszym etapie ocena musi dotyczyć ogólnych cech wniosku, jego innowacyjności czy kwalifikacji wykonawców. Stąd oceny w tym etapie (począwszy od ostatnio ogłoszonych konkursów) są dokonywane wyłącznie na podstawie skróconego opisu projektu badawczego przygotowanego w języku polskim, a także informacji o osiągnięciach kierownika projektu i członków zespołu wykonawców. Aby dokonać takiej wstępnej selekcji, nie trzeba być wąskim specjalistą w określonej dyscyplinie. Warto też pamiętać, że rolą recenzentów nie jest, z powodów czysto praktycznych, uczenie wnioskodawców jak powinien wyglądać dobrze napisany wniosek, a tym bardziej jak należy planować badania.

Dyskusja każdego wniosku na posiedzeniu zespołu, zwykle kilkunastoosobowego, mobilizuje ekspertów sporządzających indywidualne oceny do rzetelnego ich przygotowywania. Warto też zauważyć, że przyjęty w NCN system oceny zachęca ekspertów do kwalifikowania propozycji zdecydowanie najlepszych. Gdy sami będą chcieli składać wniosek o projekt badawczy w następnym konkursie, nie będą zapewne konkurować z osobami, których wnioski przyjęto w konkursie bieżącym.

Niestety zdarzają się także opinie ekspertów i recenzje słabe, napisane na kolanie, a czasami nawet tendencyjne. Niektórzy recenzenci nie zapoznają się z warunkami konkursu, w którym wniosek został złożony. I na przykład w jednej recenzji wniosku w konkursie PRELUDIUM (dla osób przed doktoratem) pojawia się zarzut, że wnioskodawca nie ma jeszcze doktoratu. Docierają do nas również oskarżenia pod adresem ekspertów o faworyzowanie bądź dyskryminowanie wniosków pochodzących od konkretnych osób lub instytucji. Przyjęty przez NCN sposób oceny przez zespoły, a także nadzór koordynatorów dyscyplin, znacznie utrudniają takie nieetyczne postępowanie. Ale oczywiście nie możemy stuprocentowo wykluczyć takich, zapewne bardzo sporadycznych, działań. Możemy tylko apelować do środowiska naukowego, by wspomniane praktyki piętnowało, gdyż szkodzi to polskiej nauce. Spotkałem się też z komentarzami wnioskodawców na temat przebiegu dyskusji na niektórych posiedzeniach zespołów ekspertów. Chciałbym wierzyć, że były to wyłącznie przypuszczenia moich interlokutorów, a nie wynik naruszenia przez ekspertów wyraźnych zapisów podpisywanego przez nich kodeksu etycznego.

Niekiedy otrzymujemy opinie i recenzje napisane niegrzecznie czy obraźliwe wobec wnioskodawców czy zatrudniających ich instytucji. Oczywiście opinie „grzeczne” nie powinny oznaczać opinii „ugrzecznionych”, a już na pewno przesadnie łagodnych. Warto stosować prostą regułę: piszmy opinie takiej jakości, jakie sami chcielibyśmy otrzymywać, nawet gdy są to opinie bardzo krytyczne. Koordynatorzy dyscyplin odpowiadają za to, by eksperci i recenzenci niewywiązujący się właściwie ze swoich obowiązków, a w szczególności niespełniający standardów etycznych NCN, nie byli zapraszani do współpracy w kolejnych konkursach.

Część wnioskodawców chciałaby mieć możliwość bezpośredniego polemizowania z ekspertami oceniającymi ich wnioski. Ze względu na skalę przedsięwzięcia, jakim jest ocenianie tysięcy wniosków, nie jest to po prostu możliwe. Jedynym jak dotychczas wyjątkiem są konkursy na staże podoktorskie, w których kandydaci biorą udział w rozmowie kwalifikacyjnej przeprowadzanej z zespołem ekspertów w drugim etapie oceny.

Innym postulatem wnioskodawców, a także części ekspertów, jest możliwość negocjowania proponowanych we wnioskach kosztorysów. Niestety nie jest to możliwe w dającej się przewidzieć przyszłości, ponieważ NCN nie posiada środków na zatrudnienie odpowiedniej liczby osób, które takie negocjacje mogłyby prowadzić, a obecne zasoby są po prostu zbyt szczupłe.

Eksperci a biuro NCN

Z gronem ekspertów współpracują bezpośrednio pracownicy NCN, w szczególności koordynatorzy dyscyplin, a także pracownicy Działu Badań Naukowych i Rozwoju Naukowców oraz Działu Finansowo-Księgowego. Odpowiadają za przygotowanie odpowiednich formularzy i dokumentów, organizowanie posiedzeń zespołów, rezerwacje hoteli dla ekspertów, wymianę korespondencji, refundowanie bądź rozliczanie delegacji i wypłacanie wynagrodzeń. Informatycy NCN współpracują z warszawskim Ośrodkiem Przetwarzania Informacji w celu przygotowania funkcjonalności systemu informatycznego OSF do obsługi kolejnych konkursów. O obciążeniu pracowników NCN świadczy porównanie liczby przetwarzanych rocznie nowych wniosków przypadających na jednego pracownika europejskiej ERC (European Research Council), amerykańskiej NSF (National Science Foundation) i NCN, wynoszących w 2011 roku odpowiednio: 15, 19 i 210.

To pracownicy NCN odpowiadają na przykład za denerwujący niektórych ekspertów wymóg, by w wybrane pola w formularzach oceny wpisywać określoną minimalną liczbę słów. Gdy jednak w pierwszych konkursach taka zasada nie obowiązywała, zdarzało się, że recenzenci udzielali zbyt lakonicznych odpowiedzi, niezadowalających zarówno zespoły ekspertów, jak i wnioskodawców. Narzekano również na zbyt skomplikowane, zdaniem niektórych, formularze oceny i procedury dostępu do nich, a także na brak zróżnicowania formularzy, nieuwzględniający specyfiki poszczególnych dyscyplin. Mogę tu jedynie odpowiedzieć, że nasze formularze nie są mniej przyjazne recenzentom niż w wielu innych renomowanych agencjach w świecie. Całkowita zaś przebudowa systemu informatycznego, jak to postulują niektórzy, jest bardzo poważnym, kosztownym i czasochłonnym przedsięwzięciem. Biorąc pod uwagę, że w bardzo krótkim czasie NCN było w stanie przygotować procedury oceny dla kilku edycji siedmiu typów konkursów, zupełnie nierealne byłoby różnicowanie formularzy oceny do poszczególnych paneli dziedzinowych, jakkolwiek warto zauważyć, że ocena na przykład dorobku naukowego wnioskodawców z obszaru nauk humanistycznych jest przeprowadzana inaczej niż naukowców zajmujących się naukami ścisłymi czy naukami o życiu. Warto także zdawać sobie sprawę, że nawet drobne zmiany w formularzach wiążą się z czasochłonną niekiedy procedurą związaną z wprowadzaniem ich przez OPI.

NCN odpowiada na sygnały zarówno ekspertów, jak i innych osób wskazujących na pomyłki czy niedogodności w formularzach i dokłada wszelkich starań, by możliwie szybko na nie reagować. Tak było na przykład w przypadku wcześniejszej wersji formularzy angielskojęzycznych, w których wykryto błędy językowe, mimo że do ich korekty zatrudniliśmy dwóch naukowców, których językiem ojczystym był język angielski (niewątpliwie jednym z powodów było szaleńcze tempo pracy, które wymusił bardzo ambitny kalendarz uruchamiania konkursów).

Jedną z dużych niedogodności całej procedury konkursowej jest konieczność drukowania i podpisywania niektórych dokumentów, które istnieją także w postaci elektronicznej. To jednak wynika z wymagań ustawowych, a w szczególności z obowiązującego NCN kodeksu postępowania administracyjnego. Podobnie jest z innymi wymaganiami formalnymi – nie są one widzimisię naszej agencji, lecz pochodną obowiązujących przepisów. Wyszliśmy jednak z inicjatywą dokonania daleko idących zmian zarówno w obszarze prawa, jak i funkcjonalności obsługujących nas systemów informatycznych, tak aby w przyszłości całkowicie wyeliminować dokumenty papierowe. Powstaje właśnie odpowiedni zespół składający się z przedstawicieli NCN, Ministerstwa Nauki i Szkolnictwa Wyższego, Ministerstwa Administracji i Cyfryzacji oraz Ministerstwa Sprawiedliwości.

Niejasności prawne, wynikające w dużej mierze ze względnej młodości naszej instytucji, powodują niekiedy konieczność czasochłonnego uzgadniania rozwiązań z wieloma urzędami centralnymi. To było przyczyną sporego opóźnienia wypłat wynagrodzeń dla ekspertów w pierwszej połowie bieżącego roku. Warto też zauważyć, że to, co z punktu widzenia pojedynczego eksperta wydaje się prostą sprawą, przemnożone przez wiele tysięcy osób może okazać się dla pracowników NCN zadaniem wymagającym czasu i sporego wysiłku. Dotąd NCN nie zawierało umów pisemnych z ekspertami, nie były też wystawiane rachunki związane z wypłatami honorariów. W związku z żądaniami części ekspertów, a także otrzymanymi opiniami prawnymi, w następnych konkursach będą obowiązywały umowy regulujące zasady współpracy z ekspertami i recenzentami oraz określające terminy wypłat należnych honorariów.

W celu standaryzacji procedur i ułatwienia pracy ekspertom powstało szereg dokumentów dostępnych na naszej stronie internetowej, w tym: „Konkursy Narodowego Centrum Nauki – Przewodnik dla ekspertów”, „Zasady etyczne członków Rady i ekspertów Narodowego Centrum Nauki”, a także zarządzenie dyrektora NCN nr 36/2012 „Szczegółowy tryb sporządzania ocen wniosków przez Zespoły Ekspertów”.

Należy pamiętać, że decyzje o pozycji wniosku w rankingu projektów do finansowania podejmują zespoły ekspertów. Pracownicy NCN, poza nadzorem nad przestrzeganiem procedur oceny, nie mają wpływu na kształt list rankingowych. Jedynym dopuszczalnym odstępstwem jest możliwość, w szczególnych przypadkach, zmiany kolejności listy przez koordynatora dyscypliny, po porozumieniu z zespołem ekspertów, na przykład po wykryciu nieujawnionego przez eksperta konfliktu interesów. Jednak dotychczas taka zmiana kolejności jeszcze się nie zdarzyła.

Narodowe Centrum Nauki zbudowało i nadal doskonali rzetelny i zgodny z najlepszymi praktykami światowymi system wyłaniania projektów do finansowania. Członkowie zespołów ekspertów i recenzenci zewnętrzni odgrywają w tym procesie kluczową rolę.