Pierwszy konkurs grantowy Narodowego Centrum Nauki cieszył się zrazu dość chyba przychylnym zainteresowaniem. Jednakże jesienią 2011 roku nawet życzliwi wyrażali zniecierpliwienie opóźnieniem w przedstawieniu wyników konkursu, większe, gdy NCN zwlekało z przekazaniem szczegółów oceny, a gdy te informacje zostały przekazane, krytyka się zaostrzyła. Podejrzenie, że coś jest „niekoszerne” wzmogło wyjaśnienie, że opóźnienie wynikało z tego, iż oryginalne recenzje były redagowane – i trudno się temu dziwić.

Przypuszczam jednak, że te i inne niedociągnięcia byłyby przyjęte z większą wyrozumiałością, gdyby tryb pracy paneli oceniających projekty i warunki, w jakich ta praca się odbywała, były szerzej znane. O trybie pracy paneli pisał już dyrektor NCN prof. Andrzej Jajszczyk (FA 11/2011), ale niektóre uwagi krytyczne pojawiające się teraz na forach dyskusyjnych świadczą, że nie wszystko jest jasne. Sądzę, że jako były przewodniczący jednego z paneli (NZ8: ekologia, biologia ewolucyjna, taksonomia itp.) jestem w szczególnie dogodnej sytuacji, by o tym opowiedzieć. Nie jestem instytucjonalnie związany z NCN, ale w stopniu większym niż przeciętny członek panelu w pracę tę byłem zaangażowany – a że już nie jestem, nie muszę się obawiać, iż moja wypowiedź spowoduje konflikt z aktualnymi obowiązkami.

Kompetencje ekspertów

Członkowie paneli („eksperci”) są powoływani przez Radę NCN, a więc dyrekcja NCN nie ma wpływu na skład paneli. Jednakże, członkowie Rady NCN nie mają wpływu ani nawet bezpośredniego wglądu w pracę ekspertów. Funkcję kontrolną wobec panelu pełni koordynator dyscypliny: wysoko wykwalifikowany urzędnik NCN (co najmniej ze stopniem doktora), który sam ma doświadczenie w pracy badawczej. Funkcja kontrolna ogranicza się jednak tylko do sprawdzania, czy przewodniczący i członkowie panelu postępują zgodnie z zasadami, czy nie naruszają zasady obiektywizmu i nie popadają w konflikt interesów; koordynator nie może wypowiadać się w kwestiach dotyczących oceny wniosków (poza uznaniem ich formalnej poprawności).

Członkowie panelu są więc w wysokim stopniu niezawiśli i mają znaczną swobodę w ustalaniu trybu pracy, interpretacji obowiązującej skali ocen w kontekście specyficznej dziedziny i praktycznie pełnię władzy w kwestii zasadniczej: to oni decydują o tym, komu granty zostaną przyznane (o drobnym wyjątku powiem później). Będziemy więc mieli tak rzetelne i kompetentne decyzje o przyznawaniu funduszy na badania, jak rzetelnych i kompetentnych członków paneli.

Wydawać by się więc mogło, że wystarczy, by Rada NCN mianowała do paneli tylko uczonych o uznanym dorobku i autorytecie. Ale nie jest to takie proste. Gdy już było wiadomo, ile jest wniosków i jak wypadł rozkład ich tematyki, skład paneli był ad hoc uzupełniany. „Opiekunowie” naszego panelu z Rady NCN prosili mnie o pomoc we wskazaniu dodatkowych kandydatów, wiem więc dobrze, jak trudno było spełnić koniunkcję wymogów, aby były to osoby reprezentujące poziom międzynarodowy, potrzebną dyscyplinę, same nie składały wniosku o grant i nie pochodziły z tego ośrodka naukowego, co paru innych członków panelu. Ten ostatni wymóg jest potrzebny, by uniknąć potencjalnej „dyskryminacji terytorialnej” i żeby panel mógł efektywnie pracować – bo z oceniania wniosku wyłączone są osoby z tej samej jednostki naukowej, z której pochodzi wniosek (a także mające inne silne powiązania z wnioskodawcą); takie osoby w trakcie dyskusji nad wnioskiem wychodzą z sali. Wreszcie, musiały to być osoby, które godziły się na podjęcie dodatkowych poważnych obowiązków praktycznie „od zaraz”, i to na początku okresu wakacyjnego.

Sądzę, że Rada Nauki stanęła na wysokości zadania. Nie znam oczywiście wszystkich „panelistów”, ale jeśli reprezentowali poziom taki, jak w panelu, któremu przewodniczyłem, to z pełnym przekonaniem mogę powiedzieć, że pojawiające się zarzuty niekompetencji są po prostu niepoważne. Lista członków paneli została opublikowana na stronie internetowej NCN, więc każdy może sam sprawdzić.

Waga problemu, siła zespołu

Po sprawdzeniu formalnej poprawności wniosków przez pracowników NCN są one przekazywane przewodniczącemu panelu, który musi się z nimi szybko zapoznać i każdy wniosek skierować do oceny przez dwóch ekspertów – członków panelu. Wbrew pozorom nie ma potrzeby, by obaj eksperci byli specjalistami w wąskiej dyscyplinie, której dotyczy projekt. Wręcz odwrotnie, nawet dobrze, jeśli na wniosek popatrzy ktoś nieco z zewnątrz, bo pozwala to na dokonanie trzeźwiejszej, mniej obciążonej osobistymi zainteresowaniami oceny.

Członkowie panelu wykonują oceny niezależnie, nie wiedząc o sobie. Jeśli ekspert zauważy, że wykonywanie przez niego oceny mogłoby się wiązać z konfliktem interesów, informuje o tym przewodniczącego. W niektórych przypadkach wykonywanie oceny jest „ustawowo” zakazane (np. wspólna afiliacja), a w innych decyzja jest podejmowana przez przewodniczącego panelu (np. gdy ktoś był niedawno zaangażowany we współpracę z wnioskodawcą). Wbrew pierwszej intuicji, opinia kogoś, kto ujawnił potencjalny konflikt interesów, może być bardziej niż przeciętnie rzetelna (chwila zastanowienia pozwala na zrozumienie, dlaczego tak się dzieje), dlatego zwykle takie oceny dopuszczałem (i praktyka pokazała, że słusznie).

Oceny muszą być dokonane szybko, a do oceny jest 20-30 wniosków na członka panelu (w niektórych panelach było nawet 35). Na tym etapie nie jest jednak kluczowa kwestia oceny technicznych szczegółów projektów, poprawności metod itp., a ocena wagi naukowej problemu badawczego oraz „siły” zespołu (mierzonej publikacjami i skutkami poprzednio realizowanych projektów). Ocena jest podawana na skali punktowej, przy czym punktom są automatycznie przypisane oceny werbalne, np. za publikacje: 1 pkt = „Wnioskodawca/zespół wnioskodawców reprezentuje poziom krajowy (m.in.: publikacje w wiodących czasopismach krajowych, niska cytowalność prac)”.

Skoro system oceniania jest uporządkowany i „zobiektywizowany”, a ocenom punktowym przypisane automatyczne wyjaśnienia, na tym etapie nie są potrzebne długie recenzje tekstowe. Co więcej, z założenia, uwagi ekspertów miały służyć tylko do celów wewnętrznej pracy panelu, a nie być udostępniane autorom. Dlatego niektórzy pisali uwagi w sposób dość nieformalny (np. zawierały skróty myślowe albo opinie wyrażane potocznym językiem). W tych okolicznościach enigmatyczność uwag lub ich nieformalny styl nie świadczą jednak o niestaranności oceny.

W perspektywie światowej

Punktem wyjścia do dyskusji na pierwszym posiedzeniu panelu jest wstępny ranking, wynikający z uśrednionej oceny ekspertów. Niemożliwe było dyskutowanie nad każdym z ponad 200 wniosków (a w niektórych panelach było ich parę razy więcej). Dyskusja dotyczyła tych, w których oceny były rozbieżne, a potem też tych, które były na granicy kwalifikacji do następnego etapu. Projekty podane pod dyskusję były referowane przez tych ekspertów, którzy je oceniali. Ale cała praca odbywała się z dostępnymi dla wszystkich on-line pełnymi informacjami o projektach, a także z dostępem do baz Scopus i ISI. Można więc było na bieżąco sprawdzić dorobek wnioskodawców, rozstrzygnąć wątpliwości dotyczące nowatorstwa wniosków itp.

Na początku pracy dyskusje były długie i dość gorące. To był bodajże najważniejszy etap prac panelu, bo chodziło nie o ocenę konkretnego projektu, a o uzgodnienie polityki oceniania. Wcześniej już staraliśmy się korespondencyjnie ustalać, jak należy rozumieć określenia „duża – średnia – mała cytowalność prac”, „znaczący wpływ na rozwój dyscypliny” itd. Ale dopiero bezpośrednia dyskusja doprowadziła do przynajmniej częściowego konsensusu w tych kwestiach. Stanęło na tym, że mamy twardo bronić zasady, iż punktem odniesienia w ocenach musi być nauka światowa, widoczna w międzynarodowych czasopismach, a nie perspektywa lokalna. Co więcej, że nie można tłumaczyć braku dorobku w międzynarodowych czasopismach „specyfiką dyscypliny” (choć oczywiście z zachowaniem właściwej miary, a więc np. nie oczekując, że zoolog-systematyk będzie wszystko publikował w czasopismach o wysokim IF). Być może kwestie te nie rodziły kontrowersji w innych panelach, bardziej jednorodnych tematycznie, ale sądzę, że nie byliśmy jedynym panelem, w którym powyższe zasady wymagały pewnego wsparcia. Mam nadzieję, że ustalenia z tych dyskusji będą miały skutki trwalsze niż jeden konkurs.

W wyniku dyskusji nad wnioskiem czasem zostawialiśmy ocenę uśrednioną, ale zwykle jeden z ekspertów sam uznawał, że w ocenie tego czy innego aspektu się pomylił i aprobował korektę. Po początkowej dyskusji w sprawie pryncypiów, eksperci referujący projekt niekiedy sami zaczynali od stwierdzenia, że ocenę za ten czy inny aspekt projektu przecenili i sami proponowali korektę. Czasem dyskusja prowadziła do wniosku, że nawet niższa z wystawionych ocen była zawyżona i ocena „uzgodniona” mogła być niższa od każdej z ocen pierwotnych. Sytuacja odwrotna była czymś wyjątkowym, ale parę razy też się zdarzyła.

Myślę, że to wszystko dobrze świadczy o członkach panelu, bo gotowość do uznania siebie za omylnego, a także gotowość do „przeskalowania” własnej perspektywy oceniania świadczy o wysokim poziomie intelektualnym.

Warto tu zwrócić uwagę, że pierwotne założenie, iż wnioskodawcy mają dostać do wglądu tylko uzasadnienie oceny uzgodnionej po dyskusji, było dobrze umotywowane. Ekspert mógł w komentarzu napisać, że projekt ma wybitną wartość naukową, ale po dyskusji uznać, że się w tej opinii mylił. Jest co najmniej nieoczywiste, że wnioskodawcy powinni dostawać do wglądu opinie, pod którymi nie podpisałby się już ktoś, kto sam je na wcześniejszym etapie prac wyraził.

Zewnętrzne recenzje

Wynikiem pracy pierwszego posiedzenia panelu jest lista rankingowa wszystkich projektów. Do drugiego etapu przechodzą projekty o łącznym budżecie równym dwukrotności budżetu na dany typ projektów w danym panelu, a więc około dwa razy więcej wniosków niż będzie sfinansowanych. To powinno wystarczyć do zrozumienia, dlaczego na pierwszym etapie nie ma potrzeby, by wniosek był oceniany przez specjalistę z danej dziedziny pod kątem poprawności technik badawczych czy nawet poprawności rozumowania, stojącego za stawianymi hipotezami. Brak takiej oceny co prawda grozi przeoczeniem wad dyskwalifikujących projekt, ale to nie jest problem, bo do drugiego etapu przechodzi ogromny nadmiar wniosków. Ważne, by dostały się tam takie, które są ambitne.

Do każdego projektu zakwalifikowanego do drugiego etapu eksperci dokonujący oceny proponują po trzech zewnętrznych recenzentów. Ze względu na ograniczenia organizacyjne i czasowe nie było możliwe, by wszystkie wnioski trafiały do recenzentów zagranicznych. Nie byłoby jednak dobrze, gdyby wybór recenzenta krajowego czy zagranicznego był uzależniony od tematyki projektu, bo to by mogło działać na niekorzyść projektów dotyczących kwestii o znaczeniu ogólniejszym. Przyjęliśmy zasadę, że do recenzentów zagranicznych kierowane są wszystkie projekty z kategorii „międzynarodowe” i wszystkie projekty drogie, a niskobudżetowe zostawiamy do oceny recenzentów krajowych. W praktyce do tańszych projektów też bywali wskazywani recenzenci zagraniczni, jeśli brak było odpowiednich specjalistów krajowych, mających znaczny dorobek publikacyjny w międzynarodowych czasopismach.

Bez wchodzenia w szczegóły: przeszkodą dla upowszechnienia recenzji zagranicznych jako pożądanego standardu przy większości projektów nie jest opór pracowników NCN czy niechęć członków paneli (przynajmniej „mojego”), a prozaiczna trudność w namówieniu poważnych uczonych zagranicznych do wykonania takiej usługi (nawet odpłatnie).

Po uzyskaniu recenzji system OSF oblicza średnią ocenę recenzentów, a potem średnią z ocen recenzentów i oceny uzgodnionej przez panel na pierwszym etapie. Ta średnia stanowi podstawę do wstępnego rankingu przed drugim posiedzeniem panelu. Tryb pracy w czasie drugiego posiedzenia był podobny: dyskusja dotyczyła przede wszystkim tych wniosków, w których oceny recenzentów i panelu były rozbieżne. Recenzenci zewnętrzni nie mogli podczas dyskusji swoich racji przedstawić, ale od nich oczekiwano, że teksty recenzji będą obszerniejsze i że będą zawierały wyczerpujące uzasadnienie ocen. Jak można się spodziewać, różnie z tym bywało.

Formalnie oceny recenzentów zewnętrznych dotyczą tych samych komponentów, które są ocenianie przez członków panelu. Jednakże zewnętrzni recenzenci mieli mniejszą możliwość dokonania ocen porównawczych, bo dostawali do oceny najwyżej kilka projektów. Nie mogli też wiedzieć, jaką perspektywę przyjęliśmy przy ocenianiu wartości dorobku naukowego wnioskodawców czy wagi problemów badawczych. Dlatego rozbieżności dotyczące tych aspektów byliśmy skłonni korygować raczej (choć nie zawsze) w stronę naszych własnych ocen. Natomiast kluczowe były uwagi zewnętrznych recenzentów obnażające wady techniczne metod, błędy w założeniach i rozumowaniu wiodącym do stawianych hipotez, braki odniesień do istotnej literatury itd. Można powiedzieć, że celem drugiego etapu jest wybranie spośród ciekawie się zapowiadających projektów przedstawionych przez dobre zespoły (czyli tych, które trafiły do drugiego etapu) takich, które są też poprawne „technicznie”.

Wynikiem pracy drugiego posiedzenia panelu jest lista rankingowa sporządzona na podstawie uzgodnionych ocen. Finansowane są wszystkie projekty, których łączny budżet mieści się w całości w budżecie danego panelu na dany typ projektów. Projekty, które są na granicy (po ich uwzględnieniu budżet łączny przekracza już limit, ale bez nich pozostałyby niewykorzystane środki), kwalifikowane są warunkowo, a decyzja w ich sprawie jest podejmowana przez dyrektora NCN po rozpatrzeniu podobnych sytuacji w innych panelach (za pomocą odpowiedniego algorytmu). Nieco inny jest tryb w stosunku do projektów „międzynarodowych”: tu drugi etap odbywa się na posiedzeniu „superpanelu”, złożonego z przedstawicieli paneli do danej dziedziny (NZ, ST, HS), ale zasady są takie same.

Słuszne pretensje

W założeniu redagowanie uzasadnień uzgodnionych ocen miało być powierzone obsługującym panel pracownikom NCN. Z kilku względów ten plan okazał się nierealistyczny. Po pierwsze, robienie kompetentnych notatek z naszych burzliwych (zwłaszcza na początku) dyskusji nie było łatwe. Po drugie, pracownicy NCN nie mieli czasu, by uzasadnienia tysięcy wniosków napisać. Po trzecie, nie mogli napisać uzasadnienia uzgodnionej opinii do tych wniosków, które w ogóle nie były podane pod dyskusję.

Mam wrażenie, że w tej jedynej chyba kwestii nastąpiła w NCN zapaść decyzyjna, bo że problem będzie, wiadomo było zaraz po pierwszym posiedzeniu panelu. NCN zdecydowało w końcu, że autorom będą przekazane komentarze członków panelu i recenzentów w zasadzie „jakie są”, ale poddane redakcyjnym korektom (żeby uczynić je bardziej formalnymi) i uzupełnione o opinię podsumowującą, zredagowaną przez jednego z tych członków panelu, który projekt oceniał. Niestety, decyzja ta została podjęta długo po zakończeniu procedury oceniania – z wiadomymi skutkami. To, co wnioskodawcy zobaczyli jako uwagi „ekspertów”, jest często dalekie od tego, co moglibyśmy uznać za rzetelnie napisane recenzje. Nie były to recenzje pisane z myślą o przekazaniu wnioskodawcom, ale wnioskodawcy o tym nie wiedzieli, więc zrozumiałe są ich pretensje. Uwagi podsumowujące też pewnie czasem wyglądają na mało rzetelne, ale trudno oczekiwać, by ktoś napisał sensowne podsumowanie dyskusji, która miała miejsce miesiąc albo i parę miesięcy wcześniej (w przypadku projektów odrzuconych na pierwszym etapie).

Ten aspekt procedury oceniania wniosków nie zadziałał jak należy. Usprawiedliwieniem jest tylko fakt, że pragmatyka oceniania była tworzona w biegu, w trakcie pracy paneli. Sądzę – i mam nadzieję, że NCN też tak zdecyduje – że uwagi członków panelu oceniających projekt muszą być od razu pisane tak, by mogły być autorom wprost przekazywane (bo w przypadku wielu wniosków to jest jedyny materiał, który można przekazać), co wcale nie znaczy, że mają być bardzo obszerne.

Docenić ambitnych

Procedura oceniania projektów w pierwszym konkursie nie była więc doskonała. Ale niektóre komentarze krytyczne wynikają z błędnego wyobrażenia o tym, czemu NCN ma służyć. Dotyczy to w szczególności oczekiwania, że recenzje projektów mają służyć autorom pomocą w przygotowywaniu lepszych wniosków. Trzeba jasno powiedzieć, że nie jest rolą NCN zapewnienie dostępu możliwie każdemu naukowcowi do jakichś funduszy ani dbanie, żeby słabi uczeni stali się trochę lepsi, albo żeby żadnej instytucji nominalnie uprawiającej naukę nie trzeba było zamknąć. Wręcz odwrotnie, istotą reformy ma być zmiana strumienia finansowania w taki sposób, by trafiał do najlepszych i by fundusze te były przeznaczane na projekty możliwie ambitne, a nie rozdzielane w duchu „sprawiedliwości społecznej”. Ta zasada musi się przekładać na pragmatykę działania paneli oceniających projekty. Nie należy oczekiwać, że projekty z fundamentalnych powodów mierne (bo dotyczące problemów lokalnych, przyczynkarskich, i przedstawione przez naukowców niemogących się wykazać wcześniejszymi osiągnięciami), będą poddawane wnikliwym analizom, a ich autorom przekazywane cenne uwagi z podpowiedziami, jak projekty poprawić. Podobnie, jeśli zaproponowana metoda badawcza jest błędna, recenzent powinien krótko wyjaśnić, dlaczego tak uważa, ale nie jest jego obowiązkiem wskazywanie, jaka inna metoda powinna być wykorzystana.

Trzeba też zauważyć, że mniejsza jest szkoda wynikająca z tego, że jakiś dobry projekt przepadnie (bo może być ponownie przedstawiony za pół roku albo dostać finansowanie z innych źródeł), niż z przyznania funduszy ludziom, którzy publicznych pieniędzy do ręki dostać nie powinni (odzyskanie pieniędzy z nietrafnie przyznanego grantu jest trudne). Ocena wniosku to nie jest postępowanie sądowe, w którym winę trzeba udowodnić, a wątpliwości rozstrzyga się na korzyść podsądnego. Wręcz odwrotnie, wątpliwości należy rozstrzygać na niekorzyść wnioskodawcy, i to po jego stronie leży obowiązek przedstawienia projektu w taki sposób, żeby nawet złośliwy recenzent nie miał się do czego przyczepić.

Muszę podzielić się obserwacją, że niektórzy wnioskodawcy najwyraźniej tak tego nie postrzegają. Piszą wniosek o sto czy więcej tysięcy złotych, a mając do dyspozycji 15 stron, by przedstawić mocne uzasadnienie, wykorzystują tylko kilka stron, nie zadają sobie trudu, by pisać poprawnym językiem, przedstawić wyczerpujący opis planu eksperymentalnego, przekonywające uzasadnienie kosztorysu itd. Zdaje się, że żywią przekonanie, iż jakieś fundusze na badania w zasadzie należą się każdemu („sprawiedliwie”), a napisanie wniosku o grant to coś jak napisanie podania o urlop. Dla osób mających takie nastawienie udoskonalenie procedury oceniania wniosków składanych do NCN będzie oznaczało nie malejące, a rosnące rozczarowanie. Oby.