Transparentność działania jest jednym z ważnych celów Narodowego Centrum Nauki. Chcemy, by społeczność naukowa, a także i inne zainteresowane osoby, miały dostęp do czytelnych informacji wielostronnie przedstawiających działalność naszej agencji, a w szczególności pozwalających na jasną ocenę sposobu dzielenia publicznych pieniędzy na badania naukowe. Informacje te mają na ogół postać różnego rodzaju danych statystycznych. Ich użyteczność wybiega daleko poza możliwość ogólnego oglądu tego, na jakie obszary nauki czy do jakich instytucji są kierowane pieniądze dzielone w wyniku konkursów NCN. Dane te umożliwiają także monitorowanie sposobu finansowania grup badaczy na różnych etapach ich rozwoju naukowego. Pozwalają też obserwować trendy, przez porównanie wyników z poszczególnych konkursów czy lat finansowania.

Informacje statystyczne NCN umożliwiają naukowcom składającym do nas wnioski zapoznanie się na przykład ze średnimi kosztami grantów i udziałami w nich wynagrodzeń czy też czasem trwania projektów w poszczególnych dyscyplinach.

Przygotowywane przez nas statystyki mają także duże znaczenie wewnętrzne związane zarówno ze strategicznymi decyzjami dotyczącymi funkcjonowania NCN, jak i z jego operacyjnym zarządzaniem. Pozwalają na przykład na sprawdzenie, jak wywiązujemy się z ustawowych wymagań dotyczących finansowania osób rozpoczynających karierę naukową oraz na określenie obciążenia poszczególnych paneli tematycznych napływającymi wnioskami i obsługiwanymi grantami.

Dane statystyczne NCN są także bardzo precyzyjnym i obiektywnym źródłem pozwalającym porównywać krajowe jednostki naukowe w aspekcie prowadzonych przez nie badań naukowych. Dane te mogą być użyteczne zarówno dla samych uczelni czy innych instytucji naukowych, jak i dla organów je nadzorujących, czyli na przykład Ministerstwa Nauki i Szkolnictwa Wyższego.

Celem tego artykułu jest przedstawienie naszych już prawie czteroletnich działań związanych z przygotowywaniem i prezentacją różnorodnych informacji obrazujących pracę Narodowego Centrum Nauki, naszych dalszych planów w tym obszarze, a także trudności i ograniczeń, na jakie napotykamy.

Statystyki pokonkursowe i coroczne rankingi

W 2012 roku rozpoczęliśmy publikację na stronach internetowych Centrum krótkich zestawień statystycznych w formacie pdf zawierających podstawowe informacje dotyczące danego rodzaju konkursu. Potencjalni beneficjenci mogą dzięki nim śledzić nie tylko wskaźniki sukcesu wniosków składanych w danym panelu dziedzinowym NCN lub w danej grupie nauk, ale także zapoznać się z dokładnymi wynikami konkursów dla poszczególnych jednostek-beneficjentów czy też na przykład zasięgnąć informacji na temat finansowania pozyskiwanego przez kobiety i mężczyzn. Można w nich również znaleźć szereg innych informacji, na przykład ile środków i projektów przyznano w danym konkursie podmiotom mającym siedzibę w poszczególnych województwach. Zestawienia te są publikowane po rozstrzygnięciu każdego konkursu i choć zakres prezentowanych w nich informacji stopniowo ewoluuje, pozwalają na przegląd finansowania badań podstawowych w ramach poszczególnych konkursów.

Jednocześnie od zakończenia pierwszego roku pełnej działalności Centrum (2012) przedsięwzięliśmy opracowywanie i publikowanie rankingów obejmujących wszystkich beneficjentów, którym przyznano finansowanie w danym roku. Rankingi przedstawiają całkowity obraz naszej sceny grantowej, na którym podmioty prowadzące badania porównywane są nie tylko według przyznanych środków bądź według uwieńczonych sukcesem wniosków, ale także w poszczególnych grupach nauk lub kategoriach obejmujących np. dany rodzaj uczelni (ekonomiczne, medyczne, techniczne itd.).

Roczniki statystyczne

W pierwszym kwartale każdego roku sporządzamy i publikujemy w języku polskim oraz angielskim rocznik statystyczny, w którym prezentujemy, prócz ogólnych informacji na temat warunków konkursów, szereg danych o wszystkich konkursach rozstrzygniętych w danym roku. Znajdują się w nim również, dla porównania, informacje obejmujące poprzednie lata, tak aby odbiorcy mieli możliwość zapoznania się z rysującymi się trendami, na przykład w liczbie zgłaszanych, a także w liczbie finansowanych wniosków. Rocznik zawiera szereg tabel oraz wizualizacje danych w postaci wykresów. Poza informacjami o liczbach wniosków złożonych i zakwalifikowanych oraz ich wartości znajdują się w nim dane na temat samego procesu oceniania wniosków, w tym dotyczące udziału procentowego wniosków odrzucanych na kolejnych etapach oceny w następujących po sobie edycjach konkursów danego rodzaju.

Dane w roczniku są przedstawiane z podziałem na poszczególne grupy nauk, a także panele dziedzinowe, dzięki czemu można śledzić tendencje w zakresie finansowania wniosków składanych w ramach poszczególnych paneli, w kolejnych konkursach danego rodzaju. Podajemy również dane dotyczące ekspertów oceniających wnioski. W roczniku zbieramy i przedstawiamy informacje na temat jednostek przodujących w konkursach Centrum, a także klasyfikujemy je według typów beneficjentów należących do jednej z następujących kategorii: uczelnia wyższa, jednostka naukowa PAN, instytut badawczy, inne (do tej kategorii zaliczamy m.in. stowarzyszenia, fundacje, towarzystwa naukowe oraz przedsiębiorstwa).

Statystyki roczne dają również możliwość zapoznania się z udziałem kobiet i mężczyzn wśród wnioskodawców oraz laureatów konkursów Centrum, a także przedstawienia danych dotyczących obu płci w podziale na takie zmienne, jak np. grupa nauk, panel, konkurs (typ, edycja). Dzięki tym zestawieniom można śledzić prawidłowości, które pojawiają się w danych obszarach nauki w tym względzie. Na przykład analiza udziału procentowego kobiet i mężczyzn wśród laureatów konkursów NCN rozstrzygniętych w roku 2013 w poszczególnych panelach dyscyplin wskazuje na znaczącą przewagę mężczyzn w panelach z obszaru nauk ścisłych i technicznych, nieznaczną większość kobiet w panelach grupy nauk o życiu i na równowagę lub nieznaczną przewagę mężczyzn w panelach grupy nauk humanistycznych, społecznych i o sztuce.

Dzięki danym pozyskiwanym z wniosków, w roczniku można również zapoznać się ze strukturą wiekową autorów wniosków oraz laureatów konkursów (np. ponad 60% wnioskodawców konkursów rozstrzygniętych w 2013 roku to osoby, które nie przekroczyły 40. roku życia). Prezentujemy tam również zestawienia dotyczące etapu kariery naukowej, tj. informacje na temat liczby wniosków składanych przez osoby posiadające tytuł naukowy profesora bądź stopień naukowy doktora lub doktora habilitowanego. Osobnym punktem jest zestawienie obejmujące konkursy przeznaczone dla osób rozpoczynających karierę naukową.

Dysponując zagregowanymi danymi pochodzącymi z zakwalifikowanych wniosków, przedstawiamy ich charakterystykę pod kątem czasu trwania projektów, zaplanowanych kosztów ogółem czy też udziału wynagrodzeń w kwotach wniosków składanych w danym rodzaju konkursów. Informacje te mogą być szczególnie użyteczne dla osób zainteresowanych ofertą konkursową NCN i stanowić punkt odniesienia podczas planowania swojego projektu badawczego.

Ważnym obszarem omówionym w roczniku jest współpraca międzynarodowa. Z jednej strony prezentujemy dane na temat głównych kierunków współpracy międzynarodowej wskazywanych w projektach składanych i wybranych do finansowania w konkursie HARMONIA na projekty badawcze realizowane w ramach współpracy międzynarodowej, z drugiej strony podajemy programy międzynarodowe, w które angażuje się Centrum. Dzięki danym zawartym w roczniku można również poznać skalę zaangażowania ekspertów z zagranicy w ocenę wniosków w drugim etapie oceny merytorycznej, ze szczególnym uwzględnieniem grup nauk, a także krajów pochodzenia ekspertów. Przypisanie ekspertów do poszczególnych krajów bywa niekiedy trudne. Dotyczy to na przykład naukowców, którzy wyjechawszy z Polski przed laty, wskazują ją jako kraj pochodzenia, pracując jednocześnie wyłącznie w uniwersytetach zagranicznych.

Sprawozdania roczne

Szczegółowych informacji na temat działalności NCN dostarcza „Sprawozdanie roczne z działalności Narodowego Centrum Nauki”, dostępne na stronie Biuletynu Informacji Publicznej Centrum w zakładce „Plany, sprawozdania i inne dokumenty – Sprawozdania z działalności”. Centrum jest zobowiązane do przygotowywania na początku każdego roku tego rodzaju dokumentu. Można w nim znaleźć nie tylko zestawienia tabelaryczne na temat poszczególnych typów konkursów, ale również szereg informacji na temat działalności Rady NCN, dyrektora, a także komisji odwoławczej czy współpracy z ekspertami oceniającymi wnioski, działalności kontrolno-nadzorczej Centrum, współpracy międzynarodowej dwu– i wielostronnej. Znajdują się w nim również bardziej szczegółowe informacje dotyczące organizacji pracy biura NCN w danym roku oraz sprawozdanie z wydatków na zadania realizowane przez Centrum.

Na podstawie danych ze sprawozdania rocznego przygotowujemy i wydajemy drukiem syntetyczne raporty roczne w języku polskim i angielskim, które są przeznaczone dla szerokiego kręgu odbiorców.

Statystyki dynamiczne

W ubiegłym roku uruchomiliśmy na stronie NCN narzędzie pozwalające użytkownikom zewnętrznym na samodzielne wygenerowanie szeregu zestawień w różnych przekrojach (np. grupy nauk, panele, konkursy, lata, jednostki-beneficjenci, województwa), a także pobranie ich w celu prowadzenia dalszych samodzielnych analiz (plik w formacie .csv). Dzięki temu możemy udostępniać dane na bardziej szczegółowym poziomie niż zagregowane i przeglądowe informacje znajdujące się we wspomnianych wcześniej sprawozdaniach. Dane te będą cyklicznie aktualizowane co najmniej raz w roku, po rozstrzygnięciu wszystkich zaplanowanych na dany rok konkursów.

Listy członków zespołów ekspertów

Pod koniec każdego roku publikujemy na stronach internetowych NCN alfabetyczne listy członków zespołów ekspertów oceniających wnioski w konkursach rozstrzygniętych w danym roku wraz z ich tytułem bądź stopniem naukowym. Pozwala to na zgrubną ocenę procesu doboru ekspertów, a także stanowi rodzaj wyróżnienia dla pracujących w procesie oceny osób. Wprawdzie obowiązuje nas ustawowa zasada niejawności zarówno ekspertów wewnętrznych (członków zespołów ekspertów), jak i zewnętrznych (oceniających podczas II etapu oceny wniosków), jednak przyjęliśmy, że nie zostanie ona naruszona przez upublicznienie szerokiej listy nazwisk ekspertów współpracujących z NCN, bez powiązania ich z konkretnymi panelami czy konkursami.

Wyniki badania opinii interesariuszy

Na stronie internetowej NCN publikujemy sprawozdania z wyników badań prowadzonych lub zamawianych przez Centrum. Mają one na celu przedstawienie działalności analitycznej Centrum, a jednocześnie pozwalają na zaprezentowanie problemów identyfikowanych przez NCN i informacji przekazywanych do Centrum ze środowiska naukowego. Obejmują one badania opinii wnioskodawców, ekspertów oceniających wnioski oraz pracowników administracyjnych jednostek naukowych.

Plany na rok 2015

Obecnie kończy się lub już została zakończona znakomita większość projektów realizowanych w ramach pierwszych konkursów NCN (np. PRELUDIUM 1, OPUS 1). Dzięki danym pochodzącym z raportów końcowych składanych do Centrum, będzie można dokonać wstępnego przeglądu policzalnych rezultatów konkursów, tj. na przykład liczby publikacji, zatrudnionych osób, utworzonych etatów, uzyskanych stopni naukowych czy też ilości oraz rodzaju zakupionej aparatury badawczej. Zestawienia te mogą być szczególnie cenne nie tylko z powodów sprawozdawczych, lecz także w kontekście przygotowań do ewaluacji wyników działań i konkursów Centrum.

Planujemy także „zejście” w przygotowywanych i udostępnianych statystykach, również dynamicznych, na poziom wydziałów, co pozwoli uczelniom przyglądać się wynikom w ramach danej szkoły wyższej oraz odnosić się do wyników wydziałów innych uczelni. Będziemy podawać wielkości strumieni finansowania, które płyną do danej uczelni za przyczyną poszczególnych jej jednostek, a także informować o współczynnikach sukcesu poszczególnych wydziałów. Warto przy tym zauważyć, że w dziale dotyczącym wyników konkursów na stronie Centrum prezentujemy już informacje nie tylko dotyczące jednostek-beneficjentów z uwzględnieniem odpowiednich wydziałów, ale także nazwiska wnioskodawców-laureatów.

Zwiększająca się liczba wnioskodawców z zagranicy skłania nas do przygotowywania statystyk dotyczących ich udziału w finansowaniu oferowanym przez NCN. Chcielibyśmy także przygotować i udostępnić informacje na temat częstotliwości występowania oraz sukcesu tzw. pomocniczych określeń identyfikujących, inaczej mówiąc deskryptorów, za pomocą których wnioskodawcy oznaczają szczegółowo swoje wnioski. Umożliwiałoby to lepsze zidentyfikowanie dyscyplin, w ramach których wnioskodawcy ubiegają się o finansowanie oraz tych, którym rzeczywiście jest ono przyznawane.

Problemy i ograniczenia

Mimo że dysponujemy pokaźną ilością informacji pochodzącej głównie z wniosków, a ostatnio również z raportów rocznych i końcowych, napotykamy w przygotowywaniu danych na szereg trudności, których kilka przedstawimy poniżej.

Spójrzmy na przykład na deklarowane wynagrodzenia oraz zaangażowanie osób wskazywanych we wnioskach. Znając kwotę przeznaczoną na wynagrodzenia w każdym wniosku i liczbę deklarowanych wykonawców popełnialibyśmy istotne nadużycie, wskazując średnie zarobki jednej osoby, ponieważ w liczbie wykonawców znajdują się osoby pełniące rolę kierowników projektów, rzeczywistych wykonawców, ale również partnerów zagranicznych czy opiekunów naukowych, którzy z definicji nie pobierają honorariów. Jednocześnie osoby zatrudnione w projektach mogą wykonywać swoje zadania na podstawie umowy cywilnoprawnej, wskazują również etat, pół etatu bądź nawet drobną część etatu jako podstawę swojego zaangażowania. Zdarzają się również przypadki, gdy nawet kierownicy projektów nie pobierają żadnego wynagrodzenia. Co więcej, wśród wykonawców mógł się znaleźć tzw. wykonawca zbiorowy, zatrudniony do wykonania pewnej większej pracy, na przykład zbierania danych ankietowych. Wszystko to skutecznie zaburza wyliczenia średnich wartości niosących jakiekolwiek praktyczne informacje. Dodatkowo, pełne analizy wykonawców, w tym kierowników projektów realizujących badania finansowane przez NCN w danym konkursie lub w kilku projektach prowadzonych równolegle, będą możliwe dopiero po złożeniu przez beneficjentów wszystkich raportów końcowych w danym konkursie, co wobec kilkuletnich zazwyczaj grantów kreśli odległą perspektywę czasową. Istotną rolę w prowadzeniu na potrzeby Centrum działalności badawczej odgrywają ograniczenia prawne związane z przetwarzaniem danych osobowych.

Ze względu na niejawność osób oceniających wnioski nie publikujemy również zestawień członków zespołów ekspertów, o których była mowa powyżej, pod względem ich pochodzenia z danej jednostki naukowej. Warto przy tym dodać, że wielu ekspertów wskazuje afiliacje w więcej niż jednej instytucji, co skutecznie naruszałoby wiarygodność tego rodzaju zestawienia.

Warto również pamiętać, że w zespole ds. analiz i ewaluacji NCN odpowiedzialnym za przygotowywanie i upublicznianie danych statystycznych są zatrudnione tylko dwie osoby, co niewątpliwie wpływa na jego możliwości. Ograniczenie to wynika z wielkości części budżetu agencji przeznaczonego na płace. Mimo to Centrum upublicznia wiele syntetycznych informacji na temat swojej działalności, instytucji i osób otrzymujących finansowanie, a także związanych z procesem oceny wniosków i uzyskanych wyników. Czynimy wysiłki, aby publikowane przez nas dane statystyczne dobrze odpowiadały na zapotrzebowanie zarówno świata nauki, jak i innych zainteresowanych osób i instytucji.