Od wielu lat polskie i zagraniczne raporty wskazują na zarządzanie (przejrzysty cykl polityki składający się z etapu rozpoznawania problemów, ustalania priorytetów, analizy polityki, wyboru instrumentów, konsultacji, koordynacji, decyzji, wdrażania i ewaluacji) jako na kluczową dźwignię poprawy skuteczności polityki naukowej i innowacyjnej.

Ewaluacje jako element zarządzania polityką

W krajach zachodnich ewaluacja działalności B+R finansowanej ze źródeł publicznych to nieodzowna część zarządzania nauką na każdym jego szczeblu. Ewaluacja polityk próbuje określić, w sposób możliwie systematyczny, ocenę wartości interwencji publicznej w odniesieniu do pewnych ustalonych wcześniej kryteriów.

Jak świadczą serwisy informacyjne (Erawatch), ewaluacja polityki naukowej i innowacyjnej (polityki te coraz częściej łączy się ze sobą, nie tylko w nazwie Dyrekcji Komisji Unii Europejskiej) stała się standardem w krajach UE i OECD. Na praykład w Austrii zaczęto ją przeprowadzać od roku 1991. W roku 1996 założono Research and Technology Policy Evaluation Platform, skupiającą ministerstwa, agencje, instytucje naukowe i think tanki zainteresowane zagadnieniami ewaluacji; dotychczas przeprowadzono ok. 180 ewaluacji.

Jak podkreśla Science, Technology and Industry Outlook OECD 2012, zadaniem ewaluacji jest dostarczenie informacji, czy interwencje publiczne były przeprowadzone zgodnie z zamierzeniem i czy były skuteczne. W zasadzie wszyscy się zgadzają, że każda interwencja publiczna powinna podlegać ewaluacji, nie ma jednak zgody co do tego, kiedy ją przeprowadzać, na jakim poziomie i według jakich metod.

Zazwyczaj ewaluacje dzieli się według kryterium czasu (ex ante, interim, ex post), typu pytań (np. wkład, cel, produkt, proces, wpływ), obiektu, faktu, czy wyniki ewaluacji są wykorzystywane do określenia wielkości finansowania itd. W dziedzinie nauki i innowacji ewaluacji podlegają projekty, organizacje (agencje grantowe, uczelnie, pozauczelniane instytuty badawcze), programy i instrumenty, a nawet całokształt systemu B+R i innowacji oraz całość polityki (tzw. ocena „mieszanki polityki”). Ewaluacje polityk (programów i instrumentów) starają się ustalić wkład, produkty oraz tzw. dodatkowość (behavioural additionality) interwencji, czyli np. odpowiedzieć na pytanie, w jakim zakresie uzupełnia ona, a w jakim zastępuje działania biznesu (np. zachęty podatkowe, kwestia o większym znaczeniu w krajach zaawansowanych), oraz jaki wywiera wpływ i na czym ten wpływ polega. Pod pojęciem wpływu rozumie się bezpośrednie i długofalowe oddziaływanie zarówno na samą naukę, jak i na świat zewnętrzny (np. wzrost współpracy badawczej, poprawa jakości badań, zwiększenie zatrudnienia itd.).

Same przez się ewaluacje nie gwarantują, że w ich następstwie oceniane programy staną się bardziej skuteczne, a w konsekwencji poprawią się parametry obszaru interwencji (np. publicznego sektora nauki, działalności innowacyjnej przedsiębiorstw); wszystko zależy od tego, jak przeprowadzi się ocenę i jakie wyciągnie wnioski praktyczne z jej ustaleń.

Jak podkreśla dalej Science, Technology and Industry Outlook, ewaluacje stoją przed tymi samymi wyzwaniami, co same polityki: dotyczą złożonych zjawisk, obejmujących wiele zagadnień i instytucji. Pomiar społecznego i gospodarczego wpływu polityki jest trudny metodologicznie. Dodatkowo trudność przeprowadzania ocen zwiększa rosnące umiędzynarodowienie badań, innowacji i polityk. Jednak rządy starają się zaradzić trudnościom: zlecają „metaewaluacje”, wprowadzają ujednolicone ramy prawne, publikują standardowe procedury, czasami wzmacniają koordynację pomiędzy instytucjami przeprowadzającymi ewaluacje, czasami powołują specjalne agencje ds. ewaluacji.

W ostatnich latach ogłaszają także programy badań nad polityką naukową i innowacyjną.

Badania nad polityką

Wieloletnie programy badawcze rozwoju narzędzi analitycznych polityki naukowej i innowacyjnej (w formie tematycznych konkursów grantowych) ogłosiły Stany Zjednoczone, Japonia i Norwegia. Program amerykański, administrowany przez National Science Foundation, nosi nazwę Science on Science and Innovation Policy; program norweski, nazwany Baza wiedzy dla polityki naukowej i innowacyjnej, jest zarządzany przez norweską Radę ds. Badań Naukowych. Programy te pokazują obustronny związek pomiędzy ewaluacjami polityk a badaniami nad polityką naukową i innowacyjną.

Badania nad polityką naukową i innowacyjną (science and innovation policy studies) to interdyscyplinarne pole badań naukowych, legitymujące się własnymi ośrodkami badawczymi, czasopismami, encyklopediami, podręcznikami, konferencjami. Badania te są „zawieszone” pomiędzy nauką akademicką a analizą polityk; mają charakter stosowanych nauk społecznych, korzystają z dorobku takich dyscyplin, jak ekonomia, socjologia, organizacja i zarządzanie oraz nauki polityczne; zajmują pozycję pośrednią i pełnią funkcję pomostu między wiedzą akademicką, rozwijaną dla osiągania pozycji w środowisku naukowym, a wiedzą ekspercką, tworzoną na potrzeby decyzyjne w ministerstwach i agencjach ds. nauki i innowacji. Pozycji pośrednika odpowiada zróżnicowanie typów instytucji rozwijających te badania (instytuty uniwersyteckie, rządowe i unijne, uczelniane centra międzywydziałowe, think tanki, departamenty organizacji międzynarodowych), zróżnicowanie ról, jakie pełnią specjaliści (badacze akademiccy, eksperci, analitycy rządowi) oraz form finansowania (granty badawcze, kontrakty organizacji rządowych i międzynarodowych, zlecenia firm, organizacji przedsiębiorców oraz partii politycznych).

Od początku wpływ na to pole badań naukowych mają organizacje międzynarodowe, jak OECD, Bank Światowy i UNESCO oraz Unia Europejska, jako twórcy norm metodologicznych (np. Podręcznik Frascati), zestawów wskaźników (np. na potrzeby monitoringu Europejskiej Przestrzeni Badawczej) oraz syntez problemowych opartych na benchmarkingu sytuacji w obszarze badań i innowacji oraz stosowanych polityk w różnych krajach.

Ostatecznym celem omawianych badań jest uzyskanie wiedzy na temat skuteczności istniejących polityk oraz warunków skuteczności przyszłych polityk; to zakłada porównywanie danych i informacji na osiach:

wkład – proces – produkt – efekty (np. wkład – finansowy i osobowy; proces – badania służące tworzeniu danych i ustaleń naukowych oraz nowej aparatury; produkty – nowe publikacje, patenty, prototypy, know how oraz nowe firmy zaawansowanych technologii; efekty – nowe miejsca pracy, odprowadzone podatki); czasu (kierunek zmian); geografii (porównania międzyregionalne, międzynarodowe).

W ten sposób badania te są rodzajem zaplecza poznawczego ewaluacji i innych zadań polityki naukowej.

Jedną z ważnych podstaw badań nad polityką naukową i innowacyjną są wielkie bazy danych, takie jak np. amerykańska „Star Metrics” czy brazylijska „Lattes Platform”. Szkolenia, warsztaty i konferencje służą dyskusji nad narzędziami; wzorcowa jest pod tym względem amerykańska publikacja Measuring the Impacts of Federal Investments in Research (2011).

Pomiędzy światem badań nad polityką naukową i innowacyjną a światem ewaluacji znajdują się coraz bardziej popularne scoreboardy, rankingi i monitory, które opierają się na koncepcjach badawczych, a służą także jako źródło oceny polityk.

Ewaluacja polityki naukowej w Polsce

W Polsce ewaluacja polityk nabiera stopniowo coraz większego znaczenia, stając się (choć nie tak szybko, jak byśmy chcieli) elementem działań administracji publicznej.

Obowiązek ewaluacji wynika zarówno z aktów prawa krajowego, jak i międzynarodowego. Od kilku lat ewaluację przedsięwzięć finansowanych ze środków unijnych, zarówno na poziomie strategicznym, jak i operacyjnym (programów i instrumentów), rozszerza się u nas na inicjatywy finansowane ze środków krajowych.

Inicjatorami zmian są zarówno Kancelaria Premiera (m.in. program zrealizowany przez Ernst & Young), jak i Ministerstwo Administracji i Cyfryzacji oraz poszczególne resorty, szczególnie Ministerstwo Rozwoju Regionalnego oraz Ministerstwo Nauki i Szkolnictwa Wyższego. W celu przeprowadzania ewaluacji powołuje się odrębne jednostki w ramach ministerstw, agencji oraz instytucji administrujących środkami publicznymi na badania (np. Ministerstwo Nauki i Szkolnictwa Wyższego, Ministerstwo Gospodarki, Ministerstwo Rozwoju Regionalnego, PARP, NCBiR, NCN, Fundacja na rzecz Nauki Polskiej, OPI).

Powoli kształtuje się środowisko ewaluatorów polityki naukowej i innowacyjnej. Są organizowane pierwsze spotkania (np. konferencja MNiSW Koncepcja systemu ewaluacji polityki naukowej w Polsce 3 grudnia 2010, czy spotkanie w ramach Czwartku u Ekonomistów PTE 15 marca 2012 z udziałem Agnieszki Bryl (Ernst & Young), Agnieszki Tokaj-Krzewskiej (NCBiR), Agnieszki Haber (PARP), Michała Kołodziejskiego (NCN), Marty Łazarowicz (FNP), Barbary Warzybok (OPI), prof. Stanisława Kubielasa (UW). Ukazują się pierwsze podręczniki (np. raport Ośrodka Przetwarzania Informacji Jak ewaluować i monitorować efekty projektów sektora B+R i szkolnictwa wyższego 2012, pod red. Barbary Warzybok i Pawła Kościeleckiego). Pojawiają się pierwsze zakładki na portalach (np. na stronie MNiSW, http://www.nauka.gov.pl/nauka/polityka-naukowa-panstwa/ewaluacja/).

Rozwój ewaluacji polityki naukowej jest objęty przez program Wsparcie systemu zarządzania badaniami naukowymi oraz ich wynikami w ramach PO IG.

Ewaluacja polityki naukowej staje się konieczna z powodu postępującej decentralizacji zarządzania nauką, wzrostu liczby jej instrumentów oraz wzrostu nacisku UE na stosowanie standardów administracyjnych. Obecnie w Polsce funkcjonuje ponad 100 instrumentów finansowych polityki naukowej i innowacyjnej administrowanych przez 9 organizacji. Tak wielka liczba instrumentów i ich administratorów nie pozwala na nieskoordynowane projektowanie nowych instrumentów bez zbadania skuteczności oraz wzajemnego wpływu już istniejących. Ewaluacje polityki naukowej – w Polsce stosunkowo od niedawna – są uzupełnieniem stosowanej znacznie dawniej ewaluacji badań naukowych (finansowanie statutowe, KEJN, finansowanie projektów badawczych oraz finansowanie blokowe na zasadach konkursu, KNOW).

Rozwój prowadzonych w Polsce badań nad polityką naukową i innowacyjną, które jak dotąd są stosunkowo anemiczne, fragmentaryczne i nieskoordynowane, jest konieczny, jeśli ewaluacje polityki mają być dobre i skuteczne. Wydaje się, że baza POL-on będzie ważnym źródłem danych do takich badań.

Dylematy ewaluacji polityk

Rozwijanie ewaluacji polityk, a zwłaszcza ewaluacji programów i instrumentów, nie jest łatwe, gdyż wymaga wielu trudnych rozstrzygnięć i nie może polegać na prostym „zakupie technologii (ewaluacji) pod klucz”.

Wprowadzanie zasad efektywności w stosunku do badań naukowych finansowanych ze środków publicznych budzi do dziś w środowiskach naukowych sprzeciw, gdyż normy i wartości, którymi kierują się badacze, są z reguły przeciwne polityce i zarządzaniu. Istnieje realny dylemat, przed jakim stoją politycy i naukowcy, w jaki sposób zwiększyć efektywność badań naukowych i ukierunkować je silniej na potrzeby społeczne, nie tracąc przy tym korzyści płynących z pozostawienia badaczom znacznej swobody w wyborze celów i metod badań.

W badaniach naukowych (podobnie jak w działalności innowacyjnej) porażka jest najcenniejszym źródłem doświadczeń. Z drugiej strony, sukces badawczy i innowacyjny jest nieraz owocem łutu szczęścia, przypadku, koniunktury. Nie zawsze wiadomo jednak, w jaki sposób to uwzględnić w ewaluacji.

Ewaluacje odnoszą się do stopnia realizacji celów programów i instrumentów, a cele mogą mieć ujemne skutki uboczne. Np. nacisk na kryteria akademickie może wzmacniać konserwatyzm środowiska naukowego oraz odciągać badaczy od dydaktyki i powiązań badań ze światem praktyki. Nacisk na konkurencję pomiędzy instytucjami może zabijać potrzebę i ducha współpracy. Dlatego tak ważna jest – oprócz ewaluacji poszczególnych narzędzi polityki – ocena jej całokształtu.

W ewaluacji programów i instrumentów, tak jak i w innych ewaluacjach, chodzi zarówno o formalną legitymizację, jak i o rozumienie. Jest ważne, żeby formalna legitymizacja (instrument został użyty odpowiednio, pieniądze nie zostały zmarnotrawione) nie zastąpiła rozumienia. Czasem uważa się, że legitymizację można oprzeć nawet na łatwo dostępnych wskaźnikach, zebranych w urzędzie, bez analizy ich znaczenia (co naprawdę mierzą, w jaki sposób korelują z innymi wskaźnikami, jakie czynniki mają na nie wpływ itd.) oraz uzyskanych wartości (w jaki sposób efekty programu wpłynęły na wskaźnik, czy istniała grupa kontrolna itd.). Wskaźniki łudzą obiektywizmem. Wydaje się, że wystarczy przyjąć pewną wartość bazową, różną od aktualnej, i założyć, że dzięki realizacji polityki (programu, instrumentu) wartość ta będzie się zmieniać – będzie rosnąć (np. udział polskich publikacji w puli światowych) lub spadać (np. śmiertelność niemowląt). Jednak związek pomiędzy interwencją a jej efektami bywa znacznie bardziej złożony. Nie zawsze pamięta się, że wskaźniki są wynikiem subiektywnych wyborów (np. jak liczyć publikacje autorów pochodzących z różnych krajów), a oprócz interwencji na efekty wpływa bardzo wiele innych, nie zawsze łatwo uchwytnych i mierzalnych, czynników.

Do zrozumienia, czy instrument był potrzebny, czy słusznie ustalono jego cele, czy sformułowano odpowiednie zadania, czy administrowanie było właściwe, jakie rezultaty i efekty osiągnięto – potrzeba jednak czegoś więcej. Nie tylko dobrego użycia statystyk, ale także badawczości ewaluatorów, ich dociekliwości, wnikliwości, kreatywności, a nawet pewnej umiejętności eksperymentowania z metodami. Sięgnięcia, jeśli trzeba, nie tylko po metody ilościowe, ale i jakościowe – wywiady indywidualne i fokusowe, ankiety on-line itd.

Podczas ewaluacji instrumentu ewaluatorzy powinni patrzeć szerzej niż na sam tylko instrument. Powinni także brać pod uwagę jego współgranie z innymi inicjatywami (tzw. policy mix) oraz kwestię, w jaki sposób stosowanie instrumentu tworzy nową sytuację potrzebną do osiągnięcia długofalowych celów polityki rządowej (np. poprawia kompetencje transferowe badaczy, potrzebne w perspektywie dościgania czołówki gospodarczej i technologicznej kraju). Ocena skupiona na samym tylko instrumencie może zaowocować opinią, że był skuteczny, gdyż osiągnął założone cele, a zatem powinien być kontynuowany, podczas gdy w rzeczywistości spowodował on niekorzystną zmianę zachowań beneficjentów – np. instrument premiujący osiągnięcia badawcze uczelni osłabił prowadzoną przez nie dydaktykę.

Metody ewaluacji nie powinny być przypisane z góry raz na zawsze, tylko dostosowane do przedmiotu i celu ewaluacji. Ewaluatorzy powinni mieć wpływ na dobór metod. W ten sposób ewaluacja wniesie wkład do cyklu polityk.