Koniec statystyki jaką znamy

czyli kłopot z wiedzą ekspercką

Jan Kozłowski

Zmiany drążą OECD (Organizację Współpracy Gospodarczej i Rozwoju). Organizacja, w latach 60. klub bogatych białych zachodnich dystyngowanych mężczyzn, dziś daleko odeszła od swoich korzeni. Nie jest to dzisiaj klub bogatych, coraz więcej w nim państw średniozamożnych. Nie jest to także klub białych; na posiedzeniach grup eksperckich widać wszystkie kolory skóry. Mężczyźni nie dominują, na pierwszy rzut oka widać równowagę płci. Marynarki i żakiety nadal przeważają, ale spotyka się też swetry lub nawet stroje narodowe, afrykańskie i hinduskie. Miejscem zebrań przestał być pałac La Muette, mający przeszłość królewską (dom myśliwski królów Francji dla polowań w pobliskim lasku bulońskim) oraz arystokratyczną (Rotschildowie). Teraz posiedzenia odbywają się w ekologicznym, przeszklonym aneksie. Delegatami państw bywają coraz częściej osoby urodzone w innych państwach; nikogo nie dziwi, kiedy Wielką Brytanię reprezentuje nie flegmatyczny Anglik, tylko głośna i rozgestykulowana Hiszpanka. OECD z każdym rokiem rozszerza się, nie tylko obejmując coraz więcej krajów członkowskich, ale także poszerzając zasięg współpracy. Od roku księgarnia OECD sprzedaje także – prócz wydawnictw organizacji – światowe bestsellery, wśród nich książki Naomi Klein. Jeszcze kilka lat temu Naomi Klein w księgarni czołowej organizacji światowego kapitalizmu wyglądałaby jak traktat Bertranda Russela wśród książek sprzedawanych w sanktuarium licheńskim.

Wolniej zmieniają się procedury posiedzeń. Najwolniej zmienia się grupa NESTI, czyli National Experts on Science and Technology Indicators.

Ofiara sukcesu

NESTI jest ofiarą swojego sukcesu. Jest jedną z najstarszych grup eksperckich – działa nieprzerwanie od roku 1962. Jej wielką zasługą jest wprowadzenie wspólnych standardów metodologicznych dla statystyki nauki, techniki i innowacji. To NESTI opracowała podstawowe podręczniki określające definicje, klasyfikacje i metody zbierania danych – B+R (podręcznik Frascati), innowacji (podręcznik Oslo), patentów, technologicznego bilansu płatniczego i wielu innych. Bez porównań międzynarodowych statystyka zdana jest tylko na porównania szeregów czasowych. Nie może służyć do benchmarkingu krajów. Bez takiego benchmarkingu polityka oparta na dowodach zawisa w próżni.

Nie bez powodu w OECD uznaje się NESTI za najlepszą grupę ekspercką organizacji. Członkowie NESTI są świadomi wartości grupy i jej chlubnej tradycji. W roku 2012, w pięćdziesięciolecie grupy, mieli oni sposobność odkrojenia sobie sążnistego plastra z gigantycznego okrągłego tortu – wielkości blatu stołu, z pięćdziesięcioma świeczkami – upieczonego na obchody rocznicy.

W spotkaniach grupy nadal bierze udział Allison Young, „matka” Podręcznika Frascati , pierworodnego i najważniejszego dziecka NESTI (dzisiaj w świecie bardziej znana jest wirtualna Allison Young – bohaterka serialu Terminator ). Obecność Allison Young, żywego pomnika, nie pozwala zapomnieć o tradycji grupy (Podobnie – jak do śmierci w roku 2010 – także naukowa aktywność Christophera Freemana, ekonomisty uznawanego za „ojca” Frascati Manual ).

Jedna, nieprzerwana linia sukcesu to najkrótsza droga do klęski. Sukces wzmacnia rutyny – po co je zmieniać, kiedy wszystko idzie jak po maśle? Sukces eksponuje kapłanów i odstawia do kąta błaznów. „Ojcobójstwo” i „matkobójstwo” – niezbędny zabieg w rozwoju każdego pola badań – nie są możliwe, gdy tradycji zapala się świeczki.

Kapłan i błazen

W znanym eseju Kapłan i błazen Leszek Kołakowski opisuje życie intelektualne jako dychotomię między filozofią strzeżenia absolutu i filozofią podważającą wszelkie absoluty. Kapłan jest dostojny i strzeże tradycji, błazen impertynencki i kwestionuje wszystkie oczywistości. Kapłan chwali to, co ostateczne i zamknięte, błazen wspiera to, co otwarte, paradoksalne, różnorodne. Napięcie pomiędzy kapłanem i błaznem jest nieuniknione, gdyż każdy reprezentuje cnoty niezbędne w działalności poznawczej: bez kapłana nie ma spójnego celu, bez błazna – dociekliwości.

Kapłani są członkami systemu władzy, błazny – spoza systemu, podobni średniowiecznym wagabundom. Kapłani najczęściej zajmują stanowiska w organizacjach międzynarodowych, błazny atakują przeważnie świat władzy, pracując w instytucjach akademickich lub w organizacjach pozarządowych. Zdarza się czasem, że „błaznów” – w uznaniu ich eksperckich kompetencji – zaprasza się jako ekspertów międzynarodowych, nauczycieli polityków i urzędników. Jeśli tylko książę ma otwarty umysł i szczerą wolę przeprowadzenia reform, dostęp do swego ucha zapewnia i jednym, i drugim.

Dychotomia Kołakowskiego bliska jest koncepcji „dwóch biegunów” Thomasa Kuhna. „Tylko badania mocno zakorzenione w tradycji – pisze Kuhn – mają szansę na złamanie tej tradycji i zrodzenie nowej”. Uczony winien zinternalizować złożony zespół intelektualnych i instrumentalnych zaleceń, aby je odrzucić. „Praca w ramach określonej i dobrze zakorzenionej tradycji wydaje się o wiele bardziej owocna pod względem innowacji podważających tę tradycję niż praca nieoparta na wspólnych, niealternatywnych wzorcach”. Nowe teorie nie pojawiają się na pustym miejscu, tylko w ramach stałych (ugruntowanych) teorii i starych (ugruntowanych) przekonań.

To jedna strona medalu. Druga jest taka, że bez osób kwestionujących zastaną tradycję ta przekształca się w stojącą wodę. „Cieszący się powodzeniem uczony musi bardzo często okazywać zarazem i cechy tradycjonalisty, i obrazoburcy”. Ponieważ, jak stwierdził Kołakowski, na dworze króla jest z reguły więcej kapłanów niż błaznów, tym bardziej błazny zasługują na wysłuchanie.

Instytucjonalnym kapłanem jest grupa NESTI. Kapłaństwa NESTI broni jej misja, procedury i rutyny. Członkami NESTI są statystycy z OECD, statystycy z innych organizacji międzynarodowych (np. UNESCO i Unii Europejskiej) oraz – przede wszystkim – przedstawiciele państw członkowskich, najczęściej dwóch: reprezentant urzędu statystycznego oraz ministerstwa ds. nauki. Misją NESTI jest „zapewnić stałe doskonalenie metodologii gromadzenia danych porównawczych na poziomie międzynarodowym dla pomiaru wkładu, produktu, upowszechnienia i wpływu nauki, technologii i innowacji (w tym ich powiązań ze wzrostem gospodarczym)”. Punktem kulminacyjnym prac NESTI są przygotowania do kolejnych edycji jej najważniejszych podręczników. Nowe edycje uwzględniają uwagi i zastrzeżenia do obowiązujących norm. Metody statystyki, jak i wszystkie struktury, z czasem rozchodzą się z życiem; NESTI próbuje tak je przekształcać, aby odchylenie nie było zbyt duże. Nawiązując do Kuhna można powiedzieć, że NESTI stara się ratować istniejące paradygmaty gromadzenia danych przez periodyczne (nowe edycje podręczników) uwzględnianie dostrzeganych z biegiem lat anomalii. „Wiele trzeba zmienić, by wszystko zostało po staremu”.

Jednym ze źródeł sukcesu NESTI jest fakt, że jej członkowie to przeważnie sami producenci danych – statystycy. Wzajemnie rozumieją się lepiej niż członkowie rodziny, bo ci ostatni najczęściej pracują w różnych zawodach, a nie w tej samej, dość wąskiej specjalności. W zebraniach i pracach NESTI biorą udział latami. Kiedy odchodzą na emeryturę, zastępują ich koledzy, którym – jak dawniej rzemieślnicy – przekazali swój kunszt. Następcy są jak klony swoich mistrzów i poprzedników. Wszystko to ułatwia porozumienie, porozumienie z przeszłością i porozumienie podczas każdej dyskusji. Prowadzi jednak do „myślenia grupowego”.

Ktoś powiedział, że jeśli zbyt dobrze się rozumiemy, to znaczy, że jesteśmy w głębokim błędzie. NESTI rozwiązuje problemy, ale tylko takie, które dają się sformułować w ramach podzielanego wspólnie sposobu myślenia. Nie dostrzega takich, które wymagałyby innych ram koncepcyjnych i innego poziomu rozumienia spraw będących przedmiotem metodologicznych dyskusji. Jak wiadomo, nieraz tego właśnie wymaga sformułowanie trafnego problemu i znalezienie dla niego rozwiązania.

Rytuał i karnawał

Swój krytycyzm wobec obowiązujących zasad metodologicznych członkowie NESTI ostrożnie miareczkują, aby nie osiągnął poziomu krytycznego. Wprowadzają innowacje inkrementalne (usprawniające), a nie radykalne. Usuwają anomalie w paradygmacie, nie szukają nowego paradygmatu. W końcu statystyka lubi ciągłość. Wiedzą, że nie mogą podciąć gałęzi, na której siedzą. Od statystyki zależy nie tylko ich kariera, lecz także los setek analityków zatrudnianych w uczelniach, instytutach, think tankach, organizacjach międzynarodowych. Taka np. statystyka innowacji to przecież surowiec dla gałęzi przemysłu produkującej książki, artykuły i dokumenty polityczne, których osią jest innowacyjność. Co by się stało z tyloma karierami, gdyby się okazało, że „innowacja” to nie rzecz, tylko mgła? „Koszty utopione” byłyby trudne do oszacowania.

Tę ciągłość najlepiej dostrzec w tych rzadkich chwilach, gdy zostaje przerwana. A jednak na tak zrytualizowanych posiedzeniach zdarzają się chwile szaleństw.

Kapłani z reguły trzymają się swojej roli, rzadko pozwalając sobie na chwilowe zrzucenie szat kapłańskich. Takim niezapomnianym zerwaniem z rolą kapłańską była kilka lat temu nieprzewidziana i niezapowiedziana dyskusja podczas posiedzenia grupy NESTI, kiedy eksperci kwestionowali sens, znaczenie i użyteczność pojęcia innowacji. Było to tylko możliwe podczas wewnętrznego posiedzenia i „za zamkniętymi drzwiami”. Nagle okazało się, że wszyscy oni mieli wątpliwości, których normalnie nie ujawniali, przestrzegając niepisanego rytuału, wg którego przebiegają zebrania grupy. Erupcja krytycznych idei trwała około godziny.

Rytuał to rytuał, a nie „burza mózgów”. Pomimo całkowitej swobody dyskusji, której nie przerywa przewodniczący, każdy kto zabiera w NESTI głos, zna ramy, w jakich powinien się zmieścić. W końcu to nie on czy ona zabiera głos, tylko „Polska”, „Niemcy”, „Bank Światowy” lub „Unia Europejska”. Kapelusz NESTI to nie błazeńska czapeczka. Przedstawicielstwo państwa zobowiązuje.

Kapłani założyli błazeńską maskę tylko wśród swoich i na krótką chwilę karnawałowego szaleństwa, które pozornie szybko minęło, ale coś z tego, co się powiedziało i usłyszało, pozostało i, choć w złagodzonej formie, ma na szczęście szansę wejść do nowej wersji Podręcznika Oslo .

Lekcja NESTI

Przypadek NESTI (którą opisałem jako jej uczestnik) jest przykładem szerszych zjawisk. Samozadowolenie, na które NESTI zasłużyła jako ukochane dziecko OECD, usypia jej czujność.

Grupy eksperckie OECD, podobnie jak resorty, są „silosami”. Ich misje zdefiniowano w ten sposób, aby sobie nie wchodziły wzajemnie w paradę. Okazało się to praktyczne. Podział na dyrekcje i komitety OECD, w ramach których działają grupy eksperckie, odpowiada z grubsza podziałom na resorty rządowe, co ułatwia współpracę organizacji z rządami państw członkowskich. Silosy ułatwiają podział pracy oraz unikanie dublowania kompetencji. Nie są „wieżami Babel”, brak w nich osób mówiących „innymi językami”. Nie potrzeba „tłumaczy”. Silosy są „samowsobne”, unikają one zewnętrznych ocen, które mogłyby zachwiać programem, procedurami, celami, poczuciem zadowolenia, prestiżem i karierą zaangażowanych w jej prace osób. Silosy łatwiej wskazują cel i ścieżkę realizacji.

Jednak lista wad grup silosowych jest długa. Autonomia jest warunkiem osiągnięcia dojrzałości przez każdą instytucję lub obszar wiedzy, ale w miarę rozwoju staje się pułapką. Monopol zabija innowacyjność. Gdy produkcja danych o światowych publikacjach i cytowaniach znajdowała się w ręku monopolisty – filadelfijskiego Instytutu Informacji Naukowej, a potem koncernu Thomson Reuters – indeksy cytowań ulepszano w tempie 1% rocznie. Tempo to urosło do 25%, gdy koszty wejścia na rynek dzięki komputerom i Internetowi istotnie spadły i Thomsonowi Reutersowi urosła konkurencja – Elsevier. NESTI jest monopolistą, który – działając w sferze publicznej, za zgodą kluczowych rządów – jest pewny, że nie zagrozi mu żaden konkurent.

Gospodarka socjalistyczna panuje wszędzie tam, gdzie o produktach, ich ilości, jakości i charakterystykach decyduje nie rynek (popyt), tylko odgórne wskaźniki, ustalane przez samego producenta. Wskaźniki w PRL potrafiły uczynić karykaturę z prostego sprzętu domowego użytku; gdy produkcję mebli państwowych fabryk oceniano wg ich wagi, polskie meble cieszyły się opinią najcięższych na świecie. W takim rozumieniu „gospodarka socjalistyczna” jest niezbywalną częścią gospodarki kapitalistycznej. Produkcja statystyk przez państwowe urzędy statystyczne to część takiej właśnie „gospodarki socjalistycznej”. O tyle jednak nie pasuje ona do schematu „gospodarki niedoboru”, że zwykle jest jej za dużo: na ogół dyrektorów urzędów statystycznych ocenia się nie na podstawie oszczędności, jakich dokonali, tylko ilości statystyk, jakie wytworzyli.

Non multa, sed multum

Tu właśnie jest pies pogrzebany. Nie chcemy więcej samych danych, chcemy więcej rozumieć. Więcej danych niekoniecznie przekłada się na więcej wyjaśnień. Często jest odwrotnie. A kluczowe pojęcie rozumienia jest w dyskusjach na forum NESTI (lub podobnych krajowych i międzynarodowych grup) nieobecne. „Rozumienie” rozumie się rozmaicie. Nie wchodząc w rozważania epistemologiczne, chodzi o znajomość przyczyn i uwarunkowań, funkcji w systemie, efektów i oddziaływań zjawisk. Podkreśla się, że humanistyka i nauki społeczne są sztuką rozumienia; te ostatnie – rozumienia zjawisk społecznych. Statystyka nie jest więcej warta niż lepsze rozumienie, które umożliwia. Jaki jest bilans kosztów i korzyści np. statystyki innowacji? Ile wiedzy i mądrości za miliony zainwestowanych złotych, euro, dolarów? Trudno na to pytanie odpowiedzieć. Trzeba je jednak zadawać.

Jaki jest cel Podręcznika Oslo ? – w rzadkiej chwili odwagi i łamiąc niepisane reguły zadał to pytanie na ostatnim zebraniu NESTI przedstawiciel latynoskiej grupy eksperckiej RICYT. Na szczęście, nie doczekał się zbywającej odpowiedzi. Otrzymał jednak unikową.

Problem ze statystyką nauki, techniki i innowacji (jak też problem z pracami każdej stałej grupy eksperckiej) jest taki, że zdaje ona świetnie egzamin w warunkach, gdy obszar, który chce poznać, oraz narzędzia, jakimi się posługuje, zmieniają się w stały, „kroczący” sposób. Cnoty takich grup obracają się w przywary, gdy nadchodzi kryzys.

Kryzysu w statystyce nauki, techniki i innowacji nikt lepiej nie zdiagnozował niż pracownik OECD Richard Scott (2015): Statystyki i systemy pomiarowe nie chwytają najważniejszych cech nauki, techniki i innowacji (NTI), które zmieniły się radykalnie od chwili, gdy opracowano je po raz pierwszy. Systemy statystyczne są nadal zorientowane wokół tradycyjnych modeli innowacji technologicznych oraz liniowego modelu innowacji napędzanego przez B+R, opisywanych przez wskaźniki B+R traktowane jako proxy innowacji i PKB ujmowanego jako proxy dobrobytu. Oznacza to, że miary wkładu, efektu i oddziaływania NTI coraz bardziej odklejają się od współczesnych praktyk badawczych, modeli biznesowych i oczekiwań społecznych. Np. gdy rozwinęła się otwarta nauka i pojawiły się nowe kanały rozpowszechniania nauki (blogi naukowe, otwarte archiwa itp.), indeksy cytowań, rejestrujące tradycyjne piśmiennictwo, przestały być miarodajnym wskaźnikiem osiągnięć badawczych. Jednocześnie „wielkie dane” (big data) nie spełniły jak dotąd nadziei, jakie pokładali w nich statystycy. Zawiniły nierozwiązane dotąd problemy z interoperacyjnością, infrastrukturą danych, różnicami w praktykach administracyjnych, normach i regulacjach, a także (dodajmy od siebie) brak dostatecznych prac nad uczynieniem wielkich danych źródłem statystyk. Wszystko to sprawia, konkluduje Scott, że statystyki NTI nie są użyteczną pomocą dla decydenta nauki i innowacji, co z kolei powoduje „kryzys legitymizacji wokół rządowego wsparcia dla STI i ryzyko kontynuowania inwestycji publicznych”.

Zwykle dzieje się tak, że krytyczne diagnozy pojawiają się równolegle z pierwszymi planami działań naprawczych. Tak też dzieje się i w OECD.

Rewolucja grudniowa

Dobre pomysły nie wyskakują jak Atena z głowy Zeusa: potrzebują one akuszera. Stosowane dotąd metody procedowania w NESTI (oraz w setkach innych stałych, decyzyjnych grup eksperckich) nie zapewniały udanego porodu nowych idei. Tym bardziej cieszy, że OECD dostrzegła problem i w grudniu tego roku zainicjowała eksperymentowanie z nowymi formami spotkań, bliższymi warsztatom, burzom mózgów lub niekonferencjom. Podczas tych luźno zorganizowanych spotkań obowiązują zasady Chatham House (uczestnik reprezentuje siebie, a nie instytucję, każdy ma prawo w dowolny sposób wykorzystać to, co usłyszał, byleby nie cytował osoby i jej afiliacji). Spotkania mają charakter interdyscyplinarny.

Podczas spotkania poświęconego przyszłości polityki naukowej zabrali głos przedstawiciele tych grup eksperckich, które mogą mieć wpływ na jej kształt (energii, klimatu, zatrudnienia, zdrowia, produktywności, pracy i rodziny). Każdy z nich mówił o przyszłości swego obszaru w perspektywie kolejnych 10-15 lat.

Spotkanie nie było idealne. Zawiodła frekwencja. Samo tylko zebranie na jednym posiedzeniu różnych grup eksperckich nie zapewnia spotkaniu interdyscyplinarności. Przedstawiciele różnych dziedzin wiedzy eksperckiej, którzy po raz pierwszy zasiedli w jednej sali i kolejno zabierali głos, nie przełamali jeszcze silosowej natury OECD. Z wysłuchania kilku silosowych relacji nie wykluła się w niczyjej głowie synteza. Jedna jaskółka nie uczyniła wiosny. A jednak, mimo że nowe formy nie zastąpią dotychczasowych, pękło w OECD jakieś tabu.

Podobne spotkania trzeba w przyszłości zorganizować inaczej, bardziej krzyżowo i przekrojowo. Niech np. specjalista od ICT mówi o przyszłych możliwych formach wpływu teleinformatyki na produkcję i przesył energii, a ekspert klimatyczny o możliwych sposobach pobudzenia wzrostu gospodarczego przez ekoinnowacje.

Na korytarzach OECD należy NESTI postawić pomnik, upiec na jego odsłonięcie tort o jeszcze szerszej obwodnicy, ale samą grupę trzeba do cna zmienić. Aby problemy, nad którymi debatuje NESTI, mogły być dostrzegane z różnych perspektyw, należy przede wszystkim złamać monopol producentów statystyki na układanie reguł jej produkcji. Statystykę trzeba ujmować w formie cykli, w których budowie kolejnego ogniwa musi towarzyszyć świadomość istnienia pozostałych ogniw. Nie cechy danych statystycznych – jakość, wiarygodność, trafność itd. – tylko potrzeba rozumienia opisywanych przez statystykę zjawisk powinna decydować o celu i porządku prac NESTI. Środek nie może przesłaniać celu, a narzędzie – jego zastosowań. Dane nie powinny zastępować rozumienia. To rozumienie powinno być orientacją dla konstrukcji danych. Przyrost danych bez przyrostu wiedzy to marnotrawstwo publicznego grosza.

Dziś coraz częściej rozwiązywanie pojedynczego zagadnienia jest zajęciem interdyscyplinarnym, przy czym nie chodzi tu jedynie o współpracę przedstawicieli różnych dyscyplin naukowych, tylko różnych dziedzin kompetencji zawodowych.

Przyrost „wiedzy z danych” to kwestia nie tylko budowy i upowszechnienia nowych technik analizy, modelowania, korelacji, infografik. To przede wszystkim stała współpraca przedstawicieli różnych grup biorących udział w „cyklu życia” statystyki. Ujmowanie statystyki w formie cyklu i zmiana „rynku producenta” na „rynek użytkownika” zakładają, że w zebraniach i pracach NESTI braliby udział – z równym prawem głosu i podobnym oczekiwanym wkładem merytorycznym – przedstawiciele każdej z grup, dominujących na poszczególnych etapach cyklu (patrz: Rys. 1).

Dr Jan Kozłowski, Departament Strategii Ministerstwa Nauki i Szkolnictwa Wyższego.