Polska stoi przed koniecznością reformy nauki i szkolnictwa wyższego. Dyskutuje się kierunki zmian prawnych i organizacyjnych. Wspólny cel to zapewnienie polskiej nauce lepszych i trwałych gwarancji rozwoju. Jednym z najpilniejszych zadań jest określenie rzetelnego sposobu ewaluacji osiągnięć naukowych.

Istotna przyczyna złego stanu polskiej nauki to bardzo niski poziom finansowania. Na naukę przeznacza się w Polsce zaledwie 0,3 proc. PKB, czyli ok. 10−krotnie mniej niż w krajach wiodących. W tych warunkach nie tylko laboratoria są źle wyposażone, ale i pensje naukowców niskie. Wielu z nich nie ma czasu na pracę naukową, gdyż musi zarobić na utrzymanie, podejmując dodatkowe prace i zatrudniając się na dodatkowych etatach. Wielu młodych i obiecujących naukowców opuszcza kraj. Profesorowie źle zarządzają polskimi uczelniami. Zarządzanie trzeba oddać zawodowym menedżerom. Utrzymują się: biurokracja, przerosty administracyjne i buble prawne. Władze uczelni (rektorów i dziekanów) wybierają podwładni, a powinny być one mianowane przez rady patronackie w wyniku konkursów publicznych. Istotną przyczyną złej sytuacji jest również brak właściwych sposobów ewaluacji dorobku naukowego. Prof. Michał Szulczewski w wywiadzie Nauka potrzebuje wielu zmian („FA” 12/2007) trafia w sedno: „Pierwszym zadaniem, jakie powinniśmy przed sobą postawić, jest zwiększenie wymagań co do jakości i wymiaru produktu naukowego, mierzonego przede wszystkim publikacjami i cytowaniami”. Aby wykonać to zadanie, potrzebne są efektywne narzędzia informatyczne i oparte na nich procedury ewaluacyjne.

Dostęp do narzędzi

W Internecie (www.harzing.com) dostępny jest bezpłatny program Publish or Perish (PoP), który umożliwia wyszukiwanie dostępnych w sieci informacji o dorobku publikacyjnym każdego naukowca. Obliczane są wskaźniki bibliometryczne, w tym liczba publikacji, liczba cytowań i wskaźnik Hirscha. Podawane są listy publikacji, lecz często potrzebna jest filtracja, czyli wyłączenie z listy publikacji innych osób o tym samym nazwisku. Jest on przydatny także w naukach społecznych i humanistycznych. Wyniki są z reguły znacznie zawyżone, gdyż uwzględniają jako „publikacje” wszystkie dane, które znajduje w Internecie wyszukiwarka Google Scholar, w tym nawet nierecenzowane, wewnętrzne raporty badawcze i prezentacje na środowiskowych konferencjach. Obszerna, choć może nie bezstronna, dyskusja cech programu PoP zawarta jest w raporcie Google Scholar: the democratization of citation analysis? dostępnym z podanej wyżej witryny.

Dorobek publikacyjny można również określać przy użyciu wprowadzonej w 2004 roku bazy Scopus firmy Elsevier (www.scopus.com), która obejmuje publikacje sięgające pierwszej połowy lat 70. Arbitralnie ustalana lista źródeł zawiera również źródła nierecenzowane, a liczby publikacji bywają niekompletne (najlepiej jest w okresie po 2000 roku). Cytowania są określane dopiero od 1997 roku.

Uznanym na świecie narzędziem służącym do takich zadań (choć też nie idealnym) jest rozbudowana platforma informatyczna Web of Knowledge (WoK) firmy Thomson Scientific (www.webofknowledge.com). Zawiera ona bazy 22 tys. czasopism naukowych, 23 mln patentów i 192 tys. materiałów konferencyjnych, obejmując 250 dyscyplin. Znana baza publikacji i cytowań Web of Science (WoS) jest oparta na publikacjach z selektywnie wybranych 9300 czasopism umieszczonych na liście Master Journal List (Danuta Turecka, „FA” 12/2007) i mających określony impact factor (IF). WoS zawiera bazę publikacji i cytowań w naukach ścisłych o nazwie Science Citation Index Expanded (SCI−E), sięgającą (przy maksymalnym rozszerzeniu) 1900 roku, a także bazy Social Sciences Citation Index (od 1956), Arts & Humanities Citation Index (od 1975), Index Chemicus (od 1993) oraz Current Chemical Reactions (od 1985, plus archiwa INPI z okresu 1840−1985). Inna baza ujęta w platformie WoK, o nazwie Essential Science Indicators, ułatwia analizę i planowanie rozwoju badań naukowych. Możliwe są obiektywne porównania wyników w odniesieniu do poszczególnych jednostek naukowych i indywidualnych naukowców. Ujęta również w WoK coroczna publikacja Journal Citation Reports zawiera bieżące listy tych czasopism z MJL, które mają IF > 0,1. W Polsce bardzo ograniczone czasowo (od 1997 roku lub krótsze) licencje na dostęp do bazy SCI−E wykupiły tylko niektóre uczelnie i PAN, co jest dalece niewystarczające. Taki ograniczony dostęp jest przydatny do pisania bieżących sprawozdań, wniosków grantowych i dla młodych naukowców, którzy zaczęli publikować od 1997 roku. Ale w analizach i planach badań oraz w konkursach na zatrudnienie pracowników naukowych (w tym profesorów, dziekanów, rektorów i członków grup eksperckich), a także w pracach analitycznych w ministerstwie trzeba wymagać więcej. To samo dotyczy recenzentów dokumentów naukowych.

Dlatego dostęp w uczelniach do rozszerzonej czasowo licencji umożliwiającej korzystanie z pełnej platformy WoK jest bardzo potrzebny. To nie do wiary, ale NIKT w Polsce nie ma dostępu do WoK za okres przed 1997 rokiem! Ani Ministerstwo Nauki, ani Fundacja na rzecz Nauki Polskiej, ani PAN, ani ICM UW. Nie ma możliwości informatycznej oceny polskiej nauki sprzed 1997 roku, tak jakby ona nie istniała. Słyszy się pogłoski o dużych kosztach, ale nie są one astronomiczne, a są kłopoty z wykorzystaniem funduszy z UE.

Dostęp do informacji z SCI−E o dorobku publikacyjnym danej osoby jest bardzo łatwy. W trybie Search uzyskuje się w formie graficznej listę (Results) publikacji ze wszystkimi szczegółami, a w wielu przypadkach także z możliwością ściągnięcia pełnego tekstu publikacji w formacie PDF (Full Text). Sposób sortowania można wybrać, np. według liczby cytowań (Times Cited). Dane powinny być sprawdzane i filtrowane (opcja Refine Results), głównie przez odrzucenie publikacji innych autorów o tym samym nazwisku (co czasami wymaga pomocy poszukiwanego autora). Wynik można zapamiętać w pliku (m.in. w formacie strony html), wysłać jako e−mail lub wydrukować. Wybierając opcję Create Citation Report, uzyskuje się podobną listę ze szczegółową (graficzną i tablicową) analizą rozkładu publikacji w czasie oraz wydrukiem liczby publikacji, liczby ich cytowań i wskaźnika Hirscha (h), zaznaczonego również na liście publikacji zieloną linią.

Prosty wskaźnik

Jak oceniać dorobek publikacyjny? Ten trudny problem jest przedmiotem badań specjalistów z bibliometrii (wchodzącej w skład scjentometrii – nie mylić ze scjentologią). Istnieje drukowane czasopismo „Scientometrics” (Springer), sieciowe czasopismo „Cybermetrics” o bezpłatnym dostępie i stowarzyszenie „International Society for Scientometrics and Infometrics”. Do ewaluacji najwygodniej jest stosować wskaźnik możliwie prosty, taki jak wskaźnik h (J.E. Hirsch, 2005), omawiany już wcześniej w „FA” m.in. przez Andrzeja Pilca (2/2008). Wartość h jest określona przez liczbę takich publikacji, których liczba cytowań jest nie mniejsza niż h. Miara ta jest prosta do obliczenia, lecz nie bez wad (www.lutz−bornmann.de/icons/BornmannDanielHReview.pdf, www.ebib.info/2008/ 92/a.php?rek). Publikacje objęte na liście wskaźnikiem h muszą mieć łącznie co najmniej h2 cytowań, ale w praktyce łączna liczba cytowań jest z reguły znacznie większa, czego wskaźnik h nie uwzględnia. Nieuwzględnione są również wszystkie publikacje o liczbie cytowań mniejszej od h. Np., jeśli dla danej listy jest h = 10, to dowolnie duża liczba dalszych publikacji z liczbą cytowań równą lub mniejszą od 10 nie jest już uwzględniona. Oznacza to istotne „obustronne” zawężenie informacji bibliometrycznej i stanowi wadę wskaźnika h.

Łączną liczbę cytowań najlepszych publikacji uwzględnia wskaźnik g ? h (L. Egghe, 2006), który jest definiowany jako najwyższa liczba g publikacji, które łącznie uzyskały g2 lub więcej cytowań (http://www.issi−society.info/archives/newsletter05print.pdf). Nowy wskaźnik Maxprod sformułował Marek Kosmulski („Cybermetrics”, 2007: www.cindoc.csic.es/cybermetrics/vol11iss1.html). Ciekawą propozycję stanowi wskaźnik b (L. Bornmann i in., tamże). Programy komputerowe mogą łatwo obliczać takie wskaźniki (program PoP obecnie podaje wartości ośmiu wskaźników, w tym g i h).

Można również uwzględnić liczbę r ? h wszystkich publikacji z danej listy, mających co najmniej jedno cytowanie. Jeśli utworzy się miarę w postaci sumy publikacji określonej liczbą h i połowy pozostałych (r – h) publikacji z liczbą cytowań c > 0, czyli: h + (r – h)/2 = (h + r)/2, to można zdefiniować wskaźnik: t = RND [(h + r)/2], gdzie RND (x) jest operatorem zaokrąglenia argumentu x do liczby całkowitej. Liczbę r można łatwo określić z listy w Citation Report. Wskaźnik t ? h uwzględnia zatem nie tylko publikacje określone wskaźnikiem h, ale również – choć w mniejszym stopniu – wszystkie pozostałe publikacje co najmniej raz cytowane. Odrzucane są natomiast publikacje bez żadnych cytowań, co wydaje się uzasadnione. Do tej kategorii trafiają bowiem publikacje nie znajdujące zainteresowania innych naukowców, a także publikacje typu redakcyjnego, publicystycznego i wspomnieniowego, które nie mogą być określane jako naukowe. W analogiczny sposób można zmodyfikować wskaźnik g.

Dla ilustracji, w pokazanej tablicy zawarte jest przykładowe zestawienie miar p, c, r, h i t, oparte na danych uzyskanych z bazy Web of Science (WoK v. 4.1, okres od 1997 do 2008 roku) w lutym 2008 roku, biorące pod uwagę kilkunastu polskich naukowców. Drukiem pogrubionym zaznaczono największe liczby w każdej kolumnie.

Wskaźnik h lub t może być wykorzystany do ulepszenia ministerialnej oceny parametrycznej, np. po pomnożeniu przez odpowiedni współczynnik, wybrany odrębnie do każdej dyscypliny. W ten sposób można uniknąć kontrowersyjnego użycia wskaźnika IF do tworzenia arbitralnej i spłaszczonej punktacji publikacji w czasopismach umieszczonych na ministerialnej liście. Jak słusznie zauważa Andrzej Pilc („FA” 2/2008), „impact factor w żadnej mierze nie świadczy o jakości naukowej pojedynczej publikacji”. Czynnik IF wyraża stosunek przeciętnej liczby cytowań artykułów w danym czasopiśmie do liczby tych artykułów w określonym przedziale czasu. Jest to więc tylko pewna miara prestiżu czasopisma.

Uzdrawiające miary

Zastrzeżenia wobec miar bibliometrycznych są zrozumiałe. Oczywiście, jedną liczbą nie można ocenić całokształtu dorobku naukowego, lecz tylko dorobek publikacyjny (i to w przybliżony sposób). Ponadto nikt nie lubi być oceniany: ani początkujący bądź słaby naukowiec (bo ma mały dorobek), ani dobry naukowiec z dużym dorobkiem (bo zazwyczaj może znaleźć kogoś z jeszcze większym, albo uważa, że jest „ponad” i nie ma to dla niego znaczenia). Jednak w Polsce nie zostały jeszcze utrwalone właściwe wzorce ewaluacyjne działalności naukowej i bez tych miar trudno odróżnić rzetelnych naukowców od licznych „pozorantów naukowych”. Opinie niekompetentnych osób i gremiów nierzadko prowadzą do fałszywych wyników, marnotrawstwa finansowego i krzywdy ludzkiej. Zdarza się, że gremia naukowe są zdominowane przez osoby o miernym dorobku i prowadzą działania w kierunku konserwacji starego systemu. W tworzeniu (wyborach) nowych gremiów bywają wtedy również preferowane osoby o miernym dorobku, które potencjalnie nie stwarzają zagrożenia dla im podobnych. I w ten sposób koło się zamyka, reformy stoją w miejscu. Inicjatywy potrzebnych reform, proponowane przez wielu naukowców z kraju i zagranicy, są marginalizowane lub odrzucane przez administrację. Świetne propozycje przedstawił m.in. Andrzej Jajszczyk (Polskie uniwersytety potrzebują reanimacji, „Rzeczpospolita”, 26.02.2008).

Zastosowanie tych miar będzie w Polsce uzdrawiające. Celowe będzie ich użycie do porównywania dorobku kandydatów rozpatrywanych w konkursach grantowych, przy zatrudnianiu, przy formułowaniu warunków awansowych oraz tworzeniu gremiów naukowych. Jednak w odniesieniu do młodych naukowców, o czasie pracy krótszym niż 5 lat, trudno stawiać wymagania dotyczące liczby cytowań i wskaźnika h. Cytowania wymagają czasu, aby się pojawić i wzrosnąć.

Nie chodzi również o wystawianie cenzurek starszym, nieraz bardzo zasłużonym profesorom, którzy swój dorobek naukowy tworzyli w innej epoce. Chodzi o wprowadzenie nowych zasad na przyszłość. Nie trzeba w tym celu tworzyć ustaw, wystarczą oficjalne zalecenia.

Ministerstwo może wprowadzić gradację certyfikatów akredytacyjnych, zależnie od stopnia wykorzystania takich zaleceń przez uczelnie. Np., certyfikat klasy A może być przyznawany takim uczelniom, które wprowadzą statutowy warunek, że przy zatrudnieniu na stanowisko profesora zwyczajnego w naukach technicznych wskaźnik t uzyskany z SCI−E dla dorobku kandydata powinien być równy co najmniej 4 (t ? 4). W fizyce, chemii i biologii kryterium powinno być zwiększone, np. t ? 8. Certyfikat klasy B w naukach technicznych mógłby być związany np. z warunkiem t ? 2, a w fizyce, chemii i biologii z t ? 4. To przyczyni się do utworzenia zdrowej kategoryzacji uczelni i wyłonienia uczelni elitarnych.

Premier i ministrowie również powinni dysponować miarami z WoK przy powoływaniu ekspertów naukowych i zespołów doradczych, niezależnie od innych rekomendacji.