Wskaźniki bibliometryczne oparte na liczbach publikacji naukowych i ich cytowań stanowić mogą jedynie pomocnicze narzędzie przy ocenie jakości pracy naukowej. Dotarcie do rzetelnej informacji ukrytej w wartościach poszczególnych indeksów nie jest proste, a niewłaściwa interpretacja danych scjentometrycznych prowadzi do chybionych ocen i błędnych wniosków.

Jak nie należy stosować wskaźnika impact factor?

Obserwowany skośny rozkład liczby cytowań pokazuje, że wskaźnik IF, zaprojektowany do analizy poziomu czasopisma, nie może być stosowany do oceny jakości wydrukowanej w nim pracy. Rozważmy uproszczony przykład, oddający własności rozkładu algebraicznego: w dwóch niewielkich pismach z jednej dziedziny opublikowano w latach 2008-2010 po 70 prac rocznie. Spośród 140 prac opublikowanych w piśmie A w latach 2008 i 2009 tylko 15 było cytowanych w roku 2010, z czego 8 prac jeden raz, 4 prace miały po trzy cytowania, inne 2 po 10 cytowań, a tylko jeden hot paper uzyskał 30 cytowań. Natomiast w piśmie B najbardziej znana praca uzyskała 60 cytowań, dwie prace miały po 20 cytowań, a 6 dalszych prac zebrało po 6 cytowań każda. Kolejnych 8 prac było cytowane po dwa razy, podczas gdy reszta prac nie była cytowana. Porównanie sumarycznej liczby cytowań z liczbą opublikowanych rocznie prac pokazuje, że wskaźniki IF wynoszą 1.0 dla pisma A oraz 2.0 dla pisma B. Jednakże na tej podstawie trudno wyrokować, że przeciętna praca opublikowana w B jest dwa razy cenniejsza niż reprezentatywna praca z pisma A, gdyż prawdopodobieństwo, że praca w ogóle nie zostanie zacytowana, jest równe dla obu pism. O ile jakość prac opublikowanych w danym czasopiśmie determinuje klasę pisma i ma wpływ na jego wskaźnik IF, to teza odwrotna nie jest prawdziwa: IF czasopisma nie stanowi o jakości konkretnej opublikowanej w nim pracy.

Dlatego też próba oceny wartości publikacji przez IF czasopisma, w którym praca się ukazała, jest bezcelowa. Jeszcze dziwniejszy jest obyczaj obliczania „sumarycznego IF” prac danego uczonego i stosowania tego wskaźnika do oceny jego dorobku. Co prawda taki wskaźnik, podzielony przez liczbę artykułów autora, podaje średni IF czasopism, w których badacz publikuje, lecz liczba ta nie jest użyteczna ani dla laika (gdyż aby taki wynik uczynić użytecznym, należałoby go porównać do średniego IF czasopism w danej dyscyplinie), ani dla eksperta, któremu o klasie pism więcej powiedzą tytuły z jego branży, niż sucha dana liczbowa.

Jeżeli uznamy, że cytowania w krótkim czasie po opublikowaniu pracy są skorelowane z jej wartością, (co wydaje się rozsądniejsze dla biologii molekularnej niż dla matematyki), to bardziej racjonalnym jest obliczanie wkładu danej pracy do IF czasopisma. Aby wyznaczyć impact factor publikacji (IFP), należy zsumować liczbę cytowań uzyskanych rok i dwa lata po jej opublikowaniu. Taki wskaźnik charakteryzuje krótkookresowy oddźwięk pracy w środowisku naukowym, a dopiero jego porównanie z IF pisma, w którym praca się ukazała, pozwala stwierdzić, czy dana praca należy do artykułów istotnych, które wskaźnik ten kształtują, czy też należy do szarego tła większości artykułów niezauważonych w literaturze przedmiotu. Oczywiście wskaźnika IFP nie da się jeszcze wyliczyć dla artykułu opublikowanego w okresie ostatnich dwóch lat, ale dla niego lepszym estymatorem spodziewanej liczby cytowań jest średnia IFP po zbiorze dawniejszych prac jego autora, niż po zbiorze prac opublikowanych wcześniej w tym samym czasopiśmie.

Liczba prac znanych

Czy można znaleźć wskaźnik bibliometryczny, który uwzględniałby specyfikę poszczególnych dyscyplin nauki? Naturalną koncepcją byłoby zliczanie, ile dany autor opublikował „prac znanych”, które były cytowane więcej razy, niż wynosi średnia liczba cytowań <c> w danej dyscyplinie. Taka konstrukcja uniezależnia wynik od zwyczajów w danej dziedzinie nauki, ale jej wadą jest konieczność wyliczania średnich i ich aktualizowania. Inną możliwością jest określenie, że dany artykuł uważamy za „pracę znaną”, jeżeli był już cytowany więcej razy, niż liczba prac w nim cytowanych. W ten sposób artykuł matematyczny cytujący 11 innych prac staje się „znanym”, jeśli zebrał co najmniej 12 cytowań, praca z medycyny cytująca 83 prace potrzebuje 84 cytowania, aby zostać wliczoną do tej klasy, a artykuł przeglądowy z fizyki, który cytuje 345 prac będzie „znany” dopiero po osiągnięciu 346 cytowań (są takie!).

Zauważmy, że wyznaczenie zdefiniowanego w ten sposób wskaźnika „liczby prac znanych” danego badacza jest łatwe, gdy się oprzeć na istniejących bazach danych, a jego równoległe stosowanie obok innych indeksów mogłoby przyczynić się do zmniejszenia częstej w niektórych dziedzinach tendencji rozrzutnego cytowania prac trzecich, niezwiązanych bezpośrednio z danym artykułem. Z drugiej strony, by zabezpieczyć się przed inną skrajnością, można dołożyć dodatkowy warunek, że „praca znana” jest cytowana co najmniej 10 razy, co w większości przypadków nie zmieni wartości omawianych wskaźników, jako że lista odnośników w publikowanych artykułach najczęściej liczy ponad 10 pozycji.

Graf cytowań, macierz Google oraz wskaźnik Eigenfactor

Wszystkie omówione powyżej wskaźniki bibliometryczne przypisują taką samą wartość każdemu cytowaniu. A przecież cytowania nie są równe: niektóre prace istotnie wspierają się na konkretnym wyniku lub metodach badawczych opisanych w cytowanej pracy, podczas gdy inne, występujące w sformułowaniu typu „podobne badania prowadzono ostatnio w pracach [17-46]”, nie świadczą wiele o wartości wymienionych prac. Podobnie cytowanie pracy przez eksperta w danej dziedzinie może być dla jej autora cenniejsze niż kilka cytowań w pracach nowicjuszy w jego branży. Dlatego też w literaturze bibliometrycznej pojawiły się koncepcje, aby do różnych cytowań stosować różne wagi.

Najbardziej znanym podejściem do tego problemu jest metoda Google ustalania wag poszczególnych witryn w Internecie. Waga każdej witryny jest tym większa, im więcej linków prowadzi do niej z innych witryn o dużej wadze. Z pozoru takie podejście nie wydaje się konstruktywne, ale w praktyce algorytm PageRank Google wyznacza wagi witryn numerycznie przez procedurę iteracyjną, która z matematycznego punktu widzenia znajduje przybliżenie wiodącego wektora własnego (eigenvector) odpowiednio zmodyfikowanej macierzy połączeń.

Podobną ideę można zastosować także do analizy literatury naukowej tworząc graf, w którym rolę zorientowanych połączeń (linków) odgrywają cytowania, a w roli węzłów można obsadzić poszczególne prace, pojedynczych badaczy, instytuty naukowe, czasopisma lub całe kraje. Jeśli chcemy przypisać wagi poszczególnym autorom, trzeba się zmierzyć z problemem analizy wielkiej liczby danych i grafu liczącego miliony węzłów. Nieco łatwiej analizować graf czasopism naukowych, w którym liczba węzłów jest rzędu 10 tys., a liczba połączeń pomiędzy dwoma węzłami odpowiada liczbie cytowań prac opublikowanych w piśmie A, które w określonym przedziale czasu ukazały się we wszystkich artykułach opublikowanych w piśmie B. Analizując macierz typu Google dla takiego grafu czasopism, zdefiniowano indeks eigenfactor , którego aktualną wartość dla danego czasopisma można sprawdzić na stronie http://www.eigenfactor.org/

Wskaźnik eigenfactor jest wielkością ekstensywną i określa wpływ wszystkich publikacji danego pisma na literaturę światową. Natomiast pochodny indeks article influence (AI) jest wielkością intensywną, czyli opisuje średni wpływ pojedynczego artykułu opublikowanego w danym piśmie. Przykładowe dane wskaźników IF, dwu- oraz pięcioletnich, oraz indeksów eigenfactor i AI wybranych czasopism z literatury światowej i polskiej zestawiono w tabeli. O ile pod względem wskaźnika IF dominują pisma medyczne (np. CA Cancer J. Clinicians z IF ponad 80), to w przeliczeniu na jeden artykuł największy wpływ na literaturę mają artykuły przeglądowe publikowane w prestiżowym „Review of Modern Physics” z indeksem AI przekraczającym 20. Nieco mniejszy indeks AI mają artykuły publikowane w „Nature” i „Science”, ale pisma te, z racji znacznej liczby publikowanych artykułów, odznaczają się dużą wartością indeksu eigenfactor . Wskaźnik ten przekracza jedność także w przypadku innych znanych pism: „Physical Review Letters” oraz „J. Biological Chemistry”, ale pisma te publikują znacznie więcej artykułów, więc mają niższą wartość indeksu AI. Zauważmy, że różnice pomiędzy wskaźnikami IF dwu- i pięcioletnimi nie jest duża, a najlepsze pisma mają tylko nieznacznie niższy indeks IF’2 (bez autocytowań) od standardowego IF2.

Z czasopism polskich wyróżniają się pisma z nauk ścisłych („Acta Astronomica”, „Fundamenta Matematicae”, „Studia Mathematica”, „Open Systems & Information Dynamics”), które nie publikują wielu artykułów, lecz wydrukowane tam prace są cytowane, a wartość wskaźnika AI należy do rozsądnego przedziału [0.5, 1.0], gdzie 1.0 oznacza wartość średnią. Polskie czasopisma zamieszczone w tabeli należą do najlepszych w kraju pod względem indeksu AI. Istnieje także wiele innych polskich czasopism naukowych, których wskaźnik AI jest znacznie mniejszy niż 0.10, a niekiedy w ogóle nie jest mierzalny. Pokaźnym wskaźnikiem eigenfactor charakteryzują się „Acta Physica Polonica B”, które publikują stosunkowo dużo artykułów, stąd wskaźnik AI jest relatywnie niższy.

Indeks h publikacji oraz „prace bardzo znane”

Charakteryzowanie klasy czasopism przez ich wskaźniki eigenfactor oraz article influence ma wiele zalet, a obecnie konkretne dane liczbowe są obliczane także przez ISI Web of Knowledge. Natomiast stosowanie algorytmu Google do wyznaczenia wag dla poszczególnego badacza jest technicznie wykonalne, lecz w praktyce niełatwe ze względu na kosztowność zebrania i przetworzenia wielkiego zbioru danych. Aby z dwóch artykułów, które mają po N cytowań, wyróżnić w prosty sposób pracę o większym wpływie na literaturę przedmiotu, można zobaczyć, czy cytujące prace same były już cytowane. Rozważmy np. artykuł X cytowany N = 8 razy, a poszczególne cytujące go prace były już cytowane kolejno 14, 7, 4, 2, 1, 0, 0, 0 razy. Wykorzystując ideę Hirscha można zdefiniować indeks h do poszczególnej publikacji, który w przypadku pracy X wyniesie 3. Wyznaczając takie indeksy do wszystkich prac danego badacza i układając je w porządku malejącym, możemy zdefiniować indeks Hirscha drugiego rzędu h2 . Wskaźnik ten wynosi h2, jeżeli h2 jego publikacji ma indeks h nie mniejszy niż h2. W każdym przypadku zachodzi nierówność h2 ≤ h. Takie podejście różnicuje wagę cytowań i uwzględnia znaczenie, jakie cytujące prace wywierają na literaturę.

W podobny sposób wagę cytowań można łatwo uwzględnić przy zliczaniu „prac znanych”. Np. za „pracę bardzo znaną” uznać można każdy artykuł, którego indeks h2 przewyższa liczbę prac w nim cytowanych. Zliczając liczbę „prac bardzo znanych” danego autora można określić dorobek przez łatwo wyliczalne wielkości, które uwzględniają zarówno specyfikę danej dziedziny nauki, jak i wagę cytowań. Najnowsza literatura scjentometryczna dowodzi, że możliwości tworzenia nowych wskaźników bibliometrycznych są praktycznie nieograniczone, lecz życie pokaże, które z nich w przyszłości będą stosowane w praktyce.

Próba podsumowania

Dane na temat cytowań prac naukowych niosą w sobie informacje dotyczące charakteru i jakości prowadzonych badań, ale ich wydobycie i właściwa interpretacja nie jest sprawą prostą. O ile można sobie wyobrazić wypracowanie bardziej precyzyjnych narzędzi bibliometrycznych, trudno oczekiwać, aby powstał jeden uniwersalny wskaźnik liczbowy pozwalający na rzetelną ocenę wartości pracy naukowej. Dlatego warto używać równolegle kilku wskaźników, a wszelkie indeksy winny być rozsądnie stosowane do celu, do jakiego zostały stworzone. Na przykład wskaźnika IF, służącego do oceny czasopisma, nie wolno wykorzystywać do oceny jakości opublikowanego w nim artykułu lub też do oceny osiągnięć konkretnego autora. Natomiast indeksu Hirscha h, opracowanego do porównania dorobku kilku uczonych pracujących w jednej dziedzinie nauki, nie należy stosować do porównania jakości różnych czasopism czy analizy dorobku kilku instytutów naukowych, gdyż wskaźnik nie jest wielkością intensywną, lecz istotnie zależy od wielkości instytucji.

Na zakończenie przytoczę kilka ogólniejszych uwag, dotyczących analizy bibliometrycznej, które formułuję oddzielnie dla trzech grup czytelniczych.

Naukowcy : Wykonujcie dobrze swoje badania, piszcie dobre prace i publikujcie je w dobrych czasopismach. Pisząc własne prace cytujcie te publikacje, które powinny być cytowane stosownie do zwyczajów przyjętych w waszym środowisku. Nie przejmujcie się własnymi wskaźnikami i indeksami, dorobek dobrego naukowca najczęściej będzie opisywany wysokimi wartościami parametrów niezależnie od wyboru stosowanego wskaźnika. Nie dajcie się wciągnąć w płytką grę na sztuczne nabijanie wartości konkretnego indeksu, który może opisywać wasz dorobek; na taką zabawę szkoda czasu i energii.

Recenzenci : Oceniając jakość aplikacji o finansowanie projektów badawczych czy wniosków o nagrody za prace naukowe, wykorzystujcie waszą znajomość przedmiotu. Dane bibliometryczne stosujcie wyłącznie jako dane pomocnicze, które nie mogą zastąpić oceny merytorycznej. W przypadku absolutnej konieczności oszacowania wpływu, jaki dana publikacja wywarła na środowisko naukowe, uwzględnijcie rzeczywistą liczbę jej cytowań, a nie IF pisma, w którym się ukazała. W przypadku najnowszej pracy autora stosować można średni IFP, czyli impact factor jego poprzednich publikacji, a nie czasopism, w których się ukazały!

Zarządzający nauką : Prowadzenie badań naukowych jest procesem wielowymiarowym, więc próba ich opisu poprzez rzutowanie na jedną oś liczbową nie może być udana. Nie liczcie więc na stworzenie jednego, idealnego wskaźnika bibliometrycznego, tylko kierując się wskazówkami literatury oraz zdrowym rozsądkiem wykorzystujcie równolegle kilka. Porównując wartości wskaźników pochodzące z różnych dziedzin nauki stosujcie dane skalowane do wartości średnich w danej dziedzinie i w danych przedziałach czasu. Wspierajcie różnorodne wykorzystywanie danych liczbowych, przy tworzeniu których czynny udział ma oceniany. Np. w podaniach o granty European Research Council każdy wnioskodawca ma sam wybrać 10 swoich publikacji z zadanego przedziału czasu i podać, ile razy każda z nich była cytowana. Niestety ten dobry przykład nie jest wykorzystany przez Narodowe Centrum Nauki, którego ostatnie wytyczne nakazują podanie co najmniej 5 publikacji. Brak konieczności dokonania wyboru prac przez zadanie górnego ograniczenia ich liczby zachęca wnioskodawców do niepotrzebnego dodawania pracy sobie oraz recenzentom.

Tabela Wybrane czasopisma wydawane za granicą i w kraju (dół tabeli, tłusty druk) wraz z liczbą artykułów opublikowanych w roku 2009 i wskaźnikami: IF2 (IF za okres dwóch lat), IF’2 (IF2 bez autocytowań), IF5 (IF za okres 5 lat), Eigenfactor oraz Article Influence, wg którego uporządkowano tabelę. Dane z roku 2009 za ISI Web of Knowledge.