Lista filadelfijska to nie wyrocznia
Tak zwana lista filadelfijska (ISI Master Journal List), publikowana na stronach Ministerstwa Nauki i Szkolnictwa Wyższego, zawiera 7559 pozycji, w ogromnej większości wydawanych w języku angielskim i w znacznej przewadze dotyczących tzw. nauk ścisłych. Każde czasopismo jest oceniane od 10 do 30 punktów. Listę tę sporządza Institut for Scientific Information, który jest częścią Reuters Thompson Corporation, czyli jednej z największych agencji informacyjnych. Jest to nastawiona na zysk firma prywatna, nie zaś, jak można by przypuszczać, niezależna instytucja publiczna. Lista czasopism, publikowana przez tę agencję, jest sporządzana przez anonimowych ekspertów. Biorąc pod uwagę liczbę dyscyplin naukowych reprezentowanych przez te czasopisma, oceniających musi być bardzo wielu, co znacznie zmniejsza szanse na to, że są to osoby mające rzeczywiście odpowiednie kwalifikacje.
Przepaść między listami
Ocena dokonywana jest na wniosek zainteresowanych redakcji na podstawie trzech kolejnych egzemplarzy periodyku. Artykuły muszą być zaopatrzone w anglojęzyczny abstrakt, ponieważ ocenie poddane mogą zostać czasopisma wydawane w dowolnym języku, pod warunkiem, że są drukowane alfabetem łacińskim. Co roku ocenianych jest ok. 2000 periodyków i ok. 10−15 proc. dostaje się na listę. Ocenianie poziomu naukowego artykułów na podstawie abstraktu wydaje się cokolwiek ryzykowne.
Tego rodzaju informacja o czasopismach może być oczywiście przydatna, ale trudno ją traktować jako wyrocznię i prawdę objawioną. Niestety, w Polsce stało się inaczej, ponieważ w 2005 r. decyzją ministra nauki i informatyzacji lista filadelfijska stała się podstawą oceny placówek naukowych. Równocześnie wprowadzono polską listę czasopism odpowiednio nisko punktowanych. Między listami istnieje przepaść. Najniżej oceniane czasopismo listy filadelfijskiej otrzymuje 10 punków, a polskiego ministerstwa – 1 punkt. Tak więc różnica jest dziesięciokrotna. Nieco mniejsza, bo tylko pięciokrotna, jest różnica w ocenach najwyższych, odpowiednio 30 i 6 punktów.
Tak wielka rozpiętość w punktacji, w większości przypadków, nie odzwierciedla różnicy poziomu naukowego. Należy także dodać, iż pobieżna analiza polskiej listy liczącej ponad 1000 pozycji skłania niestety do sformułowania hipotezy, że przyznawanie punktów odbywało się bardziej losowo niż merytorycznie.
Czynnik subiektywny
Różnego rodzaju rankingi są obecnie modne, publikuje się listy szeregujące miasta, wyższe uczelnie, a także państwa w zakresie ich wiarygodności finansowej czy też rozmiarów korupcji. Wiele tych rankingów jest opracowywanych za pomocą wątpliwej metodologii i niekiedy tendencyjnie. Jednym z bardziej negatywnych przykładów jest indeks Transparency International, opracowywany na podstawie oceny poziomu korupcji przez przypadkowo ankietowanych biznesmenów działających w poszczególnych krajach. Indeks ten, traktowany jako miara korupcji, mierzy w istocie poglądy przypadkowej grupy osób na to zjawisko. Poważne wątpliwości budzą także różnego rodzaju ratingi przeprowadzane przez instytucje finansowe. Ostatnio np. bank Unicredito prognozował spadek wartości akcji kompanii naftowej „Lotos” do zera, a JP Morgan przewidywał spadek PKB Polski do 1,5 proc. w 2009 r. Sprawą tą zajęły się polski nadzór finansowy i prokuratura.
Nie ma zatem powodu, aby bezkrytycznie wierzyć jakimkolwiek rankingom, w tym także liście filadelfijskiej, bo kryteria oceny są często niejasne, eksperci nie w pełni kompetentni, a czynnik subiektywny nieraz decydujący. Niestety, jednak pod wpływem różnego rodzaju rankingów zarówno jednostki, jak i instytucje podejmują decyzje, które okazują się czasem błędne, a czasem trafne. Prawdopodobnie rezultat byłby zbliżony, gdyby były podejmowane losowo.
Lista filadelfijska powstała jako jeden z komercyjnych produktów wielkiej agencji informacyjnej dostarczającej informacji, które, jak wszystkie, mogą być niedokładne, błędne lub w ogóle nieprawdziwe, a zatem czynienie z niej podstawy oceny polskich placówek naukowych jest oczywiście nie tylko niewłaściwe, ale i szkodliwe. Błąd ten wydaje się nieco mniejszy w przypadku nauk ścisłych, gdzie kryteria oceny pozbawione są na ogół wpływu ideologii i poglądów politycznych oceniających, natomiast znacznie większy w przypadku nauk humanistycznych i społecznych.
Nieporozumienie metodologiczne
Władze jednej z polskich szkół wyższych ustanowiły nawet nagrody dla osób publikujących w czasopismach z listy filadelfijskiej. Trzy tysiące złotych za artykuł w periodyku punktowanym 30 i tysiąc w ocenianym na 10 punktów. Najwyższa nagroda ma jednak charakter wirtualny, ponieważ żadne czasopismo z zakresu działania szkoły nie otrzymało 30 punktów.
Nieporozumieniem metodologicznym jest także ujednolicenie kryteriów oceny placówek działających w naukach ścisłych oraz w humanistycznych i społecznych, których przedstawiciele nie mają prawie szans na publikacje w periodykach z listy filadelfijskiej, bo jest ich na niej stosunkowo mało.
Misją polskiej humanistyki i nauk społecznych jest przede wszystkim edukacja społeczeństwa polskiego, kształtowanie świadomości i postaw obywateli, wymiana informacji między krajowymi ośrodkami naukowymi, a dopiero w dalszej kolejności docieranie do publiczności w innych krajach. Dlatego w tym przypadku preferowane powinno być publikowanie w polskich czasopismach, które raczej nie mają szans dostać się na listę agencji Reutera.
Przyjęcie filadelfijskich ekspertów jako wyroczni oceniającej polskie placówki naukowe trąci nieco prowincjonalizmem i stwarza fałszywy obraz rzeczywistego poziomu naukowego uczelni, katedr i instytutów. Nie znaczy to, że czasopisma z listy filadelfijskiej należy omijać. Przeciwnie, należy w nich publikować, a także pisać teksty do polskich czasopism anglojęzycznych. Powinno się także zrewidować punktację polskich periodyków, wprowadzić jasne kryteria przyznawania punktów, upublicznić nazwiska oceniających ekspertów i dostosować polską punktację do filadelfijskiej – zwiększając wycenę zagranicznych czasopism o 20−30 proc.
Komentarze
Tylko artykuły z ostatnich 12 miesięcy mogą być komentowane.
Prof. Jalowiecki (jako przedstawiciel nauk humanistycznych a nie scislych) myli i nieslusznie podwaza ocene komisji kwalifikujacej czasopisma naukowe do wpisania na liste filadelfijska (wazny jest nie tylko ang. abstrakt ale tez i inne kryteria) z tzw. Impact Factor, ktory to nie ma zadnych znamion subjektywizmu (ma inne mankamenty znane naukowcom, glownie reprezentujacych nauki scisle), bo jest ocena liczby cytowan zdobytych przez publikacje zawarte w poszczegolnych czasopismach (z wylaczeniem autocytowan). Oto oryginalny zapis "The impact factor is a measure of the frequency with which the average article in a journal has been cited in a particular year or period. It is one of the evaluation tools provided by Thomson Reuters Journal Citation Reports® (JCR®).".Mozna o tym samemu sobie poczytac na stronie: http://thomsonreuters.com/products_services/science/academic/impact_factor/
I to wlasnie ten "Impact Factor" jest ta wazna miara jakosci czasopisma, a nie fakt jej zakfalifikowania do wpisania na liste, ktory to nieslusznie podwaza prof. Jalowiecki. Jak dotad jest to jedyna miara (na pewno nie doskonala i majaca pewne wady - istnieje bogata listeratura na ten temat), ktora jest powszechnie przyjeta w swiecie nauki.
Nieprawdziwa jest tez informacja o ocenie publikacji na podsawie abstraktow, poniewaz do oceny wymagane sa az 3 pelne kolejne zeszyty, zawierajace pelne artykuly (a nie jedynie abstrakty), poczytac o tym mozna po ang. na stronie http://science.thomsonreuters.com/mjl/selection/
Tak wiec infomacje przedstawione przez prof. Jalowiedkiego sa mylne i to raczej one sa prowincjonale, a proponowane zmiany zapewne mogly by podniesc (i tak najczesciej doskonala) samoocene wielu placowek, ktore do nauki swiatowej wnosza niestey niewiele.
Leszek A. Bledzki, Ph.D., biolog, Mount Holyoke College, Department of Biological Sciences, Massachusetts, USA.
Powinniśmy dbać o stworzenie własnego rankingu, zwłaszcza w naukach humanistycznych, ekonomii, a więc uwględniający osiągnięcia nie tylko w naukach ścisłych. Tego brakuje. Nie byłabym zbyt krytyczna wobec narzędzi oceny stosowanych za granicą. Są jakie są. Spójrzmy na to co my mamy i co można tu poprawić.