Obraz polskiej nauki po rankingu MNiSW
Ostatnio ogłoszono w Internecie wyniki kategoryzacji jednostek naukowych w Polsce, przeprowadzonej na podstawie zasad i algorytmów opracowanych w MNiSW. Z tego wszystkiego wyłonił się pewien obraz polskiej nauki i teraz wiemy, które jednostki są wg ministerstwa najlepsze i dokąd mogą być skierowane większe pieniądze. Mam pewne wątpliwości, czy jest to rzeczywiście prawdziwy obraz.
Zasady rankingu
Instytucje naukowe przypisano do tzw. grup jednorodnych, co jest słuszne, gdyż porównywać można tylko podobne z podobnym. Np. historyków należy porównywać w odniesieniu do ich środowiska, a nie w odniesieniu do fizyków, chemików czy biologów. Nie tylko w dyscyplinach naukowych, ale również w samych specjalnościach, należy zwracać uwagę na to, aby porównywać podobne z podobnym. Ten element rankingu jest prawidłowy, a drobne nieścisłości są do skorygowania.
Drugi ważny element to punkty za poszczególne składniki działalności jednostki. Przyznaje się je za osiągnięcia naukowe i praktyczne. Potem się je sumuje, przy zastosowaniu pewnych wag.
Najlepsi w Polsce
Tych najlepszych określa liczba przyznanych punktów. Oto krótka lista niektórych rekordzistów (E = wskaźnik efektywności):
Ośrodek Badawczo-Rozwojowy Urządzeń Mechanicznych: E = 1353 Instytut Chemicznej Przeróbki Węgla: 1170 Instytut Metali Nieżelaznych: 1093 Instytut Logistyki i Magazynowania: 897 Instytut Metalurgii Żelaza: 763 Wydział Instrumentalny Uniwersytetu Muzycznego F. Ch.: 619 Wydz. Twórczości, Interpretacji i Edukacji Muzycznej AMuz Kraków: 548 Przemysłowy Inst. Autom. i Pomiarów: 516 Morski Instytut Rybacki: 395. Ta klasyfikacja pokazuje, że najwybitniejszymi naukowo w Polsce są instytuty resortowe oraz muzycy. Uczelnie i instytuty PAN Oto zestawienie niektórych wyróżniających się instytutów PAN i innych jednostek: Instytut Wysokich Ciśnień PAN: 226 Instytut Katalizy i Fizykochemii Powierzchni PAN: 199 Międzynarodowy Instytut Biologii Molekularnej i Komórkowej: 169 Instytut Fizyki PAN: 127 Instytut Podstawowych Problemów Techniki PAN: 100.Spośród jednostek uczelnianych rekordzistami, ze względu na przyznane punkty, są:
Wydz. Inżynierii Materiałowej Politechniki Warszawskiej: 241 Wydz. Geologii, Geofizyki i Ochrony Środowiska AGH: 157.W naukach humanistycznych jest z punktami gorzej, gdyż liderom w odpowiednich grupach jednorodnych przyznano je w granicach 40-50. Tak więc w liczbach bezwzględnych najlepsze wydziały uniwersyteckie i instytuty PAN prezentują się znacznie gorzej od jednostek resortowych i wydziałów muzyki. Te drastyczne różnice są nieco zniwelowane tym, że np. muzycy zostali sklasyfikowani we własnej grupie jednorodnej, a historycy w swojej, ale już w innych grupach klasyfikacja budzi wątpliwości, co zilustruję poniżej. Ma to duże znaczenie przy dalszej kategoryzacji, która ma m.in. wyłonić jednostki A+, co ma się wiązać ze znacznie lepszym finansowaniem.
Przykład grupy G4 – Budownictwo i architektura
W tabeli 1 zestawiono przyznane punkty za publikacje dla czterech pierwszych jednostek w grupie G4, w zakresie publikacji „filadelfijskich” oraz łącznie. Punkty te podzielono przez N (liczbę osób zatrudnionych w B+R), uzyskując wskaźniki efektywności w zakresie publikowania.
Z powyższej tabeli wynika, że w zakresie publikacji „filadelfijskich” IBW PAN jest 35 razy bardziej efektywny od lidera (ITB) i aż 84 razy od drugiego na liście instytutu (IBDiM), tj. blisko o 2 rzędy wielkości! W zakresie wszystkich publikacji IBW jest przeszło 3 razy bardziej efektywny od dwóch pierwszych instytutów.
W tabeli 2 przedstawiono wskaźniki efektywności przyznane przez MNiSW. E1 oznacza efektywność naukową, gdzie uwzględniono: publikacje, uprawnienia akademickie i udział w projektach międzynarodowych. E2 jest efektywnością praktyczną (patenty, wdrożenia itd.). W czwartej kolumnie zestawiono łączną efektywność według ministerstwa, które przyjęło jednakową wagę dla obydwu wskaźników. W ostatniej kolumnie przedstawiono łączną efektywność, przy zastosowaniu wagi 1 dla efektywności naukowej i wagi 0,5 dla efektywności praktycznej.
Fałszywy obraz
Patrząc przez pryzmat liczby przyznanych punktów, otrzymuje się fałszywy obraz nauki w Polsce, gdyż najwięcej punktów zdobyły jednostki nieprowadzące badań naukowych, a raczej prace wdrożeniowe lub działalność artystyczną. Jednostki prowadzące badania naukowe na wysokim poziomie wypadły znacznie gorzej.
Jednostki badawczo–rozwojowe (JBR) nie powinny być oceniane w grupach, gdzie są jednostki PAN i wydziały uniwersyteckie. Głównym miernikiem efektywności pracy naukowej są publikacje w najlepszych czasopismach. Tabela 1 pokazuje, jak drastycznie odbiega efektywność JBR-ów od efektywności jednostek akademickich. Przypuszczam, że w innych grupach jednorodnych sytuacja może być podobna.
Po uwzględnieniu wszystkich publikacji obraz efektywności JBR-ów znacznie się poprawia, chociaż nadal bardziej efektywne są jednostki akademickie. Te dodatkowe punkty zostały przyznane m.in. za publikacje po polsku, również we własnych wydawnictwach, których ranga jest znikoma w porównaniu do wydawnictw o zasięgu światowym. Jest to sprzeczne z deklaracjami MNiSW, że najważniejsze jest publikowanie właśnie w wydawnictwach światowych oraz ambicjami dotyczącymi wprowadzenia polskich uniwersytetów do czołówki światowej.
Fałszywy obraz polskiej nauki wynika również z tego, że w grupach jednorodnych, gdzie pomieszano jednostki resortowe z akademickimi, zastosowano błędne wagi. Np. w G4 przyznano tę samą wagę efektywności naukowej i praktycznej. Jeżeli zmienić tylko jedną wagę, to obraz się nieco zmienia, por. tabela 2. A przecież przyjęcie wag jest zupełnie arbitralne i za ich pomocą można wykazać każdą tezę. Wagi nie są parametrami obiektywnymi i nie powinno się ich stosować w kategoryzacji.
|
Jednostka N |
Publ. filadelf. |
Publ.fil./N |
Publ. łącznie |
Publ. łącz./N |
|
1. Instytut Techniki Budowlanej 87,4 |
124 |
1,42 |
1705 |
19,51 |
|
2. Instytut Badawczy Dróg i Mostów 54,2 |
32 |
0,59 |
839 |
15,48 |
|
3. Instytut Budownictwa Wodnego PAN 29,4 |
1458 |
49,59 |
1767 |
60,1 |
|
4. Wydział Inż. Ląd. i Środ. Pol. Gdańskiej 111,2 |
2587 |
23,26 |
4727,5 |
42,51 |
Tabela 2: Efektywność czołówki grupy G4.
|
|
Efekt. nauk. E1 |
Efekt. prakt. E2 |
E1 + E2 |
E1 + 0,5xE2 |
|
1. ITB |
25,23 |
93,82 |
119 |
72,14 |
|
2. IBDiM |
28,39 |
87,62 |
116 |
72,2 |
|
3. IBW PAN |
77,11 |
29,09 |
106,2 |
91,66 |
|
4. WILiŚ PG |
47,46 |
36,81 |
84,27 |
65,89 |
Wartości E1 i E2 wg danych MNiSW.
Komentarze
Tylko artykuły z ostatnich 12 miesięcy mogą być komentowane.
Standard życia ludności, poziom rozwoju społeczno-gospodarczego wybranego kraju, jakość kadry kierowniczej firmy, stan oświaty itp. można traktować jako abstrakcyjne obiekty opisywane przez co najmniej dwie cechy – WEJŚCIE i WYJŚCIE. Porównanie różnych obiektów często wymaga sporządzenia ich OCEN rozumianych jako ZALEŻNOŚĆ pomiędzy WYJŚCIEM-WY (efektem, skutkiem, wynikiem), a WEJŚCIEM-WE (przyczyną, nakładem, wykorzystanymi zasobami). W tym celu posługujemy się zwykle oceną EFEKTYWOŚCI, którą wyraża się wzorem E=WY/WE .
Stosowana przez MNiSW metoda kategoryzacji posługuje się pojęciem efektywności dość SZCZEGÓLNIE rozumianej. W przypadku wykorzystanych zasobów posługuje się tylko liczbą osób zatrudnionych N, a nie uwzględnia zupełnie WYKORZYSTANYCH ŚRODKÓW FINANSOWYCH. Taki zabieg ułatwia zastosowanie tzw. PORZĄDKU LINIOWEGO, w którym jest MIEJSCE NA WIELKĄ DOWOLNOŚĆ. W tej klasyfikacji jednosteki naukowe są oceniane w ARBITRALNIE tworzonych grupach jednostek jednorodnych ze względu na dziedzinę lub dziedziny badań naukowych.
Oceny dokonuje się odrębnie w dwóch ARBITRALNIE określonych zakresach: osiągnięcia naukowe i praktyczne (dzieli się zatem zbiór cech obiektów na dwa podzbiory). Ocena parametryczna jednostki dokonywana jest przy uwzględnieniu nie wszystkich wyników działalności, a tylko ARBIRTRALNIE uznanych za najważniejsze publikacje i monografie, najważniejsze z zastosowań praktycznych wyników badań naukowych i prac rozwojowych, których liczba nie może być większa niż 2N. W każdym zakresie są ARBITRALNIE wybierane parametry i przypisywana im ARBITRALNIE liczba punktów. Wyniki oceny parametrycznej dla poszczególnych jej zakresów przedstawia się za pomocą wskażników „efektywności” Et i Ett, rozumianych jako stosunek liczby punktów uzyskanych przez jednostkę naukową do liczby N.
Oceny jednostek naukowych i ich kategorie ustala się na podstawie ARBITRALNIE ustalonego końcowego wskaźnika „efektywności” jednostki E= EwtWt+EwttWtt, wyliczonego jako sumę iloczynów efektywności względnych Ewt i Ewtt z uwzględnieniem wartości wag Wt i Wtt ARBITRALNIE ustalonych dla poszczególnych grup jednostek jednorodnych.
Podziału jednostek na KATEGORIE dokonuje się również według ARBITRALNIE dobranej reguły.
Kategoryzacja MNiSW jest zatem ZALEŻNA OD WIELU ARBITRALNIE PODEJMOWANYCH DECYZJI i nie uwzględnia m.in.nakładów finansowych. Zgodnie z zasadami ustalania rankingów wielowymiarowych TAKIE PODEJŚCIE JEST RÓWNOWAŻNE ZAŁOŻENIU, ŻE WSZYSTKIE JEDNOSTKI MIAŁY TAKIE SAME NAKŁADY FINANSOWE!.
Przy takiej liczbie ARBITRALNYCH (SUBIEKTYWNYCH) decyzji KAŻDY WYNIK JEST MOŻLIWY. Dowodem na to jest m.in ostatnio przeprowadzona kategoryzacja. Czy można zrobić bardziej obiektywną kategoryzację? Oczywiście, że można. Należy tylko m.in. ZMNIEJSZYĆ LICZBĘ ARBITRALNIE PODEJMOWANYCH DECYZJI, a to będzie prowadzić w kierunku na przykład porządku częściowego lub granicznej analizy danych (Data Envelopment Analysis).
Staraliśmy sie otrzymac od MNiSzW więcej informacji (w ramach wniosku o informacje publiczne: http://biuletyn.informacji.publicznej.com/app/webroot/archiwum/MNiSzW/) na temat podstawy przyznawania punktów róznym jednostkom. W naszej dziedzinie (biologia) najlepsze jednostki zdobyły bardzo dużo punktów za komercyjną sprzedaż badań naukowych (n.p. Nencki lub IBB > 20M PLN). Niestety MNiSzW odmówiło udzielenia własnie tych informacji wiec mamy dostęp jedynie do okrojonych wersji ankiet (http://bip.bioinfo.pl/ankiety_2005-2009/).
Nie zgadzam się ,że w rankingu istytucje naukowe przypisano do tzw. grup jednorodnych. Zgadzam się z wcześniejszą wypowiedzią Pana Z. Zembatego. Przykładem rankingi wydziałów nauk geograficznych. Są dwa takie samodzielne wydziały UW i UŁ. "Dorzucono" je do jednostek w których geografia jest jednym z Instytutów większego wydziału np. biologii, geologii, oceanografii. To jet nieporozumienie. Geografowie w dużej mierze społeczno-ekonomiczni nie mogą być w jednej grupie z biologami.
Warto do tego obrazu dorzucić kilka uwag i pytań. Ograniczę się tu do podstawowych, najbardziej kłujących w oczy spraw:
- czy ktokolwiek próbował przy ostatniej ocenie weryfikować dane o zatrudnieniu i wynikach wdrożeń, podawane przez jednostki? Konfrontacja liczb z raportów jednostek opublikowanych na stronie OPI, z listami adresowymi na stronach sieciowych wiodących jednostek, budzi zdumienie - można spotkać się z proporcjami rzędu 1:6. Na podstawie jakich dokumentów odbędzie się uwierzytelnienie tych danych w trakcie "ewaluacji"?
- przy obliczaniu wskaźników efektywności, uczelnie traktowane są na równi z jednostkami, których pracownicy powinni cały swój czas poświęcać działalności badawczej. Natomiast przy rozdziale dotacji na działalność statutową, uczelnie mają szanse dostać już jedynie 40% kwoty, którą dostają inne jednostki (bo przecież podstawowym obowiązkiem uczelni jest dydaktyka...).
- trzykrotne zmiany reguł oceny w trakcie biegu okresu, do którego się ona odnosi. W tym tak śmiałe i beztroskie, jak przyznawanie 700 pkt. za zatrudnianie laureata IDEAS, a następnie przecenianie tego osiągnięcia na 300 pkt. Plus kompletny brak pomysłu na uregulowania w kategorii działań praktycznych, przy bardzo wysokim punktowaniu przeciętnej działalności zarobkowej - w porównaniu z liczącymi się, i stosunkowo dobrze mierzalnymi publikacjami naukowymi.
- ciągnący się od lat grzech pierworodny punktacji publikacji - czy naprawdę 5-6 publikacji w branżowym czasopiśmie jest wart tyle, co artykuł w Science czy Nature? A przecież w ciągu tych 12 lat można było popatrzeć kiedyś na histogramy pokazujące strukturę publikacji i pokusić się o poprawienie choćby najbardziej kompromitujących mankamentów.
No i zasadnicze pytanie: o co tu w ogóle chodzi? Obserwując kolejne zmiany i pomysły na przestrzeni lat, można było dostrzec próby uporania się z częścią luk i patologii (np. nieco naiwne próby uściślenia pojęcia "monografii" i jej części). Ale jednocześnie śmiało i na dużą skalę wprowadzano zmiany w obszarach, w których na zobiektywizowane miary i kryteria trzeba chyba jeszcze będzie długo czekać. Czy celem tych działań jest zagonienie tych placówek, które mimo dużych trudności jeszcze wciąż radzą sobie z uprawianiem działalności naukowej - do chałtur? Czy też raczej chodzi o usprawiedliwienie potrzeby bezpośredniego dofinansowywania z budżetu państwa pewnych grup placówek, przez wytworzenie pozorów ich wysokiego poziomu?
W kolejnych reformach, które dotykają polską naukę i szkolnictwo, najbardziej martwi mnie kompletny brak odpowiedzialności ich autorów. Nawet nie za rozminięcie się z deklarowanym celem zmian, ale za zepsucie tego, co wcześniej funkcjonowało. Przykładem matura z matematyki.
Znikoma ilość komentarzy do tego artykułu jest deprymująca. Czyżby temat mało kogo interesował? A może czujemy się trochę bezradni przy wszechpotężnej machinie biurokratycznej?
Moim zdaniem ocena parametryczna, choć niewątpliwie potrzebna, przyniosła skrzywione rezultaty, wskutek przyjętych, nie do końca trafionych kryteriów.
1. Dobór jednostek jednorodnych. Nie można pakować do jednego worka JBRów, instytutów naukowych i wydziałów. O JBRach pisał autor, ja poruszę problem dydaktyki. Instytuty naukowe nie mają obowiązków dydaktycznych. Doktoraty i habilitacje powinny być elementem oceny jednostek uniwersyteckich, bo świadczą o kształceniu młodej kadry - jest to jednym z zadań pracowników uczelni, jednym z najważniejszych biorąc podało być w projekcie nowej ustawy o szkolnictwie wyższym uwagę przyszłość naszego kraju. Tu warto oczywiście dodatkowo pilnować JAKOŚCI doktoratów i habilitacji. Czemu mogłoby sprzyjać ich upublicznienie w Internecie (tak miało być wg. projektu nowej ustawy o szkolnictwie wyższym - i, o ile mi wiadomo, na wniosek doktorantów, odpowiedni zapis zniknął z projektu ustawy sic!)
2. Kryteria - obok doboru jednostek jednorodnych,
co jest oczywiście istotne, kryteria powinny być dopasowane do dziedzin. Znana reguła 3N, może dobra w naukach technicznych, kompletnie się nie sprawdza w fizyce. Jest to specyficzna dziedzina, w której, pomimo dość znikomego finansowania, pozostajemy na 13 pozycji w świecie (wg. liczby publikacji w renomowanych czasopismach). Oznacza to, że jesteśmy powiedzmy bardzo dobrzy. Reguła 3N oznacza, że dla czołowych 4-5 Uniwersytetów i kilku instytutów naukowych obserwujemy całkowite wysycenie na poziomie "bardzo dobrych" czasopism
(ranking=32). Tzn. 6-7 instytucji ma za publikacje 96 pkt z lekkim nadmiarem. Wynikają z tego wnioski:
a/nawet wiodąca nauka, jaką jest fizyka, należy do 1 ligi - publikuje w czasopismach typu 32, ale tylko okazjonalnie w czasopismach o rank=40. W ekstraklasie jestesmy niezbyt często, skąd nasze porażki w grantach IDEAS ERC -
tu jest potrzeba bycia wyjątkowym a nie tylko bardzo dobrym.
b/aby klasyfikować fizykę, astronomię itp.. potrzeba 5N czy może 6N. Innym naukom zresztą to by też nie zaszkodziło - spowodowałoby jedynie przesuniecie progu, ale dla fizyki próg powinien być taki by rozróżniać między pierwszym a drugim miejscem...
c/ jako fizyk nie mogę się powstrzymać od uwagi:
W biznesie czy sporcie czy innych dziedziniach foruje się te rozwiązania, które są na topie, blisko poziomu światowego. W nauce, dzieki swoistej polityce jest inaczej, skoro jesteśmy rzeczywiście dobrzy w naukach podstawowych (na porządnym światowym poziomie) to rozsądek nakazywałby finansowanie tych działów nauki. Tymczasem gros finansowania idzie w innym kierunku, tam gdzie nie 3N ale może 1N i to raczej w gazecie codziennej... niż w Nature czy
Science. I podobnie ranking preferujący wdrożenia..
Dlatego, jeśli mogę, sugeruję kolegom, słowami
W. Młynarskiego: "Róbmy swoje..."
Warto dodać, że umieszczenie w tej samej "jednorodnej" grupie badań naukowych Budownictwa i Architektury uznać można za duże nieporozumienia. Architektura to typowa dyscyplina humanistyczna podczas gdy budownictwo to dyscyplina techniczna. Te punkty zupełnie inaczej się do siebie mają.