Jak oceniać potencjał naukowy
Dokument MNiSW ma stanowić prawną podstawę pod nową ocenę jednostek naukowych. Ocena będzie obejmowała cztery lata: 2008-2011. Do końca 2012 r. minister przedstawi jej rezultaty.
Dokument jest obszerny, ale jednocześnie zawiera pewne istotne braki. Moje wieloletnie doświadczenie pracy w KBN i Radzie Nauki związane jest z naukami humanistycznymi i społecznymi, zatem odniosę się głównie do rozwiązań (też do zapisów w Karcie kompleksowej oceny jednostki ; dalej: KKO) dotyczących jednostek o tym profilu naukowym (plusy i minusy zastosowanych wówczas rozwiązań opisałem w artykule Kontrowersje wokół oceny jednostek naukowych z obszaru nauk społecznych , „Kultura i Edukacja”, nr 2/2011).
Czy każda jednostka naukowa powinna poddać się ocenie?
Uważam, że takiej ocenie powinny podlegać wszystkie jednostki, także uczelnie niepubliczne, przynajmniej te, które prowadzą studia II stopnia. Jeżeli można je poddawać ocenom przeprowadzanym przez Polską Komisję Akredytacyjną, to dlaczego nie można – w myśl idei jedności kontekstu kształcenia i badania naukowego – oceniać ich potencjału naukowego oraz rzeczywiście wykonywanych przez własnych pracowników zadań badawczych? Taka kompleksowa ocena (nauka + dydaktyka) byłaby dobrą diagnozą rzeczywistych możliwości polskich instytucji naukowych i naukowo-dydaktycznych. Zatem, to nie jednostka powinna decydować o tym, czy „opłaca się” jej poddać ocenie, ale jeżeli chce funkcjonować w sferze publicznej, to musi wykazać, że spełnia pewne związane z tym kryteria „naukowości”.
Grupy wspólnej oceny – GWO (dawniej: grupy jednorodne)
Jest to jeden z kluczowych problemów, których rozwiązanie zdecyduje o trafności przeprowadzonej oceny. Niestety, w rozporządzeniu pisze się tylko tyle, że jednostki będą oceniane w ramach poszczególnych GWO, których propozycja będzie przygotowana przez komisje komitetu (§ 8.1, s. 10), że to „Komitet określa, w ramach której GWO jednostka naukowa będzie podlegała ocenie” (§ 15.2, s. 16) i że jednostki będą mogły odnieść się do tych propozycji i zgłaszać uwagi (s. 59), ale czy będą mogły zakwestionować ich przypisanie do danej GWO i wskazać trafniejsze ich zdaniem przyporządkowanie? Łatwiej tworzyć GWO z instytutów badawczych, a znacznie trudniej w przypadku wydziałów uczelnianych. Sposób tworzenia GWO przesądza w dużej mierze o trafności parametryzacji. O idealnych GWO możemy zapomnieć – chyba, że zmienimy ustawę i będziemy mogli odrębnie oceniać instytuty i katedry wchodzące do takich „składankowych”, bardzo niejednorodnych wydziałów. Myślę, że zastosowany w 2010 r. podział na grupy jednorodne w obrębie nauk humanistycznych i społecznych nie był zły i nie spotkał się z odrzuceniem ze strony środowiska akademickiego. Ja bym go zachował.
Czyje prace powinny być uwzględniane w dorobku jednostki?
Jeżeli precyzyjnie zdefiniowaliśmy parametr „N” (tylko osoby zatrudnione w jednostce, która jest dla nich „podstawowym miejscem pracy” – § 7.1, s. 9), to także tylko te osoby powinny być uwzględniane w KKO, jako autorzy publikacji itp. Zapis nakazujący uwzględnianie tylko dorobku osób zatrudnionych w jednostce jako w ich miejscu podstawowym wyeliminuje, raz na zawsze, patologiczne zjawisko „kupowania” publikacji od osób zatrudnionych, czasami tylko szczątkowo, w innych, aniżeli ich macierzysta jednostka. Dziś jest to akceptowane. Zróbmy wreszcie coś, aby tak nie było.
Problem z „N0”, czyli z osobami nieaktywnymi naukowo
Przy definiowaniu „N0” raz mówi się, że jest to „liczba pracowników, którzy w danym okresie oceny nie opublikowali „żadnego artykułu naukowego w czasopiśmie wymienionym w wykazie ogłaszanym przez Ministra lub monografii naukowej, lub rozdziału w monografii, ani nie byli autorami patentu, wzoru użytkowego lub dzieła artystycznego” (§ 7.3, s. 10), a drugi raz mówi się, że jest to liczba pracowników, którzy „w okresie poddanym ocenie nie opublikowali żadnego artykułu naukowego w czasopiśmie wymienionym w wykazie zgłaszanym przez Ministra ” [podkr. moje – s. 58]. Sam pomysł „karania” jednostki za tolerowanie pracowników nieaktywnych naukowo uważam za dobry. Jednak w pierwszym rozumieniu kategorii „N0” będzie to, jak mówią logicy, zbiór pusty! No, bo w okresie czterech lat jakiś „rozdzialik”, zrecenzowany przez „życzliwą” osobę, w lokalnie wydanej pracy zbiorowej (np. tzw. zeszytach naukowych) nawet najbardziej leniwy i mało twórczy pracownik ogłosi drukiem. Znacznie lepszy jest zapis mówiący o artykule naukowym z ministerialnego wykazu, o którym mowa w § 6.1 (s. 9). Z jednym jednak zastrzeżeniem – część B tego wykazu obejmuje czasopisma krajowe o zakresie punktacji: 0,25 pkt – 10 pkt. Jak niski poziom musi reprezentować czasopismo „naukowe”, że będzie przysługiwać mu ocena zaledwie 0,25 pkt? Jeżeli odwołalibyśmy się do oceny punktowej krajowych czasopism naukowych, obowiązującej w 2010 r., to uważam, że od każdego pracownika można oczekiwać, iż opublikuje przynajmniej raz (!) na 4 lata artykuł w czasopiśmie co najmniej 6-punktowym. To i tak są bardzo skromne wymagania – aż wstyd takie formułować! Sama idea „N0” jest bardzo słuszna, ale nie można jej skarykaturować.
Dysproporcje w ocenie publikacji (KKO dla grupy nauk humanistycznych i społecznych)
Nie mogę się zgodzić ze zbyt małym zróżnicowaniem punktacji za monografię opublikowaną w j. polskim (20 pkt. – zbyt wysoka punktacja) i za monografię opublikowaną w j. podstawowym dla danej dyscypliny lub kongresowym (25 pkt. – zbyt niska punktacja). Chciałbym też zwrócić uwagę na to, że wszystkie prace polonistyczne czy drukowane przez filologów specjalizujących się w innych językach będą mogły być traktowane jako prace w j. podstawowym (por. przypis * do odpowiednich tabel KKO). Jeżeli jakaś jednostka niefilologiczna znajdzie się w jednej GWO z jednostkami filologicznymi, to marny jej los. Zawsze przegra z jednostką o profilu filologicznym. Są przecież uczelnie z wydziałami humanistycznymi, w których składzie znajdują się obok instytutów o profilu filologicznym także instytuty o innych profilach. Jak je oceniać? Przecież nie można „rozerwać” jednostki podstawowej. Podobna, trudna do zaakceptowania dysproporcja występuje też w punktacji rozdziałów w monografiach zbiorowych (2 i 4 pkt.). Jest to zbyt mały rozstęp – prace obcojęzyczne powinny być wyżej punktowane.
Inny problem, to skupianie się jedynie na języku monografii, a nie na jej wydawcy. Moim zdaniem monografia w języku np. angielskim powinna być zdecydowanie wysoko oceniana jedynie wówczas, gdy jest wydana przez oficynę z innego kraju . Możliwe jest też sporządzenie listy renomowanych wydawców zagranicznych do poszczególnych dyscyplin naukowych. Kto bowiem będzie odbiorcą monografii wydanej w j. angielskim przez lokalne polskie wydawnictwo (spotkałem się z takimi zabiegami!)? Taki chwyt wydawniczy służy jedynie łatwemu pozyskaniu punktów.
I jeszcze jedno. W KKO w tabeli 1. (s. 27) daje się 4 punkty za artykuły w innych, niż w wykazie ministra, „czasopismach zagranicznych”. To, że jest to czasopismo zagraniczne, nie musi oznaczać jego wysokiego poziomu naukowego – czy musimy padać na kolana przed wszystkim, co zagraniczne? 4 pkt. to mniej więcej połowa skali ocen czasopism polskich. Obawiam się, że utrzymanie tego zapisu zaowocuje wysypem publikacji w czasopismach z bliskiej zagranicy (i to w tych o miernym poziomie naukowym).
Chciałbym też zasygnalizować zbyt wysoką punktację czasopism z listy JCR (20-50 pkt.) przy zbyt niskiej punktacji czasopism z listy ERIH (12-20 pkt.). Obawiam, że zdecydował tu punkt widzenia nauk ścisłych i przyrodniczych, których przedstawiciele przecież nie drukują w czasopismach z listy ERIH.
I jeszcze jedna zagadka. Jeżeli najniższa ocena czasopisma z części B wykazu ministra wynosi 0,25 pkt., a najwyższa 10 pkt., to czy będziemy naprawdę umieli mierzyć poziom czasopisma?
Co jest monografią? – przypis 4 do KKO
Zbyt wiele różnych „produktów” pracy badawczej uznaje się za „monografie” (przypis 4 jest bardzo rozbudowany). Zacznijmy od tego, że już sześcioarkuszowa praca ma status monografii. A ponieważ taka „monografia” w j. polskim uzyskuje aż 20 pkt., więc nie należy się dziwić, że dziekani i dyrektorzy nakazują swoim pracownikom – w miejsce poważnej, powiedzmy: kilkunastoarkuszowej monografii – napisanie 2-3 mniejszych książek. Oczywiście obiecują sfinansowanie ich wydania. Kwitną małe oficyny wydawnicze, które jedynie drukują i oprawiają oraz dostarczają stronie zamawiającej minimalny nakład danego tytułu. A że taka książka nie trafia pod naukowe „strzechy”? Nie bądźmy małostkowi! Idzie przecież o to, aby dany wydział czy instytut otrzymał prestiżową kategorię A (może być i B). A jak punktować uczciwie monografię kilkudziesięcioarkuszową, nad którą jej autor lub zespół autorów pracował niekiedy wiele lat i która rzeczywiście jest istotnym dokonaniem naukowym?
Nie mogę się zgodzić, że za równoważne monografii naukowej uznaje się tłumaczenie jakiejś książki z języka obcego na polski „wraz z opracowaniem redakcyjnym”. Dlaczego monografią jest „mapa”, a nie jest test psychologiczny, który jest wydawany przez uznanego wydawcę? Dlaczego monografią w naukach humanistycznych i społecznych nie jest podręcznik akademicki, który zawiera oryginalne pomysły autora i obszerną – jak napisano w projekcie rozporządzenia – „bibliografię naukową”? Pominięcie podręczników akademickich, gdy dopuszcza się nawet leksykony, słowniki i bibliografie, uważam za zdumiewające!
„Zespoły ewaluacji” (§ 10.1, s. 11)
Nie opisano trybu powoływania ekspertów do takich zespołów. Nie napisano też nic o ich niezbędnych kwalifikacjach – w jaki sposób udokumentowanych? To ważne, bo na nich spadnie gros prac związanych z oceną wiarygodności przedstawionych przez jednostki materiałów.
Co mi się jednak podoba?
Kilka rozwiązań uważam za wartościowe i gdy będą dobrze uszczegółowione, to przyczynią się do trafniejszej oceny poziomu naukowego danej jednostki.
Po pierwsze, wymóg czterech ocen cząstkowych działalności jednostki, chociaż można mieć wątpliwości, co do udziału ocen cząstkowych w całości oceny. Dlaczego proponuje się zróżnicowanie wag wewnątrz jednej grupy nauk humanistycznych i społecznych (por. Tabela nr 2, s. 55-56)? Jeżeli, zdaniem ministra, obie są jednak różne, to może należało rozdzielić tę zbyt różnorodną grupę na dwie: (a) nauki humanistyczne i (b) nauki społeczne? Rozwiązałoby to kilka problemów – m. in. problem języka podstawowego (w naukach społecznych byłby to tylko język angielski) czy nadmiernie wysokiej punktacji monografii w j. polskim.
Po drugie, wprowadzenie (ważne dla nauk humanistycznych!) obok języka angielskiego, także innych języków kongresowych.
Po trzecie, słuszne jest punktowanie nie tylko samych uprawnień do nadawania stopni naukowych i popierania wniosków o nadanie tytułu naukowego, ale też „rozliczanie” jednostki z faktycznej aktywności na tym polu. To dobre posunięcie.
Po czwarte, idea zwrócenia uwagi na osoby nieaktywne naukowo (parametr „N0”).
Po piąte, zastosowanie metody porównywania parami do wyłaniania grup A, B i C. To istotne novum . Dotychczas stosowano bardzo prosty system procentowy, był on wszelako mało trafny. Jednak bez przeprowadzenia kilku symulacji i zastosowania – jak sądzę niezbędnych – korekt, jak np. punktacje „produktów”, wagi, określanie jednostki referencyjnej (por. s. 59) – nie wprowadzałbym go w życie. Sama idea jednak jest bardzo słuszna.
Nie poruszyłem wszystkich problemów, skupiłem się na, moim zdaniem, najważniejszych. Może chociaż w części zostaną zauważone?
Komentarze
Tylko artykuły z ostatnich 12 miesięcy mogą być komentowane.
Drodzy dyskutanci FA.
A Mundek co robi już jakieś 15 lat z hakiem , w komisji Prof. Kaczorka co habilitacje rozdaje wrócił z Warszawy i mówił że tak naprawdę to te całe reformy to o kant d.. można otłuc. Bo to wszystko jest tak jak było dotychczas tylko śmieszniej .A ta cała współpraca z przemysłem to lipa - bo przemysłu niema . A jeśli jest to te z zachodu mają swoich uczonych. Mundek mówił że sporo z PiSu samodzielnych uczonych w sejmie i na pewno będzie zachowywanie status quo, bo tak jak Kudrycką z habilitacją blokowali lewicowi samodzielni ( Modzelewski i te inne tam) - to teraz będzie to robił PiS.
Tylko się robi podglebie do prywatyzacji uczelni . Ale nie dla wszystkich . Uczelnie mają być wycenione . A później każdy samodzielny ma dostać udziały. Emeryci też ale tylko samodzielni. Bydło won na bruk - jak sie nie wyhabilitowało to won. Mundek już 15 lat tam w tej komisji robi i się tam utrzymał choć niejedną habilitacje uwalił nawet takim co na zachodzie byli. Także wie co mówi.
Potencjał naukowy jest wprost proporcjonalny do potencjału krajowego przemysłu. Nie ma przemysłu nie ma nauki. Dla kogo naukowiec ma tworzyć naukę? Dla uczelni, rektora, urzędników? Muszą być odbiorcy nauki. Dobrą naukę tworzy się w biurach projektowych, laboratoriach i poligonach przemysłowych. Postuluję aby przywrócić dawny system oceny nauki tj.: 1/prace naukowe pisać na zamówienie gospodarki, 2/ odbierać tylko te prace naukowe, które mają potwierdzenie szefów firm o przydatności dla gospodarki, 3/zbierać opinie czytelników publikacji, 4/odtajnić nazwiska recenzentów prac, 5/ promować patenty. Ponadto postuluję: 6/ nakłaniać studentów do publikowania swoich osiągnięć, 7/promować młodych naukowców, 8/ wprowadzić obowiązek korzystania z laptopów na zajęciach, wychodząc z założenia, że aby zarządzać wiedzą trzeba ją gdzieś zapisać i zakodować, a do tego służą laptopy (wszyscy moi studenci dobrze o tym wiedzą). Głosujcie na mnie!
Obecnie procesy kształtowania potencjału naukowego bardzo często nie są skoordynowane i zależą od spontanicznej aktywności wizjonerów, twórców, menedżerów, zespołów oceniających, a niekiedy przypadkowości. Sposób funkcjonowania gospodarki zależy tu od sekwencji pojawiania się nowych idei, pomysłów, koncepcji, innowacji, a także od tego, kto nimi dysponuje. Procesy te rozwijają się według własnych zasad funkcjonujących wewnątrz organizacji często zarządzanych przez menedżerów lub polityków imitacyjnych i mają znaczący wpływ na jakość rozwoju kultury organizacji oraz społeczeństw.
Szczególne znaczenie w nowoczesnym rozwoju potencjału naukowego - badawczego ma jednak proces konsolidacji sfery B+R w ramach budowania Programów Współpracy Partnerskiej, który jest realizowany przez Przywódców i Menedżerów Transformacyjnych (budowanie Programów Ramowych oraz Programów Operacyjnych)poprzez podsystem wspierający proces innowacyjny.
Miło mi zgodzić się z praktycznie wszystkimi Pańskimi tezami, a miło tym bardziej, że reprezentujemy zupełnie inne dziedziny nauki. Sam pomysł obiektywnej oceny parametrycznej pracy naukowej jest zadaniem karkołomnym, jeśli w ogóle wykonalnym (kuriozalnym?). Doświadczenie uczy, że każda miara staje się celem. Dlatego im słabszy naukowiec, tym chętniej ucieka się do pozoranctwa naukowego, czyli pompowania punktacji ministerialnej. Jedną z najłatwiejszych dróg pozoranctwa stanowią rozdziały w monografiach. Opublikowanie takiego dzieła wymaga tylko opłacenia kosztów konferencji krajowej i właśnie publikacji. Sama publikacja nie jest recenzowana! A jeśli już, to na zasadzie koleżeńskiej (czytaj: kumoterskiej lub feudalnej). Śmiem twierdzić, że dla większości uczestników krajowych "konferencji naukowych" taki rozdział w materiałach konferencyjnych jest celem ich udziału w konferencji, bo rozliczają go jako publikację... naukową (właśnie jako rozdział w monografii)! Tymczasem taki nierecenzowany artykuł w języku niekongresowym (polskim) to co najwyżej publikacja popularyzująca wiedzę (co samo w sobie jest ważnym obowiązkiem naukowca i dlatego - tylko dlatego - ministerstwo powinno dofinansowywać wybrane konferencje krajowe).
To jest absolutna patologia.
I ma Pan rację, że zdefiniowany w projekcie próg działalności naukowej jest całkowicie fikcyjny i odsieje co najwyżej skończonych fajtłapów.
Myślę, że nacisk reprezentantów nauk ścisłych i przyrodniczych na publikacje w renomowanych i recenzowanych czasopismach naukowych zagranicznych wynika stąd, że tylko takie publikacje przeszły przez sito weryfikacji niezależnych, anonimowych recenzentów. Moglibyśmy zrównać publikacje krajowe z zagranicznymi tylko wówczas, gdybyśmy zrównali poziom recenzji, co jest nierealne. Więc - jest jak jest i długo jeszcze będzie. Za pieniądze podatnika (w sytuacji podbramkowej - za własne) na masową skalę rożnymi sposobami pozoruje się działalność naukową. Nie o język i miejsce publikacji chodzi, tylko o wkład do nauki związany z rangą miejsca publikacji, która z kolei wynika z wysokiego poziomu recenzji i zaniedbywalnie małego stopienia kumoterstwa!