Do nowej ewaluacji jednostek naukowych zostało raptem parę miesięcy, a już wiadomo że reforma Jarosława Gowina zwana szumnie Konstytucją dla Nauki poniosła porażkę. Zamiast kierunku wyznaczonego przez reformatorów – a więc więcej wysokojakościowych badań których wyniki publikowane będą w najbardziej prestiżowych czasopismach – polskie środowisko, szczególnie w naukach społecznych odpowiedziało „sposobem”. A więc publikowanie – tak, w wysoko punktowanych czasopismach, ale pozostających na marginesie światowej debaty naukowej. A więc znowu Polska nauka jest mistrzem w swojej własnej, wygodnej kategorii. Jak do tego doszło?
Podstawowym błędem reformy Jarosława Gowina było bowiem przekonanie, że naukowców można po prostu „zagonić do roboty”. Czyli mówiąc prościej: przywalić kijem, nie dając marchewki. Tym samym powtórzono błąd Barbary Kudryckiej, która wymusiła na środowisku naukowym habilitację w 8 lat, nie dając wielkiej alternatywy tym którzy tego warunku nie spełnią. Efektem reformy Kudryckiej był więc wysyp bardzo przeciętnych pod względem poziomu postępowań habilitacyjnych, z których znaczna większość zakończyła się sukcesem. Tym samym wytworzyła nową polską elitę naukową, która otrzymała władzę, niekoniecznie mając wystarczające kompetencje.
Jarosław Gowin powielił ten błąd. Świadomy inflacji stopnia doktora habilitowanego, najpierw próbował go zlikwidować, a następnie zmiękczyć poprzez wymogi publikacyjne. I w tym tkwił główny mankament jego reformy. Wymóg 4 publikacji w okresie ewaluacyjnym wydawał się z pozoru sensowny. Co z tego, skoro przy implementacji tej idei doszło do tradycyjnego zjawiska w przypadku zmiany skomplikowanego systemu – renegocjowania zmian przez różne środowiska i grupy nacisku. W efekcie nowa punktacja czasopism stała się elementem zgniłego kompromisu, a jej wpływ na ocenę działalności naukowej w Polsce stał się mocno dyskusyjny.
Przejdę teraz do wpływu systemu punktacji publikacji do własnego poletka, czyli ekonomii i finansów. Najstarsze i najbardziej uznane czasopisma polskie typu Ekonomista, Bank i Kredyt, Gospodarka Narodowa otrzymały po 40 punktów. Nowsze periodyki wydawane w Polsce, ale indeksowane w bazach Scopus i WoS – maksymalnie 70. Natomiast najbardziej prestiżowe czasopisma międzynarodowe, jak np. Quarterly Journal of Economics – puntków 200. Do tej pory wszystko wydaje się mniej więcej w porządku, choć pewnie tradycjonaliści woleli by dać klasycznym czasopismom polskim nieco więcej punktów. Ale problem leży gdzie indziej. Niestety, przy 140 punktach nastąpiła sytuacja problematyczna. Otóż 140 punktów otrzymało czasopismo Energies. Jest to czasopismo wydawane przez koncern wydawniczy MDPI w formacie Open Access, ale pobierające opłaty za publikację. Acceptance rate czasopisma Energies (czyli % nadesłanych artykułów przyjętych do publikacji) wynosi 49%, co oznacza że niemal co drugi tekst nadesłany do tego periodyka jest publikowany. Dodajmy, że Energies w roku 2020 opublikował ponad 6,5 tysięcy artykułów, a w tym roku samych specjalnych numerów firmowanych przez polskich naukowców będzie ponad 70. Dla porównania – uznany w środowisku ekonomicznym Journal of Development Economics opublikował ich 130, przy acceptance rate wynoszącym około 6 %. Co więcej, czas od nadesłania tekstu do uzyskania pierwszej decyzji redaktora w Energies to 17 dni, a w Journal of Development Economies – 40. Ponadto Journal of Development Economics jest czasopismem specjalistycznym, do którego przyjmowane są wyłącznie teksty z zakresu ekonomii rozwoju, zaś Energies ma niezwykle inkluzywne podejście dzięki serii special issues na bardzo zróżnicowane tematy, nie tylko stricte związane z energią. Nic więc dziwnego, że w polskim systemie dla przeciętnego ekonomisty bardziej „opłaca się” publikować w Energies niż w Journal of Development Economics. Nie dość, że jest łatwiej, to jeszcze szybciej.
Oczywiście nie można mieć pretensji do firmy MDPI. Ba, jako ekonomista podziwiam ich model biznesowy, który jest bardzo skuteczny – szybka publikacja wyników badań w czasopismach z Impact Factor za dość przystępną cenę. Pretensję jednak można mieć do Ministerstwa Edukacji i Nauki, które identycznie wycenia Energies i Journal of Development Economies. Celowo podaję to drugie jako punkt odniesienia. Moja włoska koleżanka po opublikowaniu tamże swojego pierwszego poważnego artykułu została zatrudniona na stałym kontrakcie w uczelni będącej w rankingu Times Higher Education wyżej, niż jakakolwiek polska uczelnia. Czasopisma wydawane przez MDPI na Zachodzie aż takiego prestiżu nie mają – owszem, publikują tam naukowcy z dobrych ośrodków ale nie są to publikacje które gwarantują awanse zawodowe.
Tymczasem polscy naukowcy zajmują już zaszczytne podium w liczbie publikacji w Energies (1990 – stan na 11 lipca 2021), wyprzedzając m.in. Stany Zjednoczone. Związek z opublikowaną przez Ministerstwo listą czasopism jest oczywiste: w 2018 Polacy opublikowali w Energies 83 teksty, w 2019 – 238, zaś w 2020 – 861 artykułów. W tym roku należy spodziewać się rekordu, bo na chwilę obecną jest już 760 tekstów z Polski.
Powtarzam, opisywane zjawisko nie jest winą MDPI. Trudno mieć pretensje do prywatnej firmy która wyczuła koniunkturę i sprzedaje produkt, na który jest popyt. Natomiast trzeba wyraźnie stwierdzić, że – w mojej ocenie zawyżona – punktacja dla Energies doprowadziła do kilku niepokojących zjawisk.
Pierwszym z nich jest inflacja punktów za publikacje i rosnące wymagania w produkcji punktów wobec naukowców. 140 punktów było w założeniu reformatorów bardzo wysokim progiem, osiąganym dla nielicznych naukowców. Tymczasem niektórzy autorzy potrafią opublikować w Energies nawet ponad 4 teksty w okresie ewaluacji, co stawia ich za niedościgniony wzór dla pozostałych koleżanek i kolegów. Przyniesione punkty przez naukowców stały się bowiem systemem pracowniczej oceny, mimo że twórcy reformy (m.in. wiceminister Anna Budzanowska) zarzekali się, że tak być nie może. Tym samym jedna wybitna publikacja w innym czasopiśmie za 140 punktów pozwoli dobremu naukowcowi na jedynie pozytywną, ale nie wybitną ocenę jego produktywności naukowej.
Drugim negatywnym efektem jest inflacja cytowań. Sam nie byłem wielkim fanem bibliometrii, jednak obecnie wraz z rosnącą łatwością publikowania w czasopismach płatnych w trybie Open Access, cytowania naukowców rosną w tempie nieosiągalnym dla naukowców którzy publikują w tradycyjnych, uznanych czasopismach opartych o model subskrypcji. W rezultacie obserwujemy niezwykłe wręcz skoki cytowań – np. osoby nie mające żadnej publikacji przed 2019 potrafią mieć obecnie ponad 100 cytowań i indeks Hirscha powyżej 5.
Trzecim fatalnym wręcz skutkiem nadmiernej wyceny Energies stała się plaga wieloautorstwa. Oczywiście, współpraca badawcza – szczególnie międzynarodowa – jest rzeczą bardzo pozytywną, w zasadzie większość wartościowych badań w naukach społecznych powstaje w zespołach. Jednak w przypadku czasopism za 100 i więcej punktów Ministerstwo wprowadziło zasadę, że dla naukowców z różnych ośrodków publikujących wspólnie – każdy z nich dostaje „pełną pulę”. Tym samym kosztowny tekst w Energies (opłata za publikację to 2000 CHF) może być mniej drogi, jeśli napisze się go z 3-4 kolegami z innych ośrodków – każda uczelnia wyłoży po 600 franków szwajcarskich, a efekt punktowy będzie ten sam. W tym systemie jednak opłaca się dopisywać autorów, nawet jeśli nie brali realnego udziału w tworzeniu dzieła – wystarczy że opłacą swoją „składkę” za APC. W rezultacie przy ocenie dorobku przeciętny ekspert będzie patrzył na artykuły wieloautorskie z nieufnością, niezależnie czy powstały uczciwie czy też nie.
Czwartym i chyba najgorszym skutkiem punktacji będzie nieprzewidywalność oceny jednostek naukowych. W ekonomii i finansach dotychczas hierarchia była dość jasna – zdecydowanie na plus odstawał Wydział Nauk Ekonomicznych Uniwersytetu Warszawskiego, jedyna jednostka prezentująca solidny europejski poziom. Pozostałe uniwersytety ekonomiczne (w tym SGH) były na zbliżonym poziomie, a niżej pozycjonowały się wydziały ekonomiczne słabszych uniwersytetów. Teraz jednak oceniane są nie wydziały, a uczelnie jako całość pracowników reprezentujących w nich daną dyscyplinę. Tym samym w dużych uczelniach zarządzanie dorobkiem publikacyjnym pracowników, który składa się na 60% oceny – staje się problematyczny. Tymczasem małe ośrodki mogą z łatwością „kupić” sobie publikacje dla swoich pracowników – nie tylko w Energies, ale też słynnym European Research Studies Journal (100 punktów) w którym ostatnio publikują niemal wyłącznie polscy naukowcy.
Mleko się wylało. Obawiam się, że przyszłoroczna ewaluacja w ekonomii i finansach, ale też w wielu innych dyscyplinach będzie farsą. Co gorsza, długofalowe skutki fatalnej punktacji będą odczuwalne długo, również przy ocenie dorobku poszczególnych naukowców w postępowaniach awansowych i ocenie okresowej. No i kto ma ten chory system naprawić? Bo chyba nie obecny minister?
Założyłem bloga, bo denerwuje mnie poziom dyskusji na tematy ekonomiczne, która toczy się w polskim internecie. Szczególnie teraz, gdy wchodzimy w okres spowolnienia, a może nawet (odpukać!) recesji. Idea bloga jest prosta - przedstawienie diagnoz/opisu polskiej gospodarki w sposób przystępny, właśnie "na chłopski rozum". Na ile to się uda, zależy nie tylko ode mnie, ale i od użytkowników:)
Nowości od blogera
Inne tematy w dziale Społeczeństwo
