Sesja panelowa konferencji NCN i PAN: Peer review – jak zapewnić trafność selekcji najlepszych projektów badawczych?. Zespół panelistów: od lewej: prof. Paweł Koteja (UJ, ekspert NCN); prof. Karol Życzkowski, (UJ, ekspert ERC); prof. Krzysztof Nawotka (Uniwersytet Wrocławski, ekspert NCN); dr Nina Kancewicz-Hoffman (European Science Foundation); dr Marcin Liana (koordynator dyscyplin NCN); prof. Tomasz Dietl (Instytut Fizyki PAN, Rada Naukowa ERC); prof. Ewa Okoń-Horodyńska (UJ, Komitet Naukoznawstwa PAN)
W trakcie drugiego panelu zatytułowanego Peer review – jak zapewnić trafność selekcji najlepszych projektów badawczych? zaprezentowano różne ujęcia i koncepcje systemów wyłaniania projektów badawczych otrzymujących finansowanie ze środków publicznych, w tym wyniki badań nad funkcjonowaniem różnych systemów oceny i problemy z tym związane. Peer review jest procesem oceny wniosków w systemie recenzji środowiskowych, a więc rodzajem debaty specjalistów mającej na celu wyłonienie najlepszych prac czy projektów. Kluczowe jest przy tym zaufanie – brak rzetelności już u źródła niszczy sens całego procesu. To właśnie było istotnym tematem debaty – jak zapewnić przejrzystość i uczciwość całego procesu ewaluacji. Warunkami powodzenia tego systemu są kultura ewaluacji i praca instytucji. Dostrzegalna jest wola NCN, aby zarówno dobór ekspertów, jak i cały proces ewaluacji był maksymalnie obiektywny – jak wynikało jednak z głosów z sali, różnie jeszcze z tym jeszcze bywa, nie brakuje bulwersujących przykładów opinii skrajnie niekompetentnych i nierzetelnych. Niestety, kiepska spuścizna byłego KBN daje o sobie znać –- z jednej strony brak pieniędzy i bardzo małe granty nie zapewniały jakości projektów, z drugiej powszechnie funkcjonowały koterie nawzajem popierające się w recenzjach grantowych. Ważne, że NCN ma tego świadomość i dąży do ukrócenia takich praktyk. Ocena projektu naukowego powinna opierać się na odpowiedzi na dwa pytania: czy wynik będzie nowy i ciekawy i czy zainteresuje kogoś na świecie. Optymalne jest dwuetapowy system ewaluacji: pierwszy etap – odrzut wniosków słabych i drugi – wybór najlepszych przez panel interdyscyplinarny, w trybie otwartej debaty. Kosztorysy powinny być powiązane z częścią merytoryczną (brak takiego powiązania to częsta wada projektów), powinno się preferować raczej projekty duże. Wszystkie wnioski muszą być dwujęzyczne, gdyż kluczowy ma być udział recenzentów zagranicznych. W zasadzie można by się ograniczyć się tylko do języka angielskiego (prof. Tomasz Dietl, Rada Naukowa European Research Council), ale obowiązuje polska ustawa o obowiązkowym narodowym języku dokumentów. Profesor Dietl uważa też, że granty zaaprobowane do drugiego etapu a nie zakwalifikowane do realizacji z powodu braku środków finansowych powinny być ponawiane, gdyż ich szanse w następnych panelach rosną.
Postulowano też wprowadzenie wymogu obowiązkowej publikacji wyników badań finansowanych z publicznych środków w Internecie oraz konieczność zróżnicowania formularzy wniosków, ze względu na specyfikę niektórych dziedzin naukowych.
Paneliści próbowali też odpowiedzieć na pytanie, jaką obiektywnie wartość dla oceny dorobku konkretnego badacza mają współczynniki naukometryczne, takie jak np. liczba cytowań czy znany indeks Hirscha. Odpowiedzi na to pytanie usiłował udzielić w krótkiej prezentacji prof. Karol Życzkowski, członek zespołów ekspertów European Research Council. Opinia profesora na temat istotnego znaczenia wymienionych współczynników była generalnie negatywna – owszem, mają pewne znaczenie wyłącznie statystyczne, ale na jego własnym przykładzie udowodnił, że korelacja indeksów cytowań z jego obiektywnie ocenionymi (bo przez samego siebie) osiągnięciami publikacyjnymi wypada słabo. Ogólnie paneliści zgodzili się, że rażąco niski indeks Hirscha na ogół wskaże na słabość osiągnięć danego badacza, bardzo wysoki raczej potwierdzi jego klasę, ale między ekstremami bardzo trudno o obiektywną ocenę w oparciu o taki współczynnik – nic nie zastąpi w tym przypadku oceny doświadczonego eksperta, co wymaga od niego wysiłku znacznie większego niż mechaniczny przegląd statystycznych współczynników. Profesor Życzkowski wskazał też na inną plagę (bynajmniej nie tylko polską) mnożenia się zorganizowanych „karteli cytowań" – czyli kręgów uczonych wzajemnie się cytujących w jednym celu – podniesienia swoich współczynników.
