Úloha hodnocení v matematickém výzkumu

V akademickém prostředí může být posedlost čísly a žebříčky mnohdy na úkor skutečné hodnoty výzkumu. Známky alarmující situace naznačují, že některé hodnotící systémy místo toho, aby podporovaly excelenci, vyvolávají pochybné praktiky.

Pod vedením Ilky Agricola, profesorky na univerzitě v Marburgu v Německu, provedla skupina mezinárodních výzkumníků podrobnou studii o matematických publikacích. Na žádost Německé matematické společnosti (DMV) a Mezinárodní matematické unie (IMU) objevili rozsáhlé a trvalé podvody, orchestrující snahy o umělé zvyšování výkonnostních skóre. Jejich výsledky, nejprve zveřejněné na platformě pro předběžné publikace arXiv, a později podrobně popsány v Notices of the American Mathematical Society, okamžitě upoutaly pozornost a vyvolaly obavy v celosvětové matematické komunitě.

Metriky používané k hodnocení kvality výzkumu, jako je počet publikací, citací nebo impakt faktor časopisů, jsou často generovány soukromými společnostmi s málo transparentními metodami. Tyto ukazatele, které jsou komerčně využívány na celosvětové úrovni, těží z omezené kontroly ze strany vědecké komunity. Některé podvodné organizace se specializují na pomoc výzkumníkům a institucím při manipulaci s těmito čísly, motivovány výhodami, jako jsou zvýšené financování, vyšší školné a posílení mezinárodní atraktivity.

Studie uvádí výmluvné příklady, jako je příklad, který zveřejnila společnost Clarivate Inc. v roce 2019, kdy byla taiwanská univerzita bez matematického programu klasifikována jako instituce s největším počtem výzkumníků prvotřídní úrovně v matematice. Navíc megaziny, které přijímají prakticky všechny články za poplatek, nyní produkují více článků ročně než všechny renomované matematické časopisy bez platbních překážek. V ústraní bezvědomí anonymní zprostředkovatelé prodávají vyráběné metriky, nabízející články připravené k publikaci nebo zvýšení citací za poplatek.

Generální tajemník IMU, Christoph Sorger, varuje před riziky ‚fake science‘, která nejen narušuje vědeckou komunitu, ale také eroduje důvěru veřejnosti. Vysvětluje, že tato situace ztěžuje rozlišení mezi platnými informacemi a těmi neplatnými, což brání postupu znalostí. Prezident DMV, Jürg Kramer, na své straně vyzývá k reformě praktik, která by obnovila integritu v matematických publikacích.

Propozice komise zahrnují opatření ke zlepšení transparentnosti hodnotících metrik a posílení procesů kontroly ze strany kolegů. Hlavním cílem je zaměření pozornosti na skutečný vědecký přínos spíše než na kvantitativní ukazatele, které jsou často náchylné k manipulaci. Tato iniciativa si klade za cíl obnovit důvěru a zajistit, aby matematický výzkum i nadále sloužil jako pevný základ pro budoucí pokroky.

Impakt faktor

Impakt faktor je numerický ukazatel, který měří průměrnou frekvenci, s jakou jsou články časopisu citovány v daném období. Často je používán jako proxy pro kvalitu nebo vliv publikace. Vypočítává se firmami jako Clarivate, a to na základě počtu citací, které obdržely články publikované v časopise během předchozích dvou let, děleno počtem článků publikovaných během této doby.

Nicméně impakt faktor má několik omezení. Může být pozitivně ovlivněn oblastmi výzkumu, kde jsou citace častější, bez ohledu na kvalitu. Kromě toho nebere v úvahu rozmanitost typů článků nebo jejich dlouhodobý dopad. Tlak na publikaci v časopisech s vysokým impakt faktorem může podněcovat výzkumníky k preferenci trendových témat na úkor inovativních, ale méně citovaných prací.

Na odstranění těchto problémů se navrhují alternativy, jako jsou metriky založené na užití nebo kvalitativní hodnocení. Cílem je rozvinout hodnotící systémy, které jsou spravedlivější a více reprezentativní pro skutečnou vědeckou hodnotu, čímž se snižují pobídky k manipulaci. Například hnutí pro otevřenou vědu podporuje publikaci dat a metod, což umožňuje nezávislou verifikaci.