Vědecký svět řeší AI „šmejd“ v publikacích: Platforma arXiv zavádí roční zákazy, pomůže ale spíš umělá inteligence?

Vědecká platforma arXiv, která slouží k publikaci preprintů před recenzním řízením, oznámila zásadní krok: výzkumníci, jejichž práce budou obsahovat chyby zjevně generované umělou inteligencí, se dočkají ročního zákazu a dalších omezení.

Vědecká platforma arXiv, která slouží k publikaci preprintů před recenzním řízením, oznámila zásadní krok: výzkumníci, jejichž práce budou obsahovat chyby zjevně generované umělou inteligencí, se dočkají ročního zákazu a dalších omezení. Tento krok je reakcí na rostoucí příliv prací generovaných umělou inteligencí, s nímž se potýkají jak odborné časopisy, tak i platformy jako arXiv. Ne všichni se však shodují, že reakce arXiv je adekvátní. Někteří experti naznačují, že řešení přívalu nekvalitního výzkumu generovaného umělou inteligencí by mohlo spočívat spíše ve větším využití AI, nikoli v jejím omezování.

Texty generované umělou inteligencí se šíří všude. Nedávná studie naznačuje, že polovina nových online článků je nyní primárně vytvořena umělou inteligencí. Věda není vůči tomuto trendu imunní. Časopis Organization Science nedávno zveřejnil studii o tom, jak vzestup umělé inteligence ovlivnil podávání prací a recenzní řízení od spuštění ChatGPT v roce 2022. Autoři zaznamenali výrazný nárůst odevzdaných prací a pokles kvality, což je vedlo k závěru, že „současný stav nástrojů umělé inteligence, umocněný stávajícími pobídkami k publikování za každou cenu, zřejmě posouvá systém k rovnováze, kdy vzniká více výzkumu, ale ne nutně lepšího“. Častým problémem v AI-generovaném vědeckém psaní jsou takzvané halucinované citace – odkazy na neexistující výzkum.

Tradiční ochranou proti nízké kvalitě ve vědeckém publikování je recenzní řízení, kdy jiný odborník v daném oboru přečte výzkumnou práci a prověří ji, než může být zveřejněna. Systém recenzního řízení však čelil potížím již před nástupem umělé inteligence. Vytížení výzkumníci mají často málo času nebo motivace k vykonávání neplacené práce recenzentů. Na arXiv, kde se publikují preprinty – články, které většinou neprošly recenzním řízením – tento systém ani není k dispozici. Loni, zaplaven AI-generovanými příspěvky, platforma přestala přijímat některé typy článků. Studie zveřejněná v lednu (rovněž preprint) odhaduje, že přibližně jeden z osmi článků v biomedicínských vědách nyní obsahuje text generovaný umělou inteligencí. Většina výzkumníků by se shodla, že text generovaný umělou inteligencí sám o sobě není problém. Problémem je spíše nižší kvalita práce, kterou umělá inteligence usnadňuje produkovat.

Oznámení arXiv se nestaví proti používání umělé inteligence jako takové, ale zdůrazňuje: „Pokud příspěvek obsahuje nezvratné důkazy, že autoři nezkontrolovali výsledky generování velkého jazykového modelu (LLM), znamená to, že nemůžeme důvěřovat ničemu v daném článku.“ To může být pravda, ale navržený trest – roční zákaz pro všechny autory uvedené na článku – nemusí být v souladu se současnými výzkumnými postupy. V minulosti byl výzkum často prováděn jednotlivci nebo malými skupinami dvou či tří lidí. Dnes je však výzkum více kolaborativní než kdykoli předtím. Mnoho prací má čtyři nebo pět autorů a v rostoucím počtu extrémních případů mohou být články připisovány skupinám stovek vědců, z nichž každý pracuje na své specializaci a důvěřuje svým kolegům, že dělají totéž. V případě, kdy jeden z desítek nebo stovek autorů zahrnul do své části práce AI-halucinovanou referenci, se zákaz pro všechny jeví jako příliš přísný. Navíc neexistují rovnocenné sankce za publikování jiného problematického materiálu, například za prosazování okrajových nebo diskreditovaných teorií, nebo za používání nekvalitních důkazů a nelogických argumentů.

Vzestup umělé inteligence přináší problémy vydavatelům a zajištění kvality. Myšlenka určitých sankcí za bezohledné používání AI, například za zahrnutí halucinovaných referencí, je dobrá. Konkrétní volba arXiv se však zdá drastická. Pokud je cílem zlepšit recenzní řízení a zajištění kvality, mohou v tom hrát roli samotné systémy umělé inteligence. Moderní systémy umělé inteligence jsou zcela schopny vzít seznam referencí a zkontrolovat, zda je každá z nich skutečnou prací dostupnou na internetu. Jakékoli podezřelé reference pak může zkontrolovat člověk. Umělá inteligence může být dokonce užitečná pro rychlé ověření například statistické analýzy práce. Možná je to cesta vpřed, spíše než přísné sankce za relativně menší prohřešky související s umělou inteligencí.