arXiv zpřísňuje pravidla: Vědci ponesou plnou odpovědnost za halucinace AI ve svých publikacích

Vědecká komunita se potýká s novou výzvou spojenou s rostoucím využíváním umělé inteligence (AI) při psaní výzkumných prací. Zatímco někteří vědci AI zcela odmítají, jiní ji používají pro pomocné úkoly, jako je vyhledávání zdrojů, úpravy textu nebo formátování citací.

Vědecká komunita se potýká s novou výzvou spojenou s rostoucím využíváním umělé inteligence (AI) při psaní výzkumných prací. Zatímco někteří vědci AI zcela odmítají, jiní ji používají pro pomocné úkoly, jako je vyhledávání zdrojů, úpravy textu nebo formátování citací. S tím však přichází i tlak na ověřování každého tvrzení, neboť AI s sebou nese riziko kontaminace práce takzvanými „halucinacemi“ – tedy smyšlenými či nepřesnými informacemi.

Tato debata eskalovala minulý týden, když open-source repozitář vědeckých prací arXiv oznámil, že bude autorům zakazovat publikování na platformě až na rok, pokud se v jejich dílech objeví „halucinované reference“. Důvod je podle předsedy počítačové vědy arXiv Thomase Diettericha jasný: pokud práce obsahuje nezpochybnitelný důkaz, že autoři nezkontrolovali výsledky generování velkého jazykového modelu (LLM), nelze důvěřovat ničemu v celém dokumentu. arXiv tak nezakazuje AI úplně, ale zdůrazňuje, že konečnou odpovědnost za veškerý obsah nese autor.

Toto rozhodnutí však vyvolalo okamžitou kritiku mezi některými akademiky. Profesor ekonomie James Miller ze Smith College vyjádřil šok nad očekáváním, že každý autor zkontroluje každou citaci, zejména pokud je v cizím jazyce nebo se týká technického materiálu, kterému nerozumí. Luca Ambrogioni, asistent profesora AI na Donders Institute, označil pravidla za příliš přísná a argumentoval, že chyby se mohou vloudit při použití jakéhokoli nástroje a že jednorázová nedbalost by neměla vést k de facto „doživotnímu zákazu“ publikování. Neal Amin, zakladatel biotechnologického startupu, pak varoval před přehnanou reakcí a nástupem „gatekeepingu“ ve vědeckém publikování.

Tato diskuse podtrhuje rostoucí potřebu jasných etických směrnic a standardů pro integraci AI do vědeckého výzkumu. Zatímco AI nabízí obrovský potenciál pro zefektivnění a rozšíření výzkumných procesů, klíčové zůstává zajištění integrity a důvěryhodnosti publikovaných výsledků. Debata o odpovědnosti za AI halucinace tak není jen o technologii, ale především o základních principech vědecké práce a autorství v digitální éře.