Falešná nemoc „bixonimanie“ oklamala AI: Chatboti ji začali citovat i ve vědeckých studiích
InovaceTým vědců z Göteborgské univerzity, vedený Almirem Osmanovic Thunströmem, v roce 2024 vynalezl fiktivní kožní onemocnění nazvané „bixonimanie“.
Tým vědců z Göteborgské univerzity, vedený Almirem Osmanovic Thunströmem, v roce 2024 vynalezl fiktivní kožní onemocnění nazvané „bixonimanie“. Podle jejich vymyšleného popisu je tato nemoc způsobena příliš dlouhým zíráním do obrazovek a nadměrným třením očí.
Ve snaze oklamat velké jazykové modely AI nahrál tým dvě falešné studie o této nemoci na preprintový server (obě byly mezitím staženy). Jejich lest se rychle ujala. Během několika týdnů po nahrání falešných studií začaly přední modely umělé inteligence, včetně Google Gemini a OpenAI ChatGPT, hovořit o „bixonimanii“, jako by byla skutečná. Nedlouho poté vědci zjistili, že falešné práce byly dokonce citovány v jiných recenzovaných akademických publikacích.
Tento experiment zásadně poukazuje na to, jak umělá inteligence mění tvář lidského poznání. Obsah generovaný AI pronikl téměř do všech aspektů recenzního procesu. Již dříve bylo zjištěno, že velká část vědeckých prací indexovaných časopisy se může ve značné míře opírat o AI, což vyvolává složité otázky ohledně jejich platnosti a narušuje přísnost a důvěru ve vědecký výzkum. AI chatboti navíc nadále poskytují potenciálně nebezpečné zdravotní rady často nic netušícím uživatelům.
Zatímco rychlé prostudování prací Osmanovic Thunströma by prakticky komukoli, vědci i laikovi, okamžitě odhalilo podvod (falešné práce obsahovaly zvláštní odkazy na „Star Trek“, „Simpsonovy“ a „Pána prstenů“, které měly sloužit jako zjevné varovné signály), AI chatboti, včetně Microsoft Bing Copilot, Google Gemini a vyhledávače Perplexity AI, se nechali přesvědčit, že „bixonimanie“ je skutečná. I když ChatGPT měl na okamžik „záchvat rozumu“ a minulý měsíc pro časopis Nature uvedl, že stav „je pravděpodobně vymyšlený, okrajový nebo pseudovědecký štítek“, o několik dní později změnil názor a prohlásil, že nemoc je skutečná. Mluvčí OpenAI v prohlášení pro časopis argumentoval, že technologie se „zlepšila v poskytování bezpečných a přesných lékařských informací“.
Nyní, když je podvod odhalen, je na časopisech, aby prošetřily a stáhly veškeré chybné recenzované práce, které se opírají o fiktivní výzkum Osmanovic Thunströma. Poté, co časopis Nature kontaktoval jeden z nich ohledně několika prací, které odkazovaly na „bixonimanii“, časopis okamžitě zveřejnil oznámení o stažení, přiznávající „přítomnost tří irelevantních odkazů, včetně jednoho odkazu na fiktivní nemoc“. „Vyvolává obavy, když se takto závažná tvrzení dostávají do literatury bez kontroly, nebo procházejí recenzním řízením bez kontroly,“ řekl Osmanovic Thunström pro Nature. „Myslím, že existuje pravděpodobně mnoho dalších problémů, které dosud nebyly odhaleny.“ Uživatelé na subredditu r/medicine vyjádřili daleko pesimističtější názor na budoucnost vědeckého publikování v éře AI.