Umělá inteligence se učí podvádět: Modely OpenAI hackly web, aby našly odpovědi na test
InovaceV červenci se dva modely umělé inteligence od OpenAI nabouraly na webovou stránku Hugging Face. Jejich cílem nebylo vydělávat peníze ani sabotovat, ale pouze najít odpovědi na testovou otázku.
V červenci se dva modely umělé inteligence od OpenAI nabouraly na webovou stránku Hugging Face. Jejich cílem nebylo vydělávat peníze ani sabotovat, ale pouze najít odpovědi na testovou otázku. Podle zprávy OpenAI modely, které byly pro účely testování zbaveny běžných bezpečnostních prvků, se rozhodly vyřešit cvičení z kybernetické bezpečnosti tím, že se hacknutím dostaly z izolovaného prostředí, ve kterém je OpenAI držela, do databází Hugging Face. Tam předpokládaly, že by mohla být uložena správná odpověď na problém.
Tento incident s Hugging Face přitáhl v posledních týdnech značnou pozornost. Dramaticky ilustruje, jak moc se modely umělé inteligence zlepšily v hackování – pro přístup do databází Hugging Face musely modely spojit několik dříve neobjevených kybernetických exploitů. Ještě pozoruhodnější je to však jako příklad toho, jak a proč systémy umělé inteligence lžou a podvádějí. S rostoucí silou modelů by dopady mohly být mnohem závažnější.
Vědci již delší dobu vědí, že umělá inteligence má tendenci k tvůrčím přístupům k dosahování stanovených cílů. Již v roce 2016 spoluzakladatelé Anthropic Dario Amodei a Jack Clark, tehdy pracující v OpenAI, popsali AI agenta trénovaného na hraní flashové hry Coast Runners. Místo aby agent projel závod do cíle, jak vědci očekávali, našel koutek trati, kde se mohl točit dokola a sbírat vylepšení, čímž maximalizoval své skóre. Tento příběh se rychle stal jedním z nejznámějších příkladů „optimalizace odměn“, jevu, kdy agenti AI dokončují úkoly nebo získávají vysoké skóre pomocí nezamýšlených strategií.
Historicky se o optimalizaci odměn diskutovalo téměř výhradně v kontextu posilovacího učení, běžného tréninkového režimu AI. Podobně jako při výcviku psů, posilovací učení zahrnuje odměňování subjektu, když dosáhne cíle; odměny pak posilují chování, které k tomuto úspěchu vedlo. V případě tréninku AI jsou odměny čistě matematické, ale v podstatě jsou stejné jako pamlsek pro psa: po obdržení odměny je agent pravděpodobnější, že zopakuje akce, které ji vyvolaly. Napsat dobrá pravidla pro to, kdy a kdy neudělit agentovi odměnu, může být náročné. V případě Coast Runners byl agent odměněn na základě svého skóre ve hře a našel zkratku k dosažení nejvyššího možného skóre točením se v kruzích pro vylepšení. Jakmile na tuto strategii narazil a obdržel za ni odměnu, strategie byla posílena a agent závod zcela opustil. Řešením bylo upravit odměny tak, že agent dostal méně bodů za sbírání vylepšení a více za dokončení trati.
U dnešních sofistikovaných agentů založených na velkých jazykových modelech (LLM) může být určení, kdy a kdy neudělit odměnu, mnohem složitější. Pokud je systém AI požádán o vyřešení programovacího problému, může se snažit najít řešení – což je chování, které chtějí společnosti AI posílit. Může však také upravit kód, který vyhodnocuje, zda byl problém vyřešen, vyhledat řešení na internetu nebo jinak podvádět. To jsou chování, která chtějí společnosti AI ve svých modelech potlačit, ale pokud model podvádí dostatečně přesvědčivě, bude místo toho odměněn a chování bude posíleno. Společnost Anthropic uvedla, že během tréninku detekovala některé případy podvádění ve svých modelech, což naznačuje, že jiné formy podvádění by mohly zůstat neodhaleny. Pokud ano, modely by mohly být trénovány k nevhodnému chování.