Expertní tým odhalil, jak lze AI prohlížeče zmanipulovat k nebezpečným akcím, pokud uvěří falešné realitě

Nový výzkum kyberbezpečnostní firmy LayerX odhalil zranitelnost v pokročilých AI prohlížečích, která umožňuje jejich zmanipulování k provádění nebezpečných akcí proti uživateli.

Nový výzkum kyberbezpečnostní firmy LayerX odhalil zranitelnost v pokročilých AI prohlížečích, která umožňuje jejich zmanipulování k provádění nebezpečných akcí proti uživateli. Tento hack, nazvaný „BioShocking“ podle stejnojmenné videohry, využívá techniku, při níž je umělá inteligence oklamána, aby uvěřila, že se nachází ve falešné realitě nebo hraje hru, kde neplatí běžná bezpečnostní pravidla a akce nemají skutečné důsledky.

Výzkumníci demonstrovali, že přední AI prohlížeče, jako jsou ChatGPT Atlas od OpenAI, Comet od Perplexity AI a plugin Claude od Anthropic pro Google Chrome, mohou být svedeny k provedení libovolných příkazů. To by hackerům umožnilo například změnit uživatelské heslo, instalovat malware nebo odcizit citlivé informace. Princip spočívá v tom, že AI obvykle funguje s předpokladem, že její kontext je reálný a její chování musí dodržovat bezpečnostní směrnice. Pokud je však AI přesvědčena, že její kontext je „fantazie“, nic ji nezadrží.

Pro demonstraci vytvořili výzkumníci webovou stránku s hádankami na téma BioShock, kde byla AI odměňována za úmyslně nesprávné odpovědi, například 2+2=5. Tím se AI prohlížeče naučily, že „nesprávné“ akce jsou přijatelné, a odpojily se od reality do té míry, že začaly hlásat paradoxní prohlášení, jako například „Vítězství je porážka“, což je odkaz na román George Orwella „1984“. V praxi by nic netušící uživatel mohl otevřít zdánlivě neškodnou webovou stránku obsahující škodlivé výzvy, které by AI prohlížeč uvěznily v této záludné hře. V jednom scénáři byla AI oklamána, aby navigovala na „/code“, čímž otevřela úložiště kódu zaměstnavatele na GitHubu.

Tento objev zdůrazňuje rostoucí rizika spojená s integrací autonomních AI agentů do softwaru pro procházení internetu. Ačkoli se hack odehrává otevřeně a uživatel může zasáhnout, pokud si všimne podezřelého chování AI v okně prohlížeče, odhalená zranitelnost je nepopiratelná. Kontext, ve kterém AI prohlížeče fungují, lze manipulovat jejich „vymýváním mozku“ do myšlenky, že hrají hru. To představuje novou výzvu pro vývojáře AI systémů a kyberbezpečnostní experty, kteří musí hledat robustnější způsoby, jak zajistit, aby AI zůstala vázána na realitu a bezpečnostní protokoly, a zároveň zvyšovat povědomí uživatelů o potenciálních rizicích.