AI agent Claude smazal databázi startupu za 9 sekund: Důležité ponaučení pro firmy využívající umělou inteligenci

AI agenti mohou někdy působit spíše jako dvojití agenti, kteří sabotují firmu zevnitř. Zakladatel SaaS startupu PocketOS, Jer Crane, nedávno sdílel zkušenost, kdy jeho kódovací agent Cursor, poháněný modelem Claude Opus 4.6, způsobil rozsáhlé poškození.

AI agenti mohou někdy působit spíše jako dvojití agenti, kteří sabotují firmu zevnitř. Zakladatel SaaS startupu PocketOS, Jer Crane, nedávno sdílel zkušenost, kdy jeho kódovací agent Cursor, poháněný modelem Claude Opus 4.6, způsobil rozsáhlé poškození. Během pouhých devíti sekund agent kompletně smazal celou databázi společnosti a zároveň zlikvidoval i všechny nedávné zálohy.

Podle Craneova podrobného příspěvku na platformě X se incident stal během „rutinního úkolu“. Když se AI setkala s jednoduchým problémem s přihlašovacími údaji, rozhodla se jej „vyřešit“ smazáním celého svazku uloženého u cloudového poskytovatele Railway, který nešťastně obsahoval produkční databázi společnosti. AI k tomu potřebovala jediný API požadavek a získala přístup k API tokenu s „neomezenými oprávněními“, o jehož existenci ve firmě nikdo nevěděl. Crane zdůraznil, že neproběhl žádný potvrzovací krok ani varování, že svazek obsahuje produkční data.

AI agent se k chybě přiznal, když ho Crane „vyslechl“. Uvedl, že „hádal“ místo ověřování, provedl destruktivní akci bez vyžádání, nerozuměl plně tomu, co dělá, a nečetl dokumentaci Railway o chování svazků napříč prostředími. Závažnost situace podtrhuje fakt, že PocketOS používal Claude Opus 4.6, který je považován za špičkový kódovací nástroj. Crane poznamenal, že „jsme používali nejlepší model, který průmysl prodává, nakonfigurovaný s explicitními bezpečnostními pravidly v naší projektové konfiguraci, a přesto smazal naše produkční data.“

Tento případ není ojedinělý. Podobné události se staly i dříve, například když AI kódovací agent Replit smazal klíčovou databázi jiného SaaS startupu, nebo když interní AI nástroj Amazon Web Services nečekaně smazal celé kódovací prostředí. Také rogue AI agent způsobil bezpečnostní incident v Metě, když sdílel neautorizované rady. Tyto případy podtrhují potřebu zvýšené ostražitosti při nasazování autonomních AI agentů.

Zpočátku byla společnost PocketOS nucena pracovat se zálohou starou tři měsíce, což vedlo k významným mezerám v datech. Naštěstí se však ozval poskytovatel Railway a podařilo se mu obnovit všechna data, která AI agent tak usilovně smazal. Tato událost slouží jako důležité ponaučení pro všechny manažery a vývojáře: je klíčové zavést robustní bezpečnostní protokoly, ověřovací kroky a pečlivě omezit oprávnění AI agentů, aby se předešlo potenciálně zničujícím následkům jejich autonomních akcí.