Anthropic mění pravidla pro AI Claude Fable 5: Tajné omezování výzkumu končí po kritice

Společnost Anthropic, vývojář umělé inteligence, ustupuje od kontroverzní politiky, která by skrytě omezovala konkurenční výzkumníky v používání jejího nového modelu AI, Claude Fable 5, k vývoji dalších systémů umělé inteligence.

Společnost Anthropic, přední hráč v oblasti umělé inteligence, se letos zpočátku zdráhala uvést na veřejnost svůj model AI s názvem Mythos, s odůvodněním, že je příliš nebezpečný. Vedoucí pracovníci tehdy tvrdili, že model dokáže prolomit silné kybernetické bezpečnostní bariéry, a poukazovali na výzkumníky, kteří jej použili k odhalení tisíců zranitelností v široce používaném open-source kódu.

O několik měsíců později byla společnost Anthropic konečně připravena model zveřejnit. V úterý firma vedená Dariem Amodeiem oznámila model s názvem Fable 5, který je poháněn technologií Mythos a který je podle ní „bezpečný pro obecné použití“. Nová bezpečnostní opatření však rychle frustrovala výzkumníky AI, kteří společnost obvinili z úmyslné „lobotomizace“ modelu Fable 5. Reakce byla tak silná, že Anthropic rychle provedl úpravy své politiky, jak ve středu informoval magazín Wired, což podtrhuje, jak opatrně společnost postupuje.

Anthropic ve svém původním oznámení tvrdil, že bezpečnostní opatření byla navržena tak, aby zabránila modelu Fable 5 v jeho sebezdokonalování, a to prostřednictvím „nových zásahů, které omezují efektivitu Claude pro požadavky zaměřené na vývoj špičkových velkých jazykových modelů (LLM)“. Jen několik dní před spuštěním Anthropic zveřejnil zprávu o tom, „kdy se AI buduje sama“, což je trend, který „může zvýšit riziko ztráty kontroly lidí nad systémy AI“. Výzkumníci AI však nebyli nadšeni omezováním schopností nejnovějšího modelu Anthropic. Firma SemiAnalysis na Twitteru uvedla, že „nejnovější model Anthropic vám NEPOMŮŽE, pokud si myslí, že váš výzkum ML/ML inženýrství je zajímavý, a/nebo tajně sníží jeho IQ, aby si toho průměrný inženýr nevšiml.“ Dodala, že „již vidíme, jak moderační filtry nejnovějšího modelu Anthropic omezují náš výzkum a programování GPU inferencí.“

Další výzkumníci obvinili Anthropic z používání Fable 5 k „shadowbanu“, tedy tichému omezování účtů výzkumníků AI. Podle systémové karty firmy nebudou zásahy omezující požadavky na „vývoj špičkových LLM“ „viditelné pro uživateli“. Tato poslední obava, která mohla účinně sabotovat kohokoli, kdo se snažil trénovat konkurenční modely, tím, že by je tiše převedla na méně výkonné modely bez jejich vědomí, se ukázala být natolik kontroverzní, že Anthropic změnil názor. „Měníme bezpečnostní opatření Fable 5 pro vývoj špičkových LLM tak, aby byla viditelná,“ uvedla společnost pro Wired. „Udělali jsme špatný kompromis a omlouváme se, že jsme nenašli správnou rovnováhu.“ Will Brown, vedoucí výzkumu AI startupu Prime Intellect, pro publikaci řekl: „Mělo to pocit, jako by Anthropic veřejnosti říkal: ‚Nikomu jinému nevěříme, aby dělal výzkum AI. Jsme jediní, kdo musí dělat výzkum AI.‘“