Anthropic mění pravidla pro AI Claude Fable 5: Tajné omezování výzkumu končí po kritice

Společnost Anthropic, vývojář umělé inteligence, ustupuje od kontroverzní politiky, která by skrytě omezovala konkurenční výzkumníky v používání jejího nového modelu AI, Claude Fable 5, k vývoji dalších systémů umělé inteligence.

Společnost Anthropic, vývojář umělé inteligence, ustupuje od kontroverzní politiky, která by skrytě omezovala konkurenční výzkumníky v používání jejího nového modelu AI, Claude Fable 5, k vývoji dalších systémů umělé inteligence. Společnost změnila kurz poté, co tento krok vyvolal značnou vlnu kritiky v komunitě AI výzkumníků.

„Měníme bezpečnostní opatření modelu Fable 5 pro vývoj pokročilých velkých jazykových modelů, aby byla viditelná,“ uvedl Anthropic v prohlášení pro WIRED. „Udělali jsme špatný kompromis a omlouváme se, že jsme nenašli správnou rovnováhu.“ Původní politika zahrnovala záměrné snižování výkonu modelu způsobem, který byl pro uživatele neviditelný, což by účinně omezovalo výzkumníky snažící se použít Claude k trénování konkurenčních AI modelů. Anthropic ve svých podmínkách služby explicitně zakazuje používání Claude k trénování konkurenčních AI.

Kromě skrytého omezování výkonu Anthropic zavedl i další bezpečnostní opatření. Uživatelé, kteří se dotazovali na kybernetickou bezpečnost, biologii nebo chemii, byli přesměrováni na méně schopný model AI, aby se snížila pravděpodobnost zneužití pokročilé AI k provedení kybernetického útoku nebo vytvoření biologické zbraně. Nyní, po změně politiky, budou bezpečnostní opatření pro vývoj AI viditelná. Pokud společnost pojme podezření, že se uživatel snaží použít Claude k vytvoření vysoce schopné AI, upozorní ho, že žádost zamítá, nebo ho přesměruje na méně schopný model.

Kritici, jako například Dean Ball, bývalý poradce Bílého domu pro AI, a Will Brown z open-source AI startupu Prime Intellect, označili původní politiku za „šokující nepřátelskou“ a „tajnou sabotáž“, která podkopává důvěru a brání spolupráci na bezpečnosti AI. Podle Browna by tato politika mohla vést k budoucnosti, kde by pokročilý výzkum AI prováděla jen hrstka předních laboratoří. Anthropic obhajoval svá opatření obavou, že AI by mohla zlepšovat své schopnosti rychleji, než se společnost dokáže přizpůsobit, a také snahou zabránit zahraničním protivníkům v zneužití jejich modelů k narušení technologické převahy USA a jejich spojenců. Společnost nyní uvádí, že protože je bezpečnostní opatření viditelné, musí „házet širší síť“, což znamená, že více benigních požadavků může spustit jeho ochranu. Anthropic pracuje na co nejrychlejším zpřesnění svých klasifikátorů.