Filozofka Amanda Askell učí AI Claude etickým rozhodnutím: Klíč k důvěryhodné autonomní budoucnosti

Umělá inteligence (AI) vstupuje do éry, kdy se z pouhých chatovacích systémů stávají autonomní agenti schopní plnit komplexní úkoly a činit stále závažnější rozhodnutí. S tímto posunem vyvstává zásadní otázka: jak zajistit, aby tato rozhodnutí byla etická?

Umělá inteligence (AI) vstupuje do éry, kdy se z pouhých chatovacích systémů stávají autonomní agenti schopní plnit komplexní úkoly a činit stále závažnější rozhodnutí. S tímto posunem vyvstává zásadní otázka: jak zajistit, aby tato rozhodnutí byla etická? Právě tuto problematiku zkoumá Amanda Askell, filozofka s doktorátem z New York University, která po dvou letech v OpenAI přešla v roce 2021 do společnosti Anthropic. Zde stojí v centru úsilí o vštěpování etických principů do AI modelu Claude.

Její zodpovědnost roste úměrně s rozšiřujícími se schopnostmi systému. Askell zdůrazňuje, že čím autonomnější a dlouhodobější akce modely podnikají, tím více rozhodovacích bodů je třeba předem pečlivě zmapovat a nastavit. Je velký rozdíl mezi tím, zda se velkého jazykového modelu zeptáme na morálku nákupu akcií zbrojní firmy, nebo ho požádáme, aby spravoval investiční portfolio uživatele bez každodenního lidského dohledu. Druhý scénář představuje mnohem složitější problém: jak by AI měla činit hodnotově zatížená rozhodnutí jménem člověka.

Část řešení spočívá v tom, že Claude je povzbuzován k citlivosti a porozumění hodnotám uživatele, aniž by vnucoval svou vlastní „svéráznou etiku“. Anthropic tyto hodnoty v současné době komunikuje prostřednictvím písemné a neustále se vyvíjející „ústavy“, kterou vede Askell a která je formulována jako instrukce pro Claude. Tato ústava nastiňuje principy jako bezpečnost a užitečnost a poskytuje vodítka pro řešení konfliktů mezi nimi. S rostoucími schopnostmi AI se tento dokument může rozšířit o nové scénáře, nebo se naopak zmenšit, jak Claude získá více odborných znalostí v navigaci složitými situacemi.

Éra autonomních agentů mění i roli samotné Askell. Technologii často využívá, mimo jiné k testování své práce a identifikaci hraničních případů, které by měla zvážit. Jejím současným standardem je nepřistupovat ke Claudeovi jako k spolehlivějšímu, ale ani o mnoho méně spolehlivému než k lidskému osobnímu asistentovi. Profil Amandy Askell je součástí výběru „AI 20 for 2026“ časopisu Fast Company, který představuje 20 nejvlivnějších technologů, podnikatelů, korporátních lídrů a kreativních myslitelů v oblasti AI.