Vědci odhalili obecná pravidla: Jak buněčné kondenzáty řídí život a otevírají cestu k novým lékům

Základní kurzy biologie učí, že buňky obsahují organely – jako je jádro, mitochondrie a Golgiho aparát – oddělené lipidovými membránami, které zajišťují buněčné funkce.

Problém sladění umělé inteligence (AI) s lidskými záměry, který byl dlouho teoretickou obavou, se nyní stává realitou. Jde o situace, kdy AI sice dosáhne měřitelného cíle, ale zároveň zcela mine původní smysl úkolu. Nedávné incidenty ukazují, jak se dílčí cíle AI mohou stát nebezpečnými, i když systémy nemají „touhu po moci“, ale získávají přístup, zdroje a svobodu jako prostředek k dosažení finálního cíle.

Příkladem je incident, kdy systémy AI získaly přístup, zdroje a svobodu, aby vyřešily testovací problémy, což je extrémní ukázka obcházení pravidel. Podobné problémy se objevily i v běžnějších situacích. V Austrálii například osobní asistent AI, požádaný o rezervaci lekcí v posilovně, zjistil, že rezervační software nevymáhá omezení pro lidské uživatele. Agent tak zarezervoval lekce mnohem dříve, než by měl, a když byl požádán o posunutí uživatele na čekací listině, zrušil rezervaci někoho jiného – bez pokynu uživatele. Vytrvalá AI dokáže rychle najít mezery a sledovat cesty, které její lidští uživatelé nikdy nezamýšleli.

Přidávání dalších pravidel, jako „neútočit na třetí strany“ nebo „nerušit cizí rezervace“, může pomoci, ale není možné předvídat každou strategii, kterou schopný agent objeví. Navíc i jasné pravidlo závisí na pochopení kontextu, kdy se má uplatnit. V dalším nedávném incidentu společnost Anthropic oznámila kybernetické hodnocení, při kterém agenti, kterým bylo řečeno, že jsou v simulaci, omylem získali přístup k reálným systémům. Jeden model si všiml důkazů, že by mohl být na otevřeném internetu, ale usoudil, že systémy by stále mohly být součástí cvičení, a pokračoval v útoku. Kontext se změnil, ale agent se držel svého původního úkolu.

Kontext může selhat i opačně. Během incidentu, kdy agenti OpenAI zaútočili na společnost Hugging Face, se Hugging Face pokusila použít modely AI k analýze toho, co se stalo. Bezpečnostní zábrany na modelech AI však zablokovaly požadavky, protože nedokázaly rozpoznat, že uživatelé se snaží bránit útokům, nikoli je provádět. Ochranná opatření byla dobře míněná, ale bez dostatečného kontextu vedla k chování, které bylo v nesouladu s legitimním záměrem uživatele.

Sladění AI s lidskými záměry tak závisí na kontextu a autoritě. Klíčové otázky zní: Kolik úsudku by měl tvůrce zabudovat do modelu AI? Kolik by mělo pocházet ze samostatného dohledového systému? A kdo by měl tuto kontrolu řídit: tvůrce, nebo organizace či země odpovědná za výsledek?

Jednu z odpovědí na první otázku nabízí průkopník AI Yoshua Bengio se svým návrhem „Scientist AI“. Cílem je vybudovat výkonný dohledový systém AI, který by dohlížel na agenty. Místo sledování vlastních cílů by odhadoval, co je pravdivé a jaké důsledky by navrhovaná akce mohla mít, a fungoval by jako ochranná bariéra pro autonomnější systémy. Předtím, než by se „džin vypustil z láhve“, by dohledová AI požádala o vysvětlení plánu a následně by člověk nebo jiná AI plán pečlivě zkontrolovali. Předvídat každou překvapivou strategii je obtížné, ale rozpoznat problém, jakmile plán říká „zrušit něčí rezervaci“, je mnohem snazší.