Vědci odhalili, jak neslyšitelné zvuky v podcastech mohou ovládnout AI asistenty a získat přístup k vašim datům

Nový výzkum ukazuje, že hackeři mohou do zvukových souborů, jako jsou podcasty nebo náhodná videa, vložit neslyšitelné zvuky, které dokážou ovládnout hlasové asistenty umělé inteligence ve vašem chytrém reproduktoru nebo telefonu.

Nový výzkum ukazuje, že hackeři mohou do zvukových souborů, jako jsou podcasty nebo náhodná videa, vložit neslyšitelné zvuky, které dokážou ovládnout hlasové asistenty umělé inteligence ve vašem chytrém reproduktoru nebo telefonu. Tento objev by kyberzločincům umožnil získat přístup k soukromým fotografiím, bankovním účtům nebo jakýmkoli dalším osobním informacím, které uživatelé propojili se svými AI systémy.

Výzkumný tým z Číny a Singapuru zjistil, že dokáže vytvořit „adversariální audio“, které je pro lidské ucho zcela nezjistitelné, ale dokáže oklamat hlasové AI modely, aby prováděly nežádoucí akce. Tyto zvuky lze snadno skrýt v nevinně znějícím audiu – písni, filmu nebo čemkoli jiném, co by nic netušící uživatelé mohli přehrávat na pozadí. Podle hlavního autora Menga Chena ze Zhejiang University trvá trénink takového signálu pouhou půlhodinu a je kontextově nezávislý, což umožňuje útok na cílový model kdykoli, bez ohledu na to, co uživatel říká. Modely mají potíže rozlišit normální záměr uživatele od tohoto útočného signálu.

Jediným omezením, alespoň prozatím, je, že technika vyžaduje přístup k plným vahám cílového AI modelu, což znamená, že vědci byli schopni napadnout pouze open-source modely. Vzhledem k tomu, že mnoho komerčních AI systémů je však postaveno na open-source základech, byl tento exploit účinný i proti mainstreamovým produktům společností Microsoft a Mistral. Zatímco Mistral na žádost o komentář nereagoval, Microsoft vydal prohlášení, ve kterém ocenil práci výzkumníků na prohloubení porozumění tomuto typu techniky. Uvedl, že studie hodnotí odolnost modelů prostřednictvím kontrolovaných, přímých interakcí s modelem samotným, což pomáhá informovat jejich přístup k budování odolnosti. V praxi jsou AI modely často integrovány do uživatelských aplikací a Microsoft nabízí vývojářům nástroje a pokyny, které mohou použít k implementaci dalších vrstev ochrany pro zabezpečení uživatelů.