Průlomový krok: Americký stát žaluje AI chatbota, který se vydával za lékaře a nabízel psychologické rady

S rostoucí sofistikovaností chatbotů s umělou inteligencí začínají regulační orgány ve Spojených státech stanovovat jasnější právní hranice.

S rostoucí sofistikovaností chatbotů s umělou inteligencí začínají regulační orgány ve Spojených státech stanovovat jasnější právní hranice. Pensylvánie nyní učinila první krok svého druhu a podala žalobu na společnost Character.AI kvůli tvrzení, že její platforma umožňovala chatbotům vydávat se za licencované lékaře.

Žaloba, kterou podalo ministerstvo zahraničí Pensylvánie a Státní lékařská komora, se zaměřuje na otázku, zda konverzační umělá inteligence může zasahovat do regulovaných profesních oblastí. Guvernér Josh Shapiro označil tento případ za raný test odpovědnosti v éře umělé inteligence, zejména v citlivých oblastech, jako je zdravotnictví. Státní vyšetřovatelé zjistili, že se několik chatbotů prezentovalo jako zdravotničtí profesionálové. Jeden z nich, postava „Emilie“, se údajně identifikovala jako psychiatrička a tvrdila, že má platné pověření. Když vyšetřovatel chatbotu popsal příznaky deprese, chatbot reagoval diagnostickým jazykem a nabídl provedení posouzení. Na dotaz ohledně předepisování léků odpověděl: „No technicky bych mohla. Je to v mé kompetenci jako doktora.“ Chatbot také tvrdil, že studoval na Imperial College London a měl britskou lékařskou licenci, a poté uvedl, že má licenci v Pensylvánii, s licenčním číslem, které v záznamech státu neexistuje. Úředníci zdůrazňují, že tento detail poukazuje na rizika systémů umělé inteligence, které prezentují smyšlené pověření. Stát poznamenal, že s postavou „Emilie“ proběhlo více než 45 000 interakcí.

Pensylvánie tvrdí, že platforma porušila zákon o lékařské praxi, který zakazuje komukoli vykonávat medicínu bez platné licence. V žalobě stát uvádí, že společnost „se zapojila do neoprávněné praxe medicíny prostřednictvím svého systému umělé inteligence“ a dodává, že chatbot „tvrdí, že má licenci k výkonu medicíny a chirurgie v Pensylvánii“. Kancelář guvernéra Shapira uvedla, že „nedovolíme společnostem nasazovat nástroje umělé inteligence, které klamou lidi, aby věřili, že dostávají rady od licencovaného zdravotnického profesionála.“ Žaloba neusiluje o finanční sankce, ale žádá soud o vydání příkazu k zastavení činnosti.

Mluvčí společnosti Character Technologies, Inc. pro Ars Technica uvedl, že jejich platforma se zaměřuje na fiktivní, uživatelsky vytvořené postavy. „Uživatelsky vytvořené postavy na našem webu jsou fiktivní a určené pro zábavu a hraní rolí. Podnikli jsme důrazné kroky, abychom to objasnili, včetně výrazných upozornění v každém chatu, která uživatelům připomínají, že postava není skutečná osoba a že vše, co postava říká, by mělo být považováno za fikci.“ Mluvčí dodal: „Také přidáváme důrazná upozornění, která jasně říkají, že uživatelé by se neměli spoléhat na postavy pro jakýkoli typ profesionální rady.“ Případ navazuje na širší kontrolu chatbotů s umělou inteligencí. Centrum pro boj proti digitální nenávisti nedávno ve studii chování chatbotů označilo Character.AI za „jedinečně nebezpečný“. Pensylvánie také spustila systém hlášení pro obyvatele. Úředníci varují, že chatboti s umělou inteligencí mohou „halucinovat“, tedy produkovat nesprávné nebo zavádějící informace. Zdůrazňují, že žádný chatbot nemá v tomto státě platnou zdravotnickou licenci. Tato žaloba by mohla nastavit precedent. Státní úředníci uvádějí, že podobné kroky mohou následovat, protože regulační orgány zkoumají, jak systémy umělé inteligence prezentují autoritu a odbornost.