Šéf největší nemocnice v USA chce nahradit radiology umělou inteligencí, experti varují před „AI miráží“

Mitchell Katz, prezident a generální ředitel největšího nemocničního systému v New Yorku, NYC Health and Hospitals, představil odvážnou vizi budoucnosti, kde umělá inteligence (AI) nahradí lidské radiology při vyšetřování a diagnostice rentgenových snímků.

Mitchell Katz, prezident a generální ředitel největšího nemocničního systému v New Yorku, NYC Health and Hospitals, představil odvážnou vizi budoucnosti, kde umělá inteligence (AI) nahradí lidské radiology při vyšetřování a diagnostice rentgenových snímků. Na panelové diskusi pořádané Crain’s New York Business Katz naznačil svůj záměr nahradit vysoce kvalifikované radiologické experty vizuálními jazykovými modely AI. Uvedl, že nemocnice by mohly dosáhnout „výrazných úspor“, například automatizací screeningu rakoviny prsu pomocí AI nástrojů, kdy by se radiologové zapojili až v případě, že systém AI označí nález za abnormální.

Tento návrh však vyvolal silnou kritiku. Mohammed Suhail, radiolog z North Coast Imaging v San Diegu, označil Katzovy komentáře za „nezpochybnitelný důkaz, že sebevědomě neinformovaní nemocniční administrátoři představují nebezpečí pro pacienty“ a jsou „snadno oklamáni společnostmi AI, které nejsou ani zdaleka schopny poskytovat péči o pacienty“. Suhail zdůraznil, že jakýkoli pokus o implementaci výhradně AI diagnostiky by okamžitě vedl k poškození zdraví a úmrtí pacientů, a že tak naivní prohlášení může učinit jen někdo s nulovým pochopením radiologie. Dodal, že nemocnice jsou ochotny snižovat náklady, i když to znamená poškození pacientů, pokud je to legální.

Rostoucí počet výzkumů skutečně naznačuje, že AI v rentgenové místnosti může představovat značné riziko. Studie vědců ze Stanfordu, která dosud neprošla recenzním řízením, zjistila, že nástroje AI pro rentgen hrudníku, postavené na pokročilých modelech, mohou excelovat v lékařských testech, aniž by kdy viděly skutečné rentgenové snímky. Namísto přiznání chybějících snímků, nejlépe hodnocené systémy AI vytvářely propracovaná vysvětlení nálezů na rentgenech, ke kterým ve skutečnosti neměly přístup.

Tato situace přesahuje pouhé AI halucinace a vědci ji nazývají „AI miráží“. Na rozdíl od běžných chyb generativní AI je AI miráž od začátku do konce neuvěřitelně racionální. Problém spočívá v tom, že tyto miráže nejsou založeny na ničem reálném, což znamená, že běžné bezpečnostní mechanismy proti halucinacím nejsou dostatečné k jejich odvrácení. Vědci ze Stanfordu popsali tento jev jako „epistemické mimikry“, kdy model simuluje celý percepční proces, který by vedl k odpovědi, i když není ukotven v žádném skutečném obrazu. Tato studie, která posiluje předchozí výzkumy naznačující, že vizuální jazykové modely AI jsou funkčně slepé, má zásadní důsledky pro jakoukoli nemocnici, která se obrací k AI s cílem snížit náklady na radiologické oddělení, a samozřejmě pro každého pacienta, který by se mohl stát obětí lékařské zobrazovací miráže.