Přední lékařský časopis upozorňuje: AI v medicíně potřebuje jasná pravidla pro bezpečné využití

Miliony Američanů se v současné době obracejí na chatboty s umělou inteligencí pro lékařské rady, často namísto konzultace s lidskými lékaři.

Miliony Američanů se v současné době obracejí na chatboty s umělou inteligencí pro lékařské rady, často namísto konzultace s lidskými lékaři. To se děje navzdory tomu, že výzkumníci neustále odhalují významné nedostatky, které trápí nástroje založené na velkých jazykových modelech, jež údajně nabízejí shrnutí lékařských záznamů a poskytují zdravotní doporučení na základě jednoduchých textových dotazů. Jedním z největších problémů zůstávají halucinace – od generování detailních klinických nálezů na základě obrázků, které modelům nebyly nikdy poskytnuty, až po uvěření falešným nemocem, které byly vymyšleny výzkumníky za účelem oklamání AI.

Není proto divu, že vědci zpochybňují, zda by pacienti, poskytovatelé zdravotní péče nebo zdravotnické systémy měli umělou inteligenci vůbec přijmout, zejména vzhledem k často chybějícím důkazům o jakýchkoli reálných přínosech. Kritický úvodník, který nedávno zveřejnil přední lékařský časopis Nature Medicine, zdůrazňuje, že „důkazy o tom, že nástroje umělé inteligence vytvářejí hodnotu pro pacienty, poskytovatele nebo zdravotnické systémy, zůstávají vzácné.“ Úvodník dále uvádí, že „v publikacích a produktových materiálech jsou tvrzení o klinickém dopadu stále častější, ačkoli neexistuje jasná shoda na tom, jaká úroveň důkazů by měla být požadována, než budou taková tvrzení považována za důvěryhodná.“ Výsledkem je nejen vědecká nejistota, ale často i předčasná implementace a přijetí.

Článek proto naléhavě vyzývá k vytvoření „rámce pro to, jak by měly být lékařské technologie AI hodnoceny, jakými metrikami a proti jakým referenčním hodnotám.“ Nástroje umělé inteligence často nabízejí přesvědčivé lékařské rady v dokonalých experimentálních podmínkách, ale v reálném světě se potýkají s problémy. Nedávná studie v časopise JAMA Medicine zjistila, že při poskytnutí nejednoznačnějších symptomů selhaly špičkové modely umělé inteligence při stanovení správné diagnózy ve více než 80 procentech případů.

Téma využívání umělé inteligence v klinickém výzkumu zůstává diskutabilní. Zatímco velké jazykové modely se specializují na shrnování a analýzu dat a odpovídání na dotazy, výzkumníci nadále upozorňují, že jsme zaslepeni jejich významnými omezeními. Jamie Robertson, odborná asistentka chirurgie na Harvard Medical School, loni uvedla: „Myslím, že umělá inteligence může pomoci urychlit mnoho procesů, které jsou zdlouhavé a náročné. Může nám pomoci s vytvářením kódu pro analýzu dat a dokonce navrhovat scénáře.“ Dodala však, že „je klíčové, aby lidé, kteří interagují s umělou inteligencí jako součást klinických studií, byli znalí správných a nesprávných aplikací a správného kontextu.“

Výzkumníci varují, že nadměrné spoléhání na nástroje umělé inteligence by mohlo vést k ohrožení vědecké přesnosti, což vyvolává obavy z šíření příliš zobecněných – a potenciálně halucinovaných – dat v lékařské oblasti. V jedné obzvláště názorné demonstraci nahrála Almira Osmanovic Thunström, lékařská výzkumnice z Univerzity v Göteborgu, dvě zjevně falešné studie na preprintový server, aby oklamala velké jazykové modely, aby si myslely, že vymyšlený kožní stav je skutečný. Netrvalo dlouho a další recenzované časopisy publikovaly (později stažené) články, které citovaly tyto preprinty, což poukázalo na zásadní otázky ohledně jejich platnosti.