Generativní AI pro úspory nákladů: Nová studie odhaluje skrytá rizika kybernetických útoků a úniků dat

3. května 2026Inovace

Využívání generativní umělé inteligence (AI) k návrhu, tréninku nebo provádění kroků v systémech strojového učení, ačkoliv slibuje úspory nákladů a zvýšení efektivity, může paradoxně výrazně zvýšit rizika. Na to upozorňuje nová studie profesora Michaela Lonese z Heriot-Watt University, která byla publikována v časopise Patterns.

Profesor Lones zdůrazňuje, že mezi hlavní rizika patří kybernetické útoky, úniky dat a předpojatost vůči nedostatečně zastoupeným skupinám. Podle něj by si vývojáři systémů strojového učení měli být těchto rizik vědomi a najít rozumnou rovnováhu mezi zlepšením schopností a potenciálními nebezpečími. „Vzhledem k současným omezením generativní AI bych řekl, že je to jasný příklad toho, že jen proto, že něco můžete udělat, ještě neznamená, že byste měli,“ uvedl profesor Lones.

Systémy strojového učení, které se učí rozpoznávat vzorce v datech a následně je využívají k předpovědím a rozhodnutím, jsou součástí našeho každodenního života – od spamových filtrů po doporučení produktů na e-commerce webech. Používají se však i v kritických oblastech, jako je přiřazování pacientů k lékovým studiím nebo zpracování pojistných událostí. V posledních dvou letech se výrazně prosazuje integrace generativní AI (zejména ve formě velkých jazykových modelů – LLM) do těchto systémů.

Profesor Lones varuje, že pokud generativní AI pracuje v mnoha různých fázích pracovních postupů strojového učení, mohou se její interakce stát nepředvídatelnými a obtížně pochopitelnými. Doporučuje proto vyhnout se přílišné složitosti v používání generativní AI, zejména v odvětvích, kde jsou v sázce lidské životy a obživa. Jeho práce zkoumá čtyři hlavní způsoby aplikace generativní AI ve strojovém učení: jako součást pipeline, pro návrh a kódování pipeline, pro syntézu tréninkových dat a pro analýzu výstupů strojového učení.

Všechny tyto aplikace nesou rizika, která se násobí, pokud jsou LLM používány pro více úkolů v rámci jednoho systému nebo pokud jsou „agentní“, tedy schopné autonomně používat externí nástroje k řešení problémů. Jedním z největších rizik je, že LLM někdy dělají chyby, špatná rozhodnutí nebo si dokonce vymýšlejí informace, což se označuje jako „halucinace“. Tyto chyby nejsou vždy předvídatelné a jejich vyhodnocení je obtížné, protože LLM fungují neprůhledným způsobem. To představuje dodatečný problém pro právní soulad, například v medicíně nebo financích, kde je nutné prokázat spolehlivost systému a vysvětlit jeho rozhodnutí. Profesor Lones zdůrazňuje, že veřejnost by si měla být vědoma omezení systémů generativní AI, neboť společnosti je nasazují za účelem snižování nákladů, což sice může zlepšit uživatelskou zkušenost, ale zároveň může mít negativní důsledky, jako je předpojatost a nespravedlnost.