Umělá inteligence dědí lidské předsudky: Proč je zajištění spravedlnosti v automatizovaných rozhodnutích neustálou výzvou?

Umělá inteligence (AI) se stává nedílnou součástí mnoha rozhodovacích procesů, od schvalování půjček po nábor zaměstnanců. Výzkum však ukazuje, že AI systémy nevytvářejí předsudky, ale spíše je dědí z dat, na kterých jsou trénovány.

Umělá inteligence (AI) se stává nedílnou součástí mnoha rozhodovacích procesů, od schvalování půjček po nábor zaměstnanců. Výzkum však ukazuje, že AI systémy nevytvářejí předsudky, ale spíše je dědí z dat, na kterých jsou trénovány. To vede k zásadní otázce, jak zajistit spravedlnost v automatizovaných rozhodnutích.

Například u systémů pro schvalování půjček může být algoritmus navržen tak, aby se s žadateli s podobnou pravděpodobností selhání zacházelo stejně napříč demografickými skupinami. Přesto se může stát, že jedna skupina bude častěji nesprávně odmítnuta, zatímco jiná obdrží půjčky, které bude mít později potíže splácet. Tato nerovnost často odráží strukturální nerovnosti zakotvené v tréninkových datech. Skupiny, které historicky čelily překážkám v přístupu k úvěrům kvůli diskriminaci nebo vyloučení z finančních systémů, mohou mít například méně rozsáhlou úvěrovou historii nebo nižší zaznamenané příjmy. Modely pak mohou tyto socioekonomické nevýhody interpretovat jako signál vyššího rizika, i když to neodráží skutečnou schopnost jednotlivce splácet.

Podobný vzorec se objevuje v náborových procesech. Pokud společnost v minulosti povyšovala méně žen do vyšších pozic, systém trénovaný na předpovídání „úspěšných“ kandidátů se může naučit vzorce, které upřednostňují charakteristiky častější u mužů, i když pohlaví není explicitně zahrnuto jako vstupní parametr. V obou případech model předsudky nevymýšlí, ale přebírá je z historických dat.

Pojem spravedlnosti je dále komplikován způsobem, jakým je posuzován. Mnoho hodnocení zkoumá jediný chráněný atribut, jako je pohlaví nebo rasa, izolovaně. Tento přístup však může zakrývat, jak diskriminace funguje v praxi. Automatizovaný náborový systém se může jevit jako spravedlivý při celkovém srovnání mužů a žen a spravedlivý při celkovém srovnání etnických skupin, přesto může soustavně znevýhodňovat starší ženy z menšinových skupin. Lidé jsou definováni několika vzájemně se prolínajícími charakteristikami, včetně věku, etnického původu, zdravotního postižení a socioekonomického zázemí. Protože tyto průřezové podskupiny jsou často malé a nedostatečně zastoupené v datech, škody, kterým čelí, mohou zůstat v běžných hodnoceních neviditelné.

Tato neviditelnost má přímý technický důsledek. Když je podskupina malá, model se setká s příliš malým počtem příkladů, aby se pro tuto skupinu naučil spolehlivé vzorce, a místo toho aplikuje zobecnění odvozená z širších kategorií, které viděl častěji. Chyby a předsudky ovlivňující malé podskupiny se také méně pravděpodobně projeví ve standardních metrikách výkonu, které agregují výsledky napříč všemi uživateli a mohou tak maskovat špatné výsledky pro menšiny v rámci menšin. Ti, kdo jsou nejvíce ohroženi, jsou tak často nejméně viditelní.