AI v náboru práce: Jak systém nespravedlivě vyřazoval špičkového studenta medicíny a co to znamená pro ostatní
InovaceUmělá inteligence (AI) se stává stále běžnějším nástrojem v procesu náboru zaměstnanců, avšak pro mnoho uchazečů vytváří situaci, kdy se ocitají v „limbu“ a nikdy se nedostanou k pohovoru z důvodů, které jsou zcela nespravedlivé.
Umělá inteligence (AI) se stává stále běžnějším nástrojem v procesu náboru zaměstnanců, avšak pro mnoho uchazečů vytváří situaci, kdy se ocitají v „limbu“ a nikdy se nedostanou k pohovoru z důvodů, které jsou zcela nespravedlivé. Nejde o tradiční automatizaci, ale spíše o zhoršování kvality náborového procesu, kde AI nástroje činí získání pohovoru téměř nedosažitelnou představou.
Příkladem je příběh Chad Markeyho, 33letého absolventa prestižní lékařské fakulty Ivy League. Markey, který se ucházel o 82 rezidenčních programů pro cyklus 2025-2026, byl šokován množstvím zamítnutí. Měl vynikající známky, nejméně deset publikovaných výzkumných prací a nadšená doporučení od profesorů.
Problémem se ukázaly být tři absence v jeho záznamech, způsobené oslabujícími vzplanutími autoimunitního onemocnění. Ačkoli byly tyto absence zdravotně nezbytné a Markey je ve svých žádostech vysvětlil, byly technicky kategorizovány jako „dobrovolné“. Tento drobný detail, pokud by byl nesprávně interpretován nedbalým AI systémem, mohl mít výrazné důsledky pro jeho žádosti.
V té době se v nemocnicích rychle šířil screeningový nástroj AI nazvaný Cortex. Cortex zpracovává dokumenty žadatelů o rezidenční programy a prezentuje je na přehledném panelu, což teoreticky umožňuje náborovým pracovníkům získat široký přehled o stovkách uchazečů. Podle tvůrce softwaru, společnosti Thalamus, je tento nástroj používán přibližně 1 500 lékařskými rezidenčními programy po celých Spojených státech.
Stejně jako všechny nástroje AI, i Cortex má své problémy. Jak dokumentoval jeden redakční článek v časopise Laryngoscope, Cortex vykazuje „přetrvávající chyby“, které mají „potenciál negativně ovlivnit žádosti o rezidenční programy“, zejména pak nepřesné zobrazení známek uchazečů.
Markey, který tušil, že Cortex může potlačovat jeho žádosti kvůli zdravotně nezbytným absencím, se pustil do několikaměsíčního pátrání s cílem pochopit fungování screeningového softwaru. Po četných experimentech a pokusech o reverzní inženýrství Cortexu našel přesvědčivé důkazy, že nástroj AI hodnotí žádosti s dobrovolnými absencemi výrazně níže než ty s přesným popisem zdravotních okolností.
Z 82 rezidenčních programů, na které se Markey přihlásil, pouze pět potvrdilo, že Cortex nepoužívají. To neznamená, že ostatní jej používaly, a společnost Thalamus popřela, že by algoritmicky bodovala nebo řadila uchazeče pro cyklus 2025-2026. Jasné důkazy se však objevily, když Markey začal oslovovat administrátory rezidenčních programů e-mailem, což vedlo k deseti nadšeným nabídkám od prestižních nemocnic, které AI screeningový nástroj nedokázal zprostředkovat. Markey má nyní v červenci nastoupit do psychiatrického programu Kolumbijské univerzity v New York Presbyterian Hospital.
Markeyho odysea zdůrazňuje závažné důsledky, které mohou mít tyto nástroje ve velkém měřítku, a nedostatek transparentnosti, který vytvářejí. Kdyby byl Markey matkou v obtížné situaci ucházející se o úklidové práce nebo starším pracovníkem propuštěným rok před důchodem, měl by jen malou šanci na odhalení fungování náborových nástrojů, natož na získání práce prostřednictvím e-mailu. Pro běžného pracovníka to znamená realitu „černé skříňky“, kde AI vynáší verdikty, kterým nemusí nikdy porozumět, pokud se o nich vůbec dozví. Tento případ poukazuje na naléhavou potřebu větší transparentnosti a etických standardů při vývoji a používání AI v náborovém procesu.
Futurism