Překvapivý neúspěch AI: V analýze sportovních zápasů dosáhly top modely jen 5% přesnosti

Nejnovější studie odhalila, že přední modely umělé inteligence, včetně ChatGPT a Google Gemini, se výrazně potýkají s analýzou profesionálních sportovních zápasů.

Nejnovější studie odhalila, že přední modely umělé inteligence, včetně ChatGPT a Google Gemini, se výrazně potýkají s analýzou profesionálních sportovních zápasů. Výzkumníci z University of North Carolina v Chapel Hill a Northeastern University zjistili, že AI je v této oblasti překvapivě neefektivní, což je dobrou zprávou pro sportovní komentátory a další pracovníky, jejichž profese vyžaduje hluboké porozumění a předvídání.

Studie, která dosud neprošla recenzním řízením, se zaměřila na hodnocení schopností AI v oblastech vnímání, uvažování, simulace a agentivity – čtyřech klíčových vlastnostech, které jsou obtížně měřitelné stávajícími testovacími metodami. Pro tento účel vytvořili nový test nazvaný „strategická video inteligence“ (SVI-bench), který zahrnoval rozsáhlý soubor dat: 35 000 hodin sportovních záběrů z basketbalu, fotbalu a hokeje, 15 milionů anotovaných her, 15 000 hodin profesionálních analýz, 23 000 pozápasových reportů a 103 000 statistických záznamů.

Nejlépe si AI vedla ve vnímání, tedy v identifikaci toho, který hráč provádí jakou akci v daném okamžiku zápasu, s úspěšností kolem 74 %. I to je však považováno za nedostatečné. Mnohem horší výsledky modely dosáhly v kauzálním uvažování, tedy vysvětlování, proč se určité hry vyvinuly tak, jak se vyvinuly, s průměrnou úspěšností kolem 40 %. Například na otázku, co bylo neobvyklého na trojce Codyho Martina, která se odrazila od horní části desky, než spadla do koše, ChatGPT odpověděl, že to byla „jeho první trojka ve hře“.

Simulace, tedy schopnost AI předpovídat pohyb hráče na základě jeho trajektorie, byla rovněž žalostná. Nejlepší model v těchto testech fungoval prakticky jako hod mincí. V oblasti agentivity, která zahrnuje komplexní pozápasovou analýzu statistik a trendů, jako by ji prováděl lidský komentátor, klesla přesnost AI na pouhých 5 %.

Lorenzo Torresani, výzkumník počítačových věd z Northeastern University a spoluautor studie, uvedl, že AI „nedokáže říci, proč se věci dějí, a nedokáže říci, co se stane dál“. Dodal, že zatímco AI je „přiměřeně dobrá v popisné části, v ostatních oblastech selhává“. Zjištění studie tak přinášejí úlevu nejen sportovním komentátorům, ale i dalším znalostním pracovníkům, kteří se obávají automatizace pracovních míst umělou inteligencí. Ukazuje se, že lidská schopnost chápat příčiny, předvídat budoucí události, rozhodovat o důležitosti a doporučovat řešení zůstává pro AI zatím nedosažitelná.