AI mistr air hockey: Robot se naučil porážet lidi jen v simulaci, bez dotyku skutečného stolu

Trojice studentů z University of British Columbia (UBC) úspěšně vyvinula robota s umělou inteligencí, který dokáže hrát air hockey proti lidským soupeřům.

Trojice studentů z University of British Columbia (UBC) úspěšně vyvinula robota s umělou inteligencí, který dokáže hrát air hockey proti lidským soupeřům. Co je na tom obzvláště zajímavé, je fakt, že se AI naučila hrát výhradně v simulovaném prostředí, aniž by se kdy dotkla skutečného stolu.

Obvykle se roboti s umělou inteligencí trénují metodou pokus-omyl v reálném světě, což zahrnuje tisíce cvičných běhů, které jsou časově náročné a mohou poškodit hardware. Tým z UBC se však rozhodl pro inovativní přístup: trénovat AI v digitálním prostoru, kde mohla dělat chyby bez reálných následků. Za tímto účelem vytvořili vysoce přesné digitální dvojče stolu na air hockey, ve kterém AI trénovala. Po dokončení tréninku byla natrénovaná AI nahrána do skutečného robota, aby se otestoval její výkon proti lidskému soupeři. Výsledky byly překvapivé – robot s AI dokázal okamžitě, bez jakékoli reálné zkušenosti, představovat skutečnou výzvu.

Air hockey je pro AI obvykle náročná disciplína, protože puk se pohybuje velmi rychle a nepředvídatelně, a jeho dráha je silně ovlivněna jemnými interakcemi s pálkami a stěnami. Robotický hráč musí navíc zohlednit časové prodlevy motorů, kamer, kolísání napětí, mechanické vibrace a nedokonalé sledování puku. I drobné chyby tak mohou vést k prohře. Aby se AI s těmito výzvami vyrovnala, tým záměrně navrhl tréninkové prostředí tak, aby bylo nedokonalé. Namísto příliš dokonalých simulací, které neodpovídají realitě, zahrnuli do modelu faktory jako nerovné mantinely, zkroucené stoly, nekonzistentní odrazy, poklesy napájení a latenci kamery. Tento přístup, nazvaný „randomizace domény“, umožnil AI naučit se očekávat neočekávané a reagovat co nejlépe, stejně jako lidský hráč.

AI se tak naučila předpovídat rozsah pravděpodobných výsledků odrazu puku, spíše než přesný výsledek založený na pevném algoritmu. Aby urychlili trénink, tým se vyhnul běžným fyzikálním enginům a místo toho použil metodu „soft actor critic“ – prostředí učení založené na odměnách a trestech. Během milionů simulovaných her se AI neustále zlepšovala ve hře a přizpůsobovala se veškerému zabudovanému chaosu hry. V reálném světě byla AI navíc podpořena speciální kamerou umístěnou nad stolem a pukem potaženým retroreflexní páskou, což jí pomáhalo „vidět“ puk jasněji při 120 snímcích za sekundu.

Inovace týmu má potenciální uplatnění i mimo air hockey. Podobné přenosy ze simulace do reality by mohly výrazně urychlit a zpřesnit trénink dalších autonomních systémů, jako jsou drony, vozidla a další typy robotů. Tato metoda by mohla představovat obrovský přínos pro budoucí vývoj autonomních technologií. Detaily projektu jsou k dispozici na oficiální GitHub stránce týmu.