Chytré hodinky s AI a sonarem: Sledují pohyby rukou ve 3D bez dalšího hardwaru

Vědci z Cornellovy univerzity a KAIST vyvinuli systém nazvaný WatchHand, který proměňuje běžné chytré hodinky v zařízení pro sledování pohybu rukou. Tato inovativní technologie využívá vestavěný reproduktor a mikrofon hodinek k vysílání neslyšitelných zvukových vln.

Vědci z Cornellovy univerzity a KAIST vyvinuli systém nazvaný WatchHand, který proměňuje běžné chytré hodinky v zařízení pro sledování pohybu rukou. Tato inovativní technologie využívá vestavěný reproduktor a mikrofon hodinek k vysílání neslyšitelných zvukových vln. Tyto vlny se odrážejí od ruky uživatele a vracejí se zpět do mikrofonu, čímž vytvářejí profil ozvěny.

Algoritmus strojového učení následně zpracovává tato data přímo v zařízení a odhaduje trojrozměrnou polohu ruky v reálném čase. Na rozdíl od stávajících nositelných systémů pro sledování rukou, které se spoléhají na kamery nebo objemné externí senzory, WatchHand nevyžaduje žádný další hardware. To jej činí výrazně praktičtějším pro každodenní použití a umožňuje jeho rozšíření na miliony stávajících zařízení.

Cílem výzkumníků je, aby se lidská ruka sama stala vstupním zařízením pro interakci s počítači a dalšími digitálními systémy, čímž se sníží závislost na klávesnicích, myší a dotykových obrazovkách. Chi-Jung Lee, doktorand z Cornellu a spoluautor studie, naznačuje, že v budoucnu by tato technologie mohla umožnit sledování psaní jen pomocí chytrých hodinek.

Systém byl testován na 40 účastnících ve čtyřech studiích, během nichž bylo shromážděno přibližně 36 hodin dat o gestech. Hodnocení probíhalo na různých modelech chytrých hodinek, s různými orientacemi rukou a v hlučném prostředí. Výsledky ukázaly, že WatchHand dokáže spolehlivě sledovat pohyby prstů a rotace zápěstí za rozmanitých podmínek.

Tato technologie by mohla otevřít cestu k široké škále aplikací, včetně ovládání počítačů pomocí gest, systémů rozšířené a virtuální reality a asistenčních nástrojů pro uživatele s omezenou pohyblivostí nebo řečí. Jiwan Kim, doktorand z KAIST a další spoluautor, zdůrazňuje, že WatchHand výrazně snižuje překážky pro sledování polohy ruky, a je použitelný pro jakékoli zařízení s reproduktorem a mikrofonem.

Systém zpracovává veškerá data lokálně na chytrých hodinkách, což řeší obavy o soukromí spojené s cloudovými sledovacími systémy. To také snižuje latenci a umožňuje interakci v reálném čase bez nutnosti externího zpracování. Technologie má však stále svá omezení; v současné době funguje pouze na chytrých hodinkách se systémem Android a potýká se s udržováním přesnosti, když je uživatel v pohybu, například při chůzi. Vědci pracují na zlepšení výkonu za těchto podmínek.

Cheng Zhang, docent z Cornellu, dodává, že WatchHand odráží širší vizi jeho laboratoře, která spočívá v přeměně každodenních nositelných zařízení na inteligentní platformy pro snímání chování. Výzkum navazuje na širší posun směrem k akustickému snímání v nositelných zařízeních, které nabízí výhody v energetické účinnosti a přesnosti ve srovnání se systémy založenými na vizuálním snímání. Jednoduchá softwarová aktualizace by tak mohla odemknout zcela nové možnosti na milionech stávajících zařízení.