Исследователь из института Карнеги-Меллона Вимал Моллин анонсировал разработку механизма EgoTouch для управления в VR с помощью ладони. По заявлению ученого, команда использует универсальную камеру VR-устройств и опирается на опыт прошлых разработок.
Впервые мы создали систему, которая использует камеру, уже установленную во всех VR-гарнитурах. Наши модели не требуют калибровки и работают прямо из коробки. Теперь мы можем опираться на предыдущие работы по созданию интерфейсов на коже и сделать их реальными
Вимал Моллин
Обучение нейросети проводилось на основе данных, полученных с помощью датчиков на пальцах и камеры, регистрирующей движения добровольцев во время выполнения ими серии касаний. Система анализирует тени и изменения формы кожи при касании пальцами, используя встроенную в гарнитуру RGB-камеру, и не требует контроллеров. Точность распознавания касаний достигает 96%, а силы нажатия — 98%.
