Чтобы считать движения человека, теперь нужна не комната камер, а всего одна

Исследователи из Токийского технологического института и Университета Карнеги-Меллона совместно разработали новую систему захвата движений человека, которая состоит из одной сверхширокой камеры «рыбий глаз», установленной на груди пользователя.

Обычные системы захвата движения в специально оборудованных студиях обычно полагаются на несколько синхронизированных камер, прикрепленных к потолку и стенам, которые фиксируют движения человека, одетого в защитный костюм, снабженный многочисленными датчиками. Такие системы часто очень дороги и ограничены с точки зрения пространства и среды, в которых может перемещаться владелец.

Группа исследователей во главе с Хидеки Койке из Tokyo Tech представляет новую систему захвата движения, которая состоит из одной сверхширокой камеры «рыбий глаз», установленной на груди пользователя. Их конструкция не только позволяет преодолеть нехватку места в существующих системах, но и является рентабельной.



Система, получившая название MonoEye, может захватывать движения тела пользователя, а также его перспективу или «окно просмотра».

Наш сверхширокий объектив «рыбий глаз »имеет поле обзора 280 градусов и может захватывать конечности, лицо и окружающую среду пользователя.
Текст исследования

Чтобы обеспечить надежный мультимодальный захват движения, система была разработана с тремя глубокими нейронными сетями, способными оценивать трехмерную позу тела, позу головы и позу камеры в режиме реального времени.

Исследователи уже обучили эти нейронные сети с помощью обширного набора данных, состоящего из 680 000 изображений людей с различными формами тела, одежды, действий, фона и условий освещения, а также 16 000 кадров фотореалистичных изображений.

Исследователи предполагают, что в будущем камеру на груди можно будет превратить в повседневный аксессуар, такой как зажим для галстука, брошь или спортивное снаряжение.