luckyea77 (luckyea77) wrote,
luckyea77
luckyea77

Category:

Нейросеть Facebook позволила управлять движениями людей, снятых на видео

Нейронные сети уже умеют создавать лица несуществующих людей и даже улучшать качество видео. Технология продолжает развиваться, причем крайне стремительно — это казалось невозможным, но отныне снятыми на видео людьми можно управлять при помощи клавиатуры компьютера. Это стало возможным благодаря труду команды разработчиков Facebook AI Research, которые обучили нейронную сеть распознавать движущегося человека на видео, менять фоновое изображение и контролировать его движения. Это надо видеть — благо, разработчики поделились подробным видеороликом.



На основе технологии, придуманной разработчиками из Facebook, лежат два нейросетевых алгоритма — Pose2Pose и Pose2Frame для переноса объектов из одного видео в другое. Также они задействовали алгоритм DensePose, который превращает двумерное изображение снятого на видео человека в трехмерную модель.

Итак, чтобы превратить обычное видео в компьютерную игру, алгоритм DensePose создает 3D-модель определенного человека. Далее алгоритм Pose2Pose превращает запись с анимацией движущегося человека в видеоролик с черным фоном. Уже на этом этапе нейронная сеть способна воспринимать нажатия на клавиатуру и двигать «игрового персонажа» в нужную сторону. Наконец, алгоритм Pose2Frame создает конечное изображение с движущимся человеком и соответствующей анимацией.



На видео также видны другие примеры работы нейронной сети. Конечно, на них можно заметить множество артефактов изображения, но сам факт возможности управлять человеком из видео очень впечатляет. Вероятно, что этой технологии найдется применение в игровой индустрии — о том, насколько полезны нейронные сети в сфере игр и кино, читайте в нашем специальном материале.

Впечатлила ли вас новая нейронная сеть от Facebook?

Tags: нейросеть
Subscribe

Posts from This Journal “нейросеть” Tag

promo antisovetchina7 январь 30, 2021 17:08 24
Buy for 20 tokens
Снимок сделан в г.Новосибирске, на остановке «Храм Михаила Архангела», в 11:18 м.в. 30.01.2021 (Память преп.Антония Великого) Встречи бывают разные. Оказалось, что встретиться можно не только с человеком, но и с сюжетом. Вернее, встретиться с неизвестным человеком через яркую, неожиданную и…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments