luckyea77 (luckyea77) wrote,
luckyea77
luckyea77

Нейросеть представит мир в 3D без посторонней помощи



Программисты из лаборатории DeepMind создали алгоритм, который может самостоятельно исследовать сцену и «додумывать», как находящиеся в ней предметы будут выглядеть с незнакомого ракурса. Ключевое отличие новой программы состоит в том, что для обучения ей не требуется дополнительная информация — нейросеть работает хорошо, даже если разработчики не сообщают, что за объекты находятся в комнате или где они расположены. Статья опубликована в журнале Science.

В основе современных систем машинного зрения лежат глубокие нейронные сети, которым, как правило, требуется большой набор размеченных изображений для обучения. На создание таких наборов уходит очень много времени, так как программистам приходится вручную описывать каждую деталь картинки. В результате многие аспекты сцены оказываются опущены, что ограничивает возможности алгоритмов машинного зрения. Чтобы преодолеть это ограничение, разработчики предложили сделать подход к обучению более «человечным» — они создали среду, в которой агент самостоятельно наблюдает трехмерную сцену с нескольких ракурсов, а затем делает ее рендеринг с другого, произвольного угла обзора.



Авторы новой работы под руководством Али Эслами (Ali Eslami) из Google DeepMind создали фреймворк Generative Query Network (GQN), в котором агент учится воспринимать окружающее пространство, обучаясь только на информации, полученной самостоятельно. GQN состоит из двух элементов — репрезентативной сети и генеративной сети. Когда агент исследует среду, он получает двухмерные изображения сцены, которые передаются репрезентативной сети. Она кодирует содержащуюся в ней информацию и представляет ее в виде вектора. Каждое дополнительное наблюдение позволяет накопить больше данных о находящихся в сцене объектах. Затем генеративная сеть на основе полученной информации предсказывает, как будет выглядеть сцена с нового, ранее не исследованного ракурса, и создает трехмерный рендер.



Так как репрезентативная сеть не знает, с каких именно ракурсов генеративному компоненту придется «представлять» сцену, она максимально достоверно и точно описывает — расположение предметов в комнате, их цвет, где находятся источники освещения и так далее. При этом GQN сама учится понимать, какие детали важны, а также как извлечь их из набора пикселей. Во время тренировки генеративная сеть узнает о том, как выглядят объекты в сцене, как они расположены по отношению друг к другу и какими свойствами обладает помещение. Кроме того, она умеет обобщать данные — например, если в разных сценах ей встречается небо, то она запомнит, что оно всегда голубое. Этот набор «концептов» позволяет алгоритму описать сцену в абстрактной манере, а генеративной сети — додумать «необходимые» детали.



Разработчики провели несколько экспериментов в виртуальном трехмерном мире, чтобы проверить работу Generative Query Network. Как показали тесты, GQN очень реалистично воспроизводит сцену — она создает довольно качественные изображения без знания о законах перспективы, освещения или окклюзии. Кроме того, алгоритм умеет подсчитывать количество объектов и классифицировать их, даже если они до конца не видны. В итоге предсказания программы выглядят очень естественно и почти неотличимы от оригинала.





Работа GQN пока что несовершенна, так как алгоритм обучался только на искусственно созданных данных. В будущем разработчики намерены использовать реальные сцены, а также сделать рендеры более качественными.

Tags: 3D-изображение, нейросеть
Subscribe

Posts from This Journal “3D-изображение” Tag

promo luckyea77 июнь 21, 2015 20:04 27
Buy for 10 tokens
В этой записи я буду давать ссылки на посты с лекциями и уроками в этом блоге: Учебные материалы и тесты: Дистанционное образование Правила дорожного движения 11 ресурсов для бесплатного образования Сайты для обучения программированию Игры, в которых нужно писать код: Grid Garden, Elevator…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments