Исследователи долгое время стремились создать голограммы, которые генерирует компьютер, но этот процесс требовал наличия суперкомпьютера, который бы выполнял моделирование физики, что отнимает много времени и выдает менее фотореалистичные результаты. Теперь исследователи из MIT разработали новый способ получения голограмм мгновенно, а метод, основанный на глубоком изучении, настолько эффективен, что может работать на ноутбуке.
«Раньше ученые думали, что при существующем оборудовании потребительского класса невозможно выполнять вычисления для 3D-голографии в реальном времени», — отмечает Лианг Ши, ведущий автор исследования и аспирант кафедры электротехники и вычислительной техники (EECS) Массачусетского технологического института (MIT).
Ши считает, что новый подход, который команда называет «тензорной голографией» поможет достичь этой цели быстрее. Это поможет создавать голографию в 3D и VR.
Они использовали глубокое обучение для ускорения компьютерной голографии, позволяя генерировать их в реальном времени. Команда спроектировала сверточную нейронную сеть — технологию обработки, использующую цепь тренируемых тензоров, чтобы грубо подражать тому, как человек обрабатывает визуальную информацию. Обучение нейросети обычно требует высококачественного набора данных, которого раньше не существовало для 3D-голограмм.
Команда создала пользовательскую базу данных, состоящую из 4 тыс. пар изображений, генерируемых компьютером. Для создания голограмм в новой базе данных исследователи использовали сцены со сложными и переменными формами и цветами, с равномерным распределением глубины пикселей от фона до переднего плана, а также с новым набором расчетов на основе физики для обработки окклюзии.
Обучаясь на каждой паре изображений, тензорная сеть подстраивала параметры собственных вычислений, последовательно повышая свою способность создавать голограммы. Полностью оптимизированная сеть работала на порядок быстрее, чем физические расчеты.
Journal information