Появился алгоритм машинного обучения, который может превратить фотографию достопримечательности в 3D-анимацию. Правда, пока ИИ нужны только качественные снимки, иначе может возникнуть ошибка.
Исследователи из Google представили детальные 3D-сцены знаменитых достопримечательностей по всему миру. Они использовали фотографии, которые скачали из интернета и обработали их с помощью машинного обучения.
На странице проекта в GitHub исследователи поделились 3D-сценами Бранденбургских ворот в Берлине, храма Базилика Сакре-Кер в Париже и фонтана Треви в Риме. Машинное обучение создало из этого материала детальный 3D-рендеринг, в котором можно перемещать вид, а внешняя сцена меняется под действием световых эффектов.
Исследователи объяснили, что их алгоритм может столкнуться с трудностями при использовании изображений с «необычными параметрами». Фотографии обрабатываются некорректно при плохом свете, неправильной экспозиции или постобработке. Кроме того, на снимках из интернета часто есть движущиеся объекты — например, люди или автомобили. Они также могут помешать алгоритму.
«Два фотографа могут стоять на одном месте и сделать снимок одной и той же достопримечательности, но один кадр алгоритм обработает корректно, а второй — испортит. Нам нужно доработать ИИ, чтобы он работал корректно», — отметили исследователи.
Полученная модель может содержать глитчи или другие ошибки. Исследователи разрабатывают специальные расширения, которые смягчают обработку с помощью ИИ, это приводит к более качественным результатам.
Journal information