luckyea77 (luckyea77) wrote,
luckyea77
luckyea77

Камера ноутбука позволит немым обратиться к голосовому помощнику



Американский программист создал программу, позволяющую общаться с голосовым помощником Alexa с помощью жестового языка. Она распознает жесты с помощью камеры ноутбука и преобразует их в голосовые команды для помощника, а затем распознает ответы помощника и выводит их на экран в текстовом виде. На разработку обратил внимание блог prosthetic knowledge.

Многие технологические компании рассматривают голосовое управление в качестве одного из основных способов взаимодействия человека с умным домом и другими устройствами. Голосовые помощники установлены в практически всех современных смартфонах, но многие из них позволяют давать команды и с помощью клавиатуры. Однако в последние несколько лет стали довольно популярными умные колонки, в которых голосовой ввод — единственный способ общения с устройством. Это довольно удобно и позволяет, к примеру, включать музыку в комнате, не подходя к мультимедийному центру, но использовать такой интерфейс могут только люди без нарушений слуха и речи.

Разработчик из США Абхишек Сингх (Abhishek Singh) создал программное обеспечение, выступающее в качестве посредника между глухим человеком и голосовым помощником Alexa. Программа запускается на ноутбуке и использует встроенную камеру для распознавания жестов американского жестового языка. За распознавание отвечает алгоритм глубокого обучения, реализованный с помощью фреймворка TensorFlow.js, позволяющего обучать и запускать нейросетевые модели в браузере.

Пользователь дает команды на жестовом языке, а ноутбук в реальном времени распознает слова и произносит их с помощью системы синтеза речи, а также отображает на экране. В это же время колонка слышит и распознает слова компьютера и через небольшое время отвечает голосом, который также распознается и выводится на экран. Интерфейс приложения разделен на две части и оформлен как диалог пользователя и голосового ассистента:



Пока разработчик не раскрывает технические подробности реализации алгоритма, но планирует выложить исходный код приложения на GitHub.

В прошлом году Сингх представил необычный проект, позволяющий сыграть в Super Mario Bros. в дополненной реальности. Он разработал на Unity AR-версию первого уровня игры и адаптировал ее для очков дополненной реальности Microsoft Hololens. Поскольку пользователь не может запрыгнуть на виртуальный блок, геймплей игры претерпел изменения, но многие возможности повторяют оригинал. К примеру, можно ударять по блокам, собирать монетки и давить гумб.

Tags: технологии
Subscribe

Posts from This Journal “технологии” Tag

promo luckyea77 june 21, 2015 20:04 27
Buy for 10 tokens
В этой записи я буду давать ссылки на посты с лекциями и уроками в этом блоге: Учебные материалы и тесты: Дистанционное образование Правила дорожного движения 11 ресурсов для бесплатного образования Сайты для обучения программированию Игры, в которых нужно писать код: Grid Garden, Elevator…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments