В устройстве есть датчики деформации и алгоритм глубокого обучения. Благодаря ним оно распознает речь. Согласно статье, опубликованной в Nature Communications, новая система распознавания речи, разработанная южнокорейскими исследователями, точно распознает слова, отслеживая движения лица. Это принципиально новая система поможет людям с нарушением слуха. Раньше они могли использовать только кохлеарный имплантат или слуховой аппарат. Кохлеарная имплантация требуется для пациентов с двусторонней тугоухостью или глухотой тяжелой степени. Слуховой аппарат только усиливает звук. В отличие от него, кохлеарный имплант использует специальный набор программ для преобразования и очищения звуков, делая их восприятие более естественным. Авторы новой разработки хотели помочь пациентам с нарушениями слуха, которые не всегда могут общаться с помощью языка жестов. Однако устройство пригодится и для обычных людей, которые находятся в экстремальных условиях, когда радиосвязи мешает окружающий шум. В устройстве есть датчики деформации, которые фиксируют движения кожи — сжатие и расширение, когда человек произносит слова. Затем подключается алгоритм глубокого обучения, который преобразует движения лица в слова. «Датчик деформации, прикрепленный к лицу, растягивается и сжимается, когда человек говорит. В процессе электрические свойства тензодатчиков меняются», — сказал Euronews Тэмин Ким из Школы электротехники и электроники Университета Ёнсе. На данный момент система может распознавать набор из 100 слов с почти 88-процентной точностью. Как отмечают авторы разработки, работе датчиков не помешает пот и кожное сало. Сам прибор гораздо меньше проектируемых аналогов.