Новое устройство считывает мозговую активность птицы и создает ее «мысленную» песню

Специалисты Калифорнийского университета создали устройство, которое превращает активность птичьего мозга в песню.

В новой работе ученые сначала получили «рисунок» мозговой активности птиц зебровых амадин с помощью кремниевых электродов, имплантированных в сенсомоторную область. Именно в эта область управляет мышцами голосового аппарата птицы.

Данные мозговой активности авторы загрузили в нейронную сеть — она разбила записанные птичьи песни на мелкие паттерны и связала их с паттернами мозговой активности птиц.

В результате ученые буквально читали мысли птицы и воспроизводили их в привычной для нас трели. Причем точность воспроизведения оказалась очень высокой — устройство смогло распознать мельчайшие детали птичьего вокала, вплоть до высоты, тембра и объемности звуков.

Если вам нужно смоделировать каждый нюанс, каждую деталь лежащего в основе звука, то проблема воспроизведения становится намного сложнее. А имея простое представление, система может изучать данные — более надежные и подходящие для более широкого диапазона условий и поведения (Викаш Гиля, автор работы)

В данный момент устройство не может работать в режиме реального времени, потому что птицы при пении постоянно меняют вокальный рисунок трелей, подстраиваясь под окружающие условия. Авторы планируют решить эту проблему и в будущем использовать речевой протез для немых людей.



Источник