luckyea77 (luckyea77) wrote,
luckyea77
luckyea77

Categories:

ИИ Amazon научился петь по нотам



Amazon и специалисты из Кембриджа на базе разработки Google WaveNet создали трехступенчатый алгоритм, который анализирует мелодию и поет ее. ИИ разбирается в интонациях и подаче, но не в знаках препинания.

Алгоритмы уже пытаются создавать картины, литературные произведения и даже симфонии, а теперь исследователи из Кембриджа и компании Amazon научили алгоритм петь. Чтобы сопоставить нотную запись с текстом и получить звуки, понадобился уникальный ИИ. Итоги работы опубликованы на сервере препринтов ArXiv.

Алгоритм объединяет три части. Первая разбирает и преобразует нотную запись для работы алгоритма, передавая ее кодировщику. На следующем этапе кодировщик на основании нот и текста создает мелодичные спектрограммы — примерно по десятку на каждую секунду звучания. Наконец, в завершение WaveNet озвучивает их, придавая «голосу» силу и интонацию, а также синхронизируя звучание спектрограмм и песню.

Создатели утверждают, что их подход требует значительно меньше вмешательства, чем любые другие похожие алгоритмы. Но результаты пока нельзя назвать безупречными.

Для тестирования ученые наняли 22 слушателей, которых попросили по шкале от 0 до 100 оценить натуральность коротких отрезков звучания — длительностью от трех до пяти секунд. Даже на такой небольшой дистанции средний балл — 59%. Особенно неправдоподобно звучали фрагменты в низком регистре — слушатели часто жаловались на то, что ИИ «жует» слова.

С другой стороны, участники исследования отметили, что модель поет по нотам и вполне прилично справляется с простыми песнями, в которых не было экстремально высоких или низких нот. Также ИИ, прослушав около 40 часов записей, научился правдоподобно воспроизводить вибрато, применяя эффект к нужным нотам — более длительным, чем обычно.

Tags: искусственный интеллект
Subscribe

Posts from This Journal “искусственный интеллект” Tag

Buy for 20 tokens
Думаю многие из вас сталкивались с ситуацией, когда приходилось рвать отношения из-за финансов (автор фото: Михаил Нефедов) И самое страшное тут не потерять деньги, а потерять отношения. Но есть достаточно интересный выход из этой ситуации. Ну во-первых всегда работает золотое правило, не…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 2 comments