luckyea77 (luckyea77) wrote,
luckyea77
luckyea77

Categories:

Ученые Amazon доложили о прорыве в распределенном глубоком обучении



Применив метод «разделяй и властвуй», специалисты из Amazon и Университета Райса показали, как сократить время и вычислительные ресурсы на обучение поисковых алгоритмов. Этот же подход можно перенести и на другие задачи классификации — перевод или ответы на общие вопросы.

Под капотом поиска

Клиенты онлайн-магазинов ищут нужный товар по двум-трем ключевым словам, но сопоставить запрос с искомым продуктом крайне непросто, пишет EurekAlert. К примеру, в английском языке около миллиона слов, но в сетевых торговых точках намного больше 100 млн товаров. Их ищут миллионы людей, и каждый делает это по-своему. Одни задают вопросы. Другие — ключевые слова. Многие вообще не знают точно, чего они ищут.

Ежедневно Amazon или Google сталкиваются с миллионами подобных запросов, успешных и не очень. В таких случаях системы глубокого обучения имеют дело с проблемами предельной классификации, то есть множеством возможных результатов и, как следствие, с огромным числом параметров. Тренировка таких моделей обычно требует суперкомпьютеров и нескольких дней вычислений.

Распределение ресурсов

Даже самой простой нейросети, которая осуществляет поиск по 100 млн продуктов, обычно должна учитывать по 2000 параметров каждого из них. В финальном слое нейросети этих параметров будет уже 200 млрд. На их хранение понадобится 500 ГБ памяти. При этом даже лучшие графические процессоры предлагают только 32 ГБ памяти, так что обучение такой модели — дело крайне трудоемкое, объясняют авторы.

Система MACH, разработанная ими, использует другой подход. Главная особенность: она не требует коммуникации между параллельными процессами.

В принципе, такую нейросеть можно обучить на одном графическом процессоре, что невозможно для не-независимых методов.

А если распределить ресурсы, время обучения сокращается в 7-10 раз, а объем требуемой памяти — в 2-4 раза по сравнению с лучшими образцами крупномасштабных, распределенных систем глубокого обучения, рассказал Аншумали Шривастава, руководитель проекта.

Tags: нейросеть
Subscribe

Posts from This Journal “нейросеть” Tag

promo luckyea77 june 21, 2015 20:04 30
Buy for 10 tokens
В этой записи я буду давать ссылки на посты с лекциями и уроками в этом блоге: Учебные материалы и тесты: 11 ресурсов для бесплатного образования Проект "Лучшие кадры лучшей страны" Онлайн-курсы по высоким технологиям и инновациям Дистанционное образование в России (среднее профессиональное…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 1 comment