luckyea77 (luckyea77) wrote,
luckyea77
luckyea77

Рекорд в машинном обучении поставлен благодаря суперкомпьютеру



Команда исследователей из Техаса и Калифорнии опубликовала результаты использования суперкомпьютера для обучения нейронной сети. Программу для распознавания изображений удалось обучить за 11 минут — быстрее, чем когда либо. О рекорде сообщает Science Daily.

Ученые эффективно использовали 1024 процессора Skylake на суперкомпьютере Stampede2 в Техасском вычислительном центре для 100-этапного обучения нейросети AlexNet с помощью стандартной базы изображений ImageNet. На весь процесс ушло всего 11 минут — на сегодняшний день это самый быстрый результат. Для сравнения, проведенное Facebook 90-этапное обучение сети ResNet-50 заняло 32 минуты.

По словам представителя вычислительного центра, рекордный результат показывает потенциал передовых цифровых ресурсов для глубокого обучения нейронных сетей. В настоящее время скорость тренировки ИИ остается относительно низкой: 1-4 дня считается хорошим результатом. Если для обучения сети требуется от недели до четырех, она будет использоваться учеными только для дорогостоящих проектов, а более медленные варианты не будут рассматриваться вовсе. Таким образом, скорость тренировки ИИ становится узким местом для развития науки, и ее увеличение могло бы существенно продвинуть исследователей вперед.

Новый подход исследовательской группы включал в себя разработку алгоритма масштабирования скорости передачи данных (Layer-Wise Adaptive Rate Scaling — LARS), который способен эффективно распределять данные по многим процессорам для одновременного вычисления больших массивов данных (до 32 000 элементов). В результате удалось воспользоваться большим количеством процессоров Skylake и Intel Xeon Phi, сохраняя при этом точность. Обучение системы ResNet-50 позволило достичь точности распознавания изображений в 75%, а увеличение массива данных до нескольких тысяч элементов снизило ее лишь на 0,6%.

Код для обучения был написан в среде Caffe с использованием Intel-Caffe. В целом, использование 1024 процессоров Skylake увеличило скорость обучения resNet-50 в 750 раз по сравнению с одним процессором. Благодаря полученным результатам возможно будет найти альтернативу специализированному оборудованию для глубокого обучения, например, графическим процессорам, микросхемам Tensor Flow и матрицам FPGA. В целом, эксперимент показал, что глубокое машинное обучение для извлечения информации из крупномасштабных экспериментов и моделирования может быть доступным благодаря суперкомпьютерам подобным Stampede2.

Tags: искусственный интеллект, суперкомпьютер
Subscribe

Posts from This Journal “искусственный интеллект” Tag

promo luckyea77 july 4, 2016 11:42 2
Buy for 10 tokens
Публикую рейтинги форекс-компаний по таким параметрам, как суммарные капиталы инвесторов, суммарные капиталы управляющих и суммарные доходы ПАММ-счетов за все время по 20 самым крупным ПАММ-счетам. Капитал инвесторов (КИ) 1. PrivateFX - 11 636 000 $ 2. Альфа-Форекс - 7 007 000 $ 3. Alpari…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments