luckyea77 (luckyea77) wrote,
luckyea77
luckyea77

Categories:

Новый модуль обработки данных делает глубокие нейронные сети умнее



Исследователи искусственного интеллекта из Университета штата Северная Каролина (NC State) улучшили производительность глубоких нейронных сетей, объединив модули нормализации функций и внимания к функциям в один модуль, который они называют внимательной нормализацией (Attentive Normalization, AN). Гибридный модуль значительно повышает точность системы, используя при этом незначительную дополнительную вычислительную мощность. Доклад «Attentive Normalization» был представлен на Европейской конференции по компьютерному зрению (ECCV). Соавтором статьи является Силай Ли, доктор философии и выпускник NC State, а также Вэй Сунь, доктор философии и студент NC State.

«Нормализация характеристик является важным элементом обучения глубоких нейронных сетей, и внимание к функциям не менее важно для того, чтобы помочь сетям выделить, какие функции, извлеченные из необработанных данных, являются наиболее важными для выполнения задач», — объясняет Тианфу Ву, доцент кафедры электротехники и вычислительной техники в NC State. «Но в основном они обрабатывались отдельно. Мы обнаружили, что их объединение сделало их более эффективными и действенными».

Чтобы протестировать свой AN-модуль, исследователи подключили его к четырем наиболее широко используемым архитектурам нейронных сетей: ResNets, DenseNets, MobileNetsV2 и AOGNets. Затем они протестировали сети от стандартных двух отраслевых показателей: классификация ImageNet-1000 тест и обнаружение объекта и сегментация экземпляра тест MS-COCO 2017 года.

«Мы обнаружили, что AN улучшил производительность для всех четырех архитектур в обоих тестах», — заявил Ву. «Например, точность Top-1 в ImageNet-1000 улучшилась на 0,5–2,7%. Точность средней точности (AP) увеличилась до 1,8% для ограничивающей рамки и 2,2% для семантической маски в MS-COCO. Еще одно преимущество AN состоит в том, что он способствует лучшей передаче обучения между различными доменами. Например, от классификации изображений в ImageNet до обнаружения объектов и семантической сегментации в MS-COCO. Это иллюстрируется улучшением производительности в тесте MS-COCO, которое было получено путем точной настройки глубоких нейронных сетей, предварительно обученных ImageNet в MS- COCO».

«Мы выпустили исходный код и надеемся, что наша AN приведет к лучшему интегративному дизайну глубоких нейронных сетей» — заключают ученые.

Tags: нейросеть
Subscribe

Posts from This Journal “нейросеть” Tag

promo luckyea77 june 19, 23:05 11
Buy for 10 tokens
Часть 1 Часть 2 Часть 3 Часть 4 Часть 5 Март 2018 года Индустриализация стала основным инструментом достижения экономического богатства стран, начиная с появления прядильных машин в конце XVIII века; при смене технологических укладов менялись местами мировые промышленные лидеры. Какой…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 4 comments