Модели ИИ от Microsoft и Google обошли человека в понимании логики текста
Авторы бенчмарка SuperGLUE опубликовали результаты последнего тестирования моделей обработки естественного языка. Модели Microsoft DeBERTa и Google T5 + Meena доказали понимание причинно-следственных связей в тексте и впервые обошли в этом человека. ИИ от Microsoft набрал 90,3 балла, ИИ от Google — 90,1 балла, в то время как усредненный результат человека в этом тесте составляет 89,8 баллов. Тестирование моделей DeBERTa и T5 + Meena проводились только на английском языке.
Тестирование SuperGLUE включало восемь сложных задач, связанных с пониманием контекста, структуры текста, причинно-следственных связей и альтернативных вариантов. В ходе последней серии испытаний ИИ анализировал короткие отрывки статей из Википедии, отвечал на вопросы со «спрятанными» в тексте ответами и подбирал аналогии. У обеих моделей — Microsoft и Google — это получилось лучше, чем у людей.
Важно отметить, что тест измеряет не интеллект как таковой, а логику, которая раньше давалась ИИ с большим трудом. А представители Microsoft добавили, что рекордный результат DeBERTa не делает модель хорошим собеседником для бытового диалога, но определяет важный момент на пути к созданию общего ИИ.
«DeBERTa, превосходящая человеческие характеристики на SuperGLUE, знаменует собой важную веху на пути к общему ИИ. В отличие от DeBERTa, люди чрезвычайно хорошо используют свои знания, полученные при выполнении различных задач, для решения новой задачи без демонстрации пути достижения результата или с минимальной демонстрацией», — объяснили авторы из Microsoft Research.
В качестве примера Microsoft привела сложный тест для понимания естественного языка, с точки зрения ИИ: «Ребенок стал невосприимчив к болезни. В чем причина? 1) Он избежал контакта с болезнью. 2) Он получил вакцину от болезни». Если раньше этот простой для человека вопрос, поставил бы ИИ в тупик, то теперь все изменилось. Большая часть теста SuperGLUE включала аналогичные задачи и DeBERTa успешно с ними справилась.