luckyea77 (luckyea77) wrote,
luckyea77
luckyea77

Category:

Исследование: люди не смогут управлять сверхразумными машинами с ИИ



Человек не сможет управлять сверхразумными машинами с ИИ. К такому выводу пришли авторы исследования «Суперинтеллект не может быть ограничено: уроки теории вычислимости» Центра людей и машин Института развития человека Макса Планка. Результаты исследования опубликованы в Journal of Artificial Intelligence Research.

Системы с ИИ уже сейчас вызывают опасения, особенно те, которые способны управлять другими машинами. Многие ученые занимают осторожную позицию в отношении сверхразумного и неконтролируемого ИИ. Международная группа исследователей, используя теоретические расчеты, доказала, что управлять сверхразумным ИИ попросту будет невозможно.

Предположим, кто-то должен запрограммировать систему искусственного интеллекта с интеллектом, превосходящим человеческий, чтобы она могла учиться независимо от человека. Тогда подключенный к интернету ИИ получит доступ ко всем данным человечества. Он также сможет заменить все существующие программы и взять под контроль все машины по всему миру. Произойдет ли эта утопия или антиутопия? Сможет ли ИИ вылечить рак, установить мир во всем мире и предотвратить климатическую катастрофу? Или уничтожит человечество и захватит Землю?

Ученые-информатики и философы задаются вопросом: сможем ли мы вообще управлять сверхразумным ИИ, чтобы гарантировать, что он не будет представлять угрозу для человечества.

«Сверхразумная машина, которая управляет миром, звучит как научная фантастика. Но уже есть машины, которые выполняют определенные важные задачи полностью независимо, при этом программисты до конца не понимают, как они этому научились. Поэтому возникает вопрос, может ли это в какой-то момент стать неконтролируемым и опасным для человечества», — говорит соавтор исследования Мануэль Себриан, руководитель группы цифровой мобилизации в Центре людей и машин Института развития человека Макса Планка.

Ученые исследовали две разные идеи того, как можно управлять сверхразумным ИИ. С одной стороны, возможности сверхразумного ИИ можно было бы конкретно ограничить, например, отгородив его от интернета и всех других технических устройств, чтобы он не мог контактировать с внешним миром, но это сделало бы сверхразумный ИИ значительно менее мощным и менее способным отвечать на гуманитарные задания. Не имея такой возможности, ИИ с самого начала мог бы быть мотивирован преследовать только цели, отвечающие интересам человечества, например, запрограммировав в него этические принципы. Однако исследователи также показывают, что эти и другие современные и исторические идеи по управлению сверхразумным ИИ имеют свои пределы.

В своем исследовании команда разработала теоретический алгоритм сдерживания, который гарантирует, что сверхразумный ИИ не сможет причинить вред людям ни при каких обстоятельствах, сначала моделируя поведение ИИ и останавливая его, если он считается вредным. Но тщательный анализ показывает, что в нашей нынешней парадигме вычислений такой алгоритм не может быть построен.

«Если разложить проблему на основные правила теоретической информатики, окажется, что алгоритм, который приказал бы ИИ не разрушать мир, может непреднамеренно остановить свои собственные операции. Если бы это произошло, вы бы не знали, будет ли алгоритм сдерживания все еще анализировать угрозу, и остановил ли он ее для сдерживания вредоносного ИИ. По сути, это делает алгоритм сдерживания непригодным для использования», — говорит Ияд Рахван, директор Центра людей и машин.

На основе этих расчетов проблема сдерживания невыполнима, то есть ни один алгоритм не сможет найти решение для определения того, причинит ли ИИ вред миру или нет.

Tags: искусственный интеллект
Subscribe

Posts from This Journal “искусственный интеллект” Tag

promo luckyea77 декабрь 30, 15:00 8
Buy for 10 tokens
По этой ссылке можно скачать информационную базу для программы "1С:Предприятие". С помощью данной базы можно готовиться и сдавать экзамены по темам: - Электробезопасность - Основы промышленной безопасности А.1 - Специальные требования промышленной безопасности: Б 9.31. Эксплуатация опасных…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 3 comments