Ученые: мы не сможем управлять сверхразумными машинами

Мы очарованы машинами, которые могут управлять автомобилями, сочинять симфонии или побеждать людей в шахматах, го или Jeopardy! В то время как в области ИИ постоянно наблюдается прогресс, некоторые ученые и философы предупреждают об опасности неконтролируемого сверхразумного ИИ. Используя теоретические расчеты, международная группа исследователей, в том числе ученые из Центра людей и машин Института развития человека Макса Планка, показывает, что управлять сверхразумным ИИ невозможно.

Предположим, кто-то должен запрограммировать систему ИИ с интеллектом, превосходящим человеческий, чтобы она могла учиться независимо. Подключенный к Интернету, ИИ может иметь доступ ко всем данным человечества. Он может заменить все существующие программы и взять под контроль все машины по всему миру. Произойдет ли эта утопия или антиутопия? Сможет ли ИИ вылечить рак, установить мир во всем мире и предотвратить климатическую катастрофу? Или он уничтожит человечество и захватит Землю?

Ученые по ИТ и философы задаются вопросом, сможем ли мы вообще управлять сверхразумным ИИ, чтобы гарантировать, что он не будет представлять угрозу для человечества.

«Сверхразумная машина, которая управляет миром, звучит как научная фантастика. Но уже есть машины, которые выполняют определенные важные задачи автономно, при этом программисты полностью не понимают, как они это делают. Поэтому возникает вопрос, может ли это в какой-то момент стать неконтролируемым и опасным для человечества?», - говорит соавтор исследования Мануэль Себриан (Manuel Cebrian), руководитель группы цифровой мобильности в Центре людей и машин Института развития человека Макса Планка.

Ученые исследовали две разные идеи того, как можно управлять сверхразумным ИИ. С одной стороны, возможности сверхразумного ИИ можно было бы конкретно ограничить, например, отгородив его от Интернета и всех других технических устройств, чтобы он не мог контактировать с внешним миром, но это сделало бы сверхразумный ИИ значительно менее мощным, менее способным отвечать на гуманитарные задания. Не имея такой возможности, ИИ с самого начала мог бы быть мотивирован преследовать только цели, отвечающие интересам человечества, например, запрограммировав в него этические принципы. Однако исследователи также показывают, что эти и другие современные и исторические идеи по управлению сверхразумным ИИ имеют свои пределы.

В своем исследовании команда разработала теоретический алгоритм сдерживания, который гарантирует, что сверхразумный ИИ не может причинить вред людям ни при каких обстоятельствах (первый закон робототехники Айзека Азимова?), сначала моделируя поведение ИИ и останавливая его, если оно считается вредным. Но тщательный анализ показывает, что в нашей нынешней парадигме вычислений такой алгоритм не может быть построен.

«Если разложить проблему на основные правила теоретической информатики, окажется, что алгоритм, который приказал бы ИИ не разрушать мир, мог бы непреднамеренно остановить свои собственные операции. Если бы это произошло, вы бы не знали, будет ли алгоритм сдерживания все еще анализировать угрозу, и остановит ли он ее для сдерживания вредоносного ИИ. По сути, это делает алгоритм сдерживания непригодным для использования», - говорит Ияд Рахван (Iyad Rahwan), директор Центра людей и машин.

Основываясь на этих расчетах, проблема сдерживания невыполнима, то есть ни один алгоритм не может найти решение для определения того, причинит ли ИИ вред миру. Более того, исследователи демонстрируют, что мы можем даже не знать, когда появились сверхразумные машины, потому что решение о том, демонстрирует ли машина интеллект, превосходящий человеческий, находится в той же сфере, что и проблема сдерживания.