Исследователи считают, что люди не только не смогут контролировать супер-интеллект, но даже могут не узнать о его появлении.
Идея об искусственном интеллекте, уничтожающем человечество, обсуждалась на протяжении долгих десятилетий. И наконец-то, ученые вынесли свой вердикт, насколько реальная такая ситуация. Об этом сообщает Science Alert.
В новом исследовании ученые выяснили, что люди почти наверняка не смогут контролировать компьютерный сверхразум.
Загвоздка заключается в том, что для управления сверхразумом, выходящим далеко за пределы человеческого понимания, потребуется симуляция этого сверхразума, чтобы проанализировать его. Но если люди будут не в состоянии понять его, то и протестировать сверхразум окажется невозможным.
Такие правила, как "не причинять людям зла", невозможно установить, если ученые не смогут понять, по каким сценариям работает ИИ, пишут авторы. Когда компьютерная система работает на уровне, превышающем возможности программистов, человечество больше не сможет устанавливать свои правила.
"Супер-интеллект представляет из себя принципиально иную проблему, чем те, которые обычно изучают под лозунгом "этики роботов". Это потому, что супер-интеллект многогранен, и следовательно, потенциально способен мобилизовать разнообразные ресурсы для достижения целей, которые будут непонятны для людей, не говоря уже о том, чтобы их контролировать", – пишет авторы исследования.
Часть идет команды основывается на так называемой проблеме остановки, выдвинутой Аланом Тьюрингом в 1936 году. Проблема в теории алгоритмов выглядит так: даны описание процедуры и ее начальные входные данные. Требуется определить: завершится ли когда-либо выполнение процедуры с этими данными; либо, что процедура все время будет работать без остановки.
Любая программа, например, для остановки ИИ, причиняющего вред человечеству, может прийти к выводу (и остановиться) или нет. На данный момент математически невозможно спрогнозировать тот или иной исход, а это означает, что ИИ будет невозможно сдержать.
"По сути, это делает алгоритм сдерживания непригодным для использования", – говорит директор Института человеческого развития Макса Планка Ияд Рахван.
Альтернативой может быть обучение ИИ некоторой этике и запрету разрушать мир, но по мнению исследователей, нет никакой уверенности в том, что это сработает. Тем более, что это будет ограничением возможностей сверхразума. Он может быть отключен, например, от части Интернета или от определенных сетей.
Такие методы просто ограничат возможности искусственного интеллекта. Аргумент ученых заключается в том, что если мы не собираемся использовать ИИ для решения проблем, выходящих за рамки человеческих возможностей, то зачем вообще его создавать?
В это же время, если человечество основательно займется разработкой ИИ, то скорее всего, даже не узнает, когда появится сверхразум, находящийся вне какого-либо контроля.
"Сверхразумная машина, управляющая миром, звучит как научная фантастика. Но уже есть машины, которые самостоятельно выполняют определенные важные задачи, а программисты полностью не понимают, как они этому научились. Поэтому возникает вопрос, могут ли машины в какой-то момент стать неконтролируемыми и опасными для человечества", – отмечает ученый из Института человеческого развития Макса Планка Мануэль Себриан.
