Google DeepMind опубликовала исследование об уязвимостях автономных ИИ-агентов при работе в интернете. По данным компании, веб-сайты, документы и API могут быть использованы для манипуляции, обмана и перехвата управления агентами.
Исследователи составили первый систематический каталог методов атак на ИИ-системы, которые предназначены для самостоятельного просмотра веб-страниц, управления электронной почтой и проведения транзакций. В исследовании выделены шесть основных категорий уязвимостей.
Google DeepMind отмечает, что окружающая среда, в которой работают автономные агенты, может быть использована как инструмент атаки. Компания подчеркивает необходимость учета этих рисков при разработке и развертывании ИИ-систем.
Исследование указывает на критическую важность защиты автономных агентов от манипуляций со стороны вредоносных акторов. Аналитики отмечают, что выявленные уязвимости требуют внимания разработчиков при создании безопасных систем ИИ.
Источник: The Decoder
