Google DeepMind опубликовала исследование об уязвимостях автономных ИИ-агентов при работе в интернете. По данным компании, веб-сайты, документы и API могут быть использованы для манипуляции, обмана и перехвата управления агентами.
Исследователи Google DeepMind составили первый систематический каталог методов атак на ИИ-системы. Компания выделила шесть основных категорий уязвимостей, которые позволяют злоумышленникам воздействовать на автономные агенты.
Автономные ИИ-агенты предназначены для самостоятельного просмотра веб-сайтов, обработки электронной почты и выполнения транзакций. Исследование показывает, что сама среда, в которой работают эти системы, может быть использована против них.
Результаты работы указывают на необходимость разработки защитных механизмов для ИИ-агентов перед их широким развертыванием. Компания подчеркивает важность учета выявленных уязвимостей при проектировании автономных систем.
Исследование Google DeepMind является первым комплексным анализом векторов атак на автономные ИИ-агенты в реальных условиях.
Источник: The Decoder
