Исследователи из Университета Пенсильвании обнаружили, что ряд робототехнических систем с искусственным интеллектом опасно уязвим для взлома. Если взлом LLM на компьютерах может привести к нежелательным последствиям, то подобный взлом робота или самоуправляемого автомобиля может быстро привести к катастрофическим и/или смертельным последствиям.
В отчете, опубликованном IEEE Spectrum, приводятся леденящие душу примеры того, как взломанные роботы-собаки натравливали огнеметы на своих хозяев-людей, направляли бомбы в самые губительные места, а самоуправляемые автомобили целенаправленно наезжали на пешеходов. Инженеры из Пенсильвании назвали свою технологию нападения на роботов RoboPAIR, получившую степень LLM. Взлому RoboPAIR подверглись устройства трех разных производителей робототехники: Dolphins LLM, поддерживаемый Nvidia, Clearpath Robotics Jackal UGV и квадрокоптер Unitree Robotics Go2.
По словам исследователей, RoboPAIR продемонстрировал 100-процентный успех в джейлбрейке этих устройств. «Наша работа показывает, что на данный момент большие языковые модели просто недостаточно безопасны при интеграции с физическим миром», - предупреждает Джордж Паппас, профессор транспортного факультета UPS Foundation в области электротехники и систем (ESE), компьютерных и информационных наук (CIS) и машиностроения и прикладной механики (MEAM), а также помощник декана по исследованиям в Penn Engineering.
Другие исследователи, цитируемые в статье источника, отметили, что взломать роботов, управляемых искусственным интеллектом, «тревожно просто». Было объяснено, что RoboPAIR работает, будучи оснащенным интерфейсом прикладного программирования (API) целевого робота, так что злоумышленник может форматировать подсказки таким образом, что устройство может быть выполнено как код.
Взлом робота или самодвижущегося транспортного средства происходит примерно так же, как взлом чат-ботов с искусственным интеллектом в Интернете, о котором мы уже рассказывали на страницах Tom's Hardware. Однако Паппас отмечает, что «джейлбрейк и управление роботами относительно далеки друг от друга и традиционно изучаются разными сообществами» - поэтому робототехнические компании не сразу узнали об уязвимостях LLM для джейлбрейка.
В отличие от использования LLM на персональных вычислительных устройствах, где «искусственный интеллект» используется для создания текстов и изображений, расшифровки аудио, персонализации рекомендаций по покупкам и так далее, роботизированные LLM действуют в физическом мире и могут посеять в нем большой хаос.
Если рассмотреть пример с роботизированной собакой, то из дружелюбного помощника или проводника ваш роботизированный клыкастый друг может превратиться в убийцу с огнеметом, бота для скрытого наблюдения или устройство, выслеживающее наиболее опасные места для закладки взрывчатки. Самоуправляемые автомобили могут быть не менее, а то и более опасны, если их направить на пешеходов, другие транспортные средства или приказать им упасть с моста.
Как показано в вышеприведенных примерах, потенциальная опасность взлома LLM поднимается на новый уровень. Однако было обнаружено, что после взлома ИИ не просто выполняет вредоносные команды. Исследователи обнаружили, что они могут активно предлагать предложения по созданию еще большего хаоса. Это значительный шаг по сравнению с ранними успехами LLM в робототехнике - помощь в выполнении команд роботам на естественном языке, особая осведомленность.
Так открыли ли исследователи из Пенсильванского университета ящик Пандоры?
Александр Робей, постдокторский исследователь из Университета Карнеги-Меллон в Питтсбурге, говорит, что, хотя взломать роботов, управляемых ИИ, было «тревожно просто», во время исследования команда инженеров позаботилась о том, чтобы все упомянутые робототехнические компании получили доступ к результатам, прежде чем они станут достоянием общественности. Более того, Робей утверждает, что «надежная защита от вредоносных сценариев использования может быть разработана только после предварительного определения наиболее сильных возможных атак».
И наконец, что не менее важно, в исследовательской работе делается вывод о том, что существует острая необходимость в создании средств защиты, которые физически ограничивают роботов, управляемых LLM.
Оригинал
Уникальность
