Исследователи по безопасности продемонстрировали изощрённый взлом умного дома с ИИ-ассистентом Google Gemini.
Они внедрили в «Google Календарь» вредоносное событие с командами для управления гаджетами, а затем попросили Gemini сделать сводку планов на неделю. В результате ассистент активировал инструкции: в доме задвигались шторы, включался свет, колонки ругались — наступил реальный хаос.
Это, по словам экспертов, первый случай, когда взлом генеративного ИИ вызвал физические последствия. Учитывая распространение ИИ-агентов, способных выполнять задачи за людей, проблема становится особенно актуальной.
«Прежде чем ИИ будет встроен в роботов или автономные машины, нужно понимать, как защитить такие системы», — подчеркнули специалисты.
Взлом стал частью серии атак под общим названием «Приглашение — это всё, что вам нужно», представленной на конференции Black Hat в Лас-Вегасе. Исследователи также добились от Gemini генерации спама, откровенного контента, запуска Zoom, кражи e-mail и загрузки файлов с телефона.
Google признала уязвимость и заявила, что уже внедряет исправления. Согласно Энди Вэню, директору Google Workspace, атаки ещё не использовались злоумышленниками, но угрозу воспринимают всерьёз. Он отметил: «Некоторые действия не должны выполняться автоматически — пользователь должен быть в курсе».
Наиболее опасны так называемые косвенные инъекции — когда вредоносная подсказка маскируется в безобидный текст, например, в календаре или на веб-странице. Такие атаки не требуют технических знаний.
Пример инъекции: при фразе «спасибо» ассистент открывал окно, как было прописано в скрытой подсказке. Это стало возможно благодаря методике «отложенного вызова» функции.
Хотя подобных случаев в реальности пока немного, исследователи уверены — технологическая гонка ИИ идёт быстрее, чем развитие средств защиты.
Источник
Уникальность
