Атака с внедрением подсказок позволяет скрывать инструкции для ИИ от глаз человека.
Исследователи Trail of Bits показали, что текст можно спрятать в изображениях: он невидим для пользователя, но при загрузке и сжатии нейросетью подсказка становится доступной для распознавания и выполнения, оставаясь незаметной для человека.
Сегодня ИИ активно используют даже те, кто плохо разбирается в ПО и кибербезопасности, что открывает новые возможности для хакеров. Trail of Bits продемонстрировали, как можно скрывать команды через сжатие изображений при загрузке в ИИ. Суть напоминает фишинг с текстом того же цвета, что фон: человек не видит, а нейросеть считывает и выполняет инструкции.
В примере исследователей изображение с внедрённой подсказкой загружается в Gemini, где бэкенд Google сжимает файл для экономии ресурсов. Сжатие делает скрытый текст доступным для ИИ, позволяя, например, подсказке передать данные из личного календаря пользователя третьей стороне.
Метод требует усилий и подготовки под конкретную систему ИИ, а объём получаемой информации сравнительно невелик. Пока нет свидетельств активного применения такого подхода злоумышленниками. Тем не менее, демонстрация показывает, как привычное действие может стать вектором кибератаки.
Источник
Уникальность
