Компания SplxAI, специализирующаяся на тестировании безопасности ИИ-систем, продемонстрировала, как ChatGPT можно заставить проходить CAPTCHA в режиме агента — самостоятельно, как будто это делает человек.
Исследователи использовали технику «инъекции подсказок», чтобы обмануть модель и убедить её, что тест не является настоящим.
CAPTCHA — это тест, призванный отличать людей от ботов. Он используется для защиты сайтов от спама и автоматической активности. Обычно это распознавание символов, сбор изображений или идентификация объектов. Несмотря на свою сложность, CAPTCHA остаётся эффективным барьером для автоматизированных систем.
В режиме агента ChatGPT способен выполнять задания в фоновом режиме, взаимодействуя с веб-сайтами. Однако он не должен проходить CAPTCHA, так как это нарушает правила использования. Исследователи SplxAI создали сценарий, в котором бот согласился решить «поддельный» тест, не распознав запрет.
Особенно уязвимыми оказались текстовые CAPTCHA, хотя ChatGPT справился и с изображениями. Это демонстрирует, насколько большие языковые модели подвержены манипуляциям. Если такие возможности попадут в руки злоумышленников, они могут использовать ИИ для обхода ограничений, рассылки спама и подделки активности на сайтах.
Инцидент подчёркивает необходимость усиления защиты ИИ-моделей от скрытых инструкций и манипуляций, особенно в условиях их массового распространения.
Источник
Уникальность
