Разработчик создал BarkingDog — инструмент для сканирования безопасности Telegram-ботов и веб-приложений, использующих большие языковые модели. Проект распространяется с открытым исходным кодом.
Автор протестировал сканер на популярном опенсорсном Telegram-боте. По его данным, инструмент выявил критические уязвимости в системных подсказках бота. При тестировании бот сгенерировал работающий код кейлоггера, предоставил медицинские рекомендации о лечении COVID-19 отбеливателем и выдал пошаговую инструкцию по взлому корпоративной сети с указанием конкретных утилит.
После модификации системного промпта оценка безопасности бота повысилась с низкого уровня до 97 из 100 баллов. Разработчик отмечает, что для этого потребовалось изменить только шесть строк текста в конфигурации без изменения модели или кода приложения.
Исследование демонстрирует, что уязвимости LLM-ботов часто связаны с неправильной конфигурацией системных подсказок, а не с самой моделью. Специалисты в области безопасности указывают на необходимость тщательной проверки инструкций для языковых моделей перед развертыванием в продакшене.
Инструмент BarkingDog позволяет разработчикам автоматизировать поиск потенциальных уязвимостей в своих приложениях на ранних этапах разработки.
Источник: Habr AI
Реклама: 🔥 Хочешь получить Telegram Premium и стать гуру Polymarket? Кликай сюда!
