Исследователи BlockSec пересмотрели результаты тестирования EVMBench — бенчмарка для аудита смарт-контрактов, созданного OpenAI и Paradigm. Их выводы оказались менее оптимистичными: возможности ИИ в реальных атаках значительно ограничены.
Если ранее утверждалось, что алгоритмы способны эксплуатировать до 72% уязвимостей, то повторное тестирование на 22 свежих инцидентах показало нулевой результат по успешным атакам. В исследовании использовались более разнообразные конфигурации моделей, а сами случаи были выбраны так, чтобы исключить их попадание в обучающие данные.
При этом ИИ всё ещё демонстрирует неплохие результаты в обнаружении известных уязвимостей, особенно типовых ошибок. Однако сложные случаи остаются вне его возможностей.
Авторы отмечают, что первоначальные выводы могли быть искажены из-за использования заранее известных данных. В реальных условиях ИИ пока не способен заменить экспертов.
Вместо этого оптимальной моделью считается сотрудничество: машины эффективно обрабатывают большие объёмы данных, а люди обеспечивают глубокий анализ и стратегическое мышление.
по материалам
уникальность
