Так называемый «ИИ-мусор», то есть низкокачественные изображения, видео и тексты, созданные большими языковыми моделями (LLM), за последние пару лет заполонил интернет, загрязняя веб-сайты, социальные сети, по крайней мере одну газету и даже реальные события.Мир кибербезопасности также не застрахован от этой проблемы.
В прошлом году представители индустрии кибербезопасности выразили обеспокоенность по поводу отчетов о найденных уязвимостях, созданных ИИ-мусором, то есть отчетов, утверждающих, что обнаружены уязвимости, которых на самом деле не существует, поскольку они были придуманы большой языковой моделью и оформлены в профессионально выглядящий документ.«Люди получают отчеты, которые звучат правдоподобно и выглядят технически правильными.
А потом начинаешь в них копаться, пытаясь понять: „Ох, где же эта уязвимость?“», — рассказал TechCrunch Влад Ионеску, сооснователь и технический директор RunSybil, стартапа, разрабатывающего ИИ-охотников за ошибками.«Оказывается, это была просто галлюцинация. Технические детали были просто выдуманы LLM», — добавил Ионеску.Ионеску, ранее работавший в красной команде Meta, занимавшейся внутренним тестированием компании на уязвимости, объяснил, что одна из проблем в том, что LLM созданы, чтобы быть полезными и давать положительные ответы.
«Если вы просите отчет, она даст вам отчет. А затем люди копируют и вставляют эти отчеты на платформы для bug bounty, перегружая сами платформы и клиентов, что приводит к раздражающей ситуации», — сказал Ионеску.«Проблема, с которой сталкиваются люди, в том, что мы получаем много материала, который выглядит как золото, но на самом деле это просто мусор», — отметил он.
За последний год были реальные примеры этой проблемы. Исследователь безопасности Гарри Синтонен рассказал, что проект с открытым исходным кодом Curl получил фальшивый отчет. «Злоумышленник сильно просчитался», — написал Синтонен в посте на Mastodon. «Curl может учуять ИИ-мусор за километр».В ответ на пост Синтонена Бенджамин Пиуффле из Open Collective, технологической платформы для некоммерческих организаций, сказал, что у них та же проблема: их почта «заполнена ИИ-мусором».
Один разработчик с открытым исходным кодом, поддерживающий проект CycloneDX на GitHub, полностью закрыл свою программу bug bounty в начале этого года после получения «почти исключительно ИИ-мусорных отчетов».Ведущие платформы bug bounty, которые выступают посредниками между хакерами и компаниями, готовыми платить за обнаружение уязвимостей в их продуктах и ПО, также отмечают рост отчетов, созданных ИИ, узнал TechCrunch.Михаэль Принс, сооснователь и старший директор по управлению продуктами HackerOne, сообщил TechCrunch, что компания столкнулась с ИИ-мусором.«Мы также наблюдаем рост ложных срабатываний — уязвимостей, которые кажутся реальными, но созданы LLM и не имеют реального влияния», — сказал Принс. «Эти низкокачественные отчеты создают шум, который снижает эффективность программ безопасности».
Принс добавил, что отчеты, содержащие «галлюцинированные уязвимости, нечёткий технический контент или другой низкокачественный шум», рассматриваются как спам.Кейси Эллис, основатель Bugcrowd, сказал, что некоторые исследователи действительно используют ИИ для поиска ошибок и написания отчетов, которые затем отправляют в компанию. Эллис отметил, что в целом они наблюдают рост на 500 отчетов в неделю.«ИИ широко используется в большинстве отчетов, но пока не привёл к значительному всплеску низкокачественных „мусорных“ отчетов», — сказал Эллис TechCrunch.
«Вероятно, это усилится в будущем, но пока этого не произошло».Эллис добавил, что команда Bugcrowd, анализирующая отчеты, проверяет их вручную с использованием установленных сценариев и рабочих процессов, а также с помощью машинного обучения и «поддержки» ИИ.Чтобы узнать, получают ли другие компании, включая те, что управляют собственными программами bug bounty, рост недействительных отчетов или отчетов с несуществующими уязвимостями, придуманными LLM, TechCrunch связался с Google, Meta, Microsoft и Mozilla.Дамиано ДеМонте, представитель Mozilla, разработчика браузера Firefox, сказал, что компания «не наблюдает значительного роста недействительных или низкокачественных отчетов об ошибках, которые, вероятно, созданы ИИ», и уровень отклонения отчетов — то есть сколько отчетов помечаются как недействительные — остаётся стабильным на уровне пяти-шести отчетов в месяц, или менее 10% от всех ежемесячных отчетов.
Сотрудники Mozilla, проверяющие отчеты об ошибках для Firefox, не используют ИИ для фильтрации отчетов, так как это, вероятно, было бы сложно сделать без риска отклонения легитимного отчета об ошибке, сказал ДеМонте в письме.Microsoft и Meta, компании, активно инвестирующие в ИИ, отказались от комментариев. Google не ответил на запрос о комментарии.Ионеску предсказывает, что одним из решений проблемы роста ИИ-мусора будет дальнейшее инвестирование в ИИ-системы, которые могут хотя бы проводить предварительную проверку и фильтровать отчеты на точность.
Фактически, во вторник HackerOne запустила Hai Triage, новую систему сортировки, которая сочетает людей и ИИ. По словам HackerOne, эта новая система использует «ИИ-агентов безопасности для устранения шума, пометки дубликатов и приоритизации реальных угроз». Затем человеческие аналитики вмешиваются, чтобы проверить отчеты об ошибках и, при необходимости, эскалировать их.Поскольку хакеры всё чаще используют LLM, а компании полагаются на ИИ для сортировки этих отчетов, остаётся неизвестным, какой из двух ИИ в итоге победит.
Оригинал
Уникальность
В прошлом году представители индустрии кибербезопасности выразили обеспокоенность по поводу отчетов о найденных уязвимостях, созданных ИИ-мусором, то есть отчетов, утверждающих, что обнаружены уязвимости, которых на самом деле не существует, поскольку они были придуманы большой языковой моделью и оформлены в профессионально выглядящий документ.«Люди получают отчеты, которые звучат правдоподобно и выглядят технически правильными.
А потом начинаешь в них копаться, пытаясь понять: „Ох, где же эта уязвимость?“», — рассказал TechCrunch Влад Ионеску, сооснователь и технический директор RunSybil, стартапа, разрабатывающего ИИ-охотников за ошибками.«Оказывается, это была просто галлюцинация. Технические детали были просто выдуманы LLM», — добавил Ионеску.Ионеску, ранее работавший в красной команде Meta, занимавшейся внутренним тестированием компании на уязвимости, объяснил, что одна из проблем в том, что LLM созданы, чтобы быть полезными и давать положительные ответы.
«Если вы просите отчет, она даст вам отчет. А затем люди копируют и вставляют эти отчеты на платформы для bug bounty, перегружая сами платформы и клиентов, что приводит к раздражающей ситуации», — сказал Ионеску.«Проблема, с которой сталкиваются люди, в том, что мы получаем много материала, который выглядит как золото, но на самом деле это просто мусор», — отметил он.
За последний год были реальные примеры этой проблемы. Исследователь безопасности Гарри Синтонен рассказал, что проект с открытым исходным кодом Curl получил фальшивый отчет. «Злоумышленник сильно просчитался», — написал Синтонен в посте на Mastodon. «Curl может учуять ИИ-мусор за километр».В ответ на пост Синтонена Бенджамин Пиуффле из Open Collective, технологической платформы для некоммерческих организаций, сказал, что у них та же проблема: их почта «заполнена ИИ-мусором».
Один разработчик с открытым исходным кодом, поддерживающий проект CycloneDX на GitHub, полностью закрыл свою программу bug bounty в начале этого года после получения «почти исключительно ИИ-мусорных отчетов».Ведущие платформы bug bounty, которые выступают посредниками между хакерами и компаниями, готовыми платить за обнаружение уязвимостей в их продуктах и ПО, также отмечают рост отчетов, созданных ИИ, узнал TechCrunch.Михаэль Принс, сооснователь и старший директор по управлению продуктами HackerOne, сообщил TechCrunch, что компания столкнулась с ИИ-мусором.«Мы также наблюдаем рост ложных срабатываний — уязвимостей, которые кажутся реальными, но созданы LLM и не имеют реального влияния», — сказал Принс. «Эти низкокачественные отчеты создают шум, который снижает эффективность программ безопасности».
Принс добавил, что отчеты, содержащие «галлюцинированные уязвимости, нечёткий технический контент или другой низкокачественный шум», рассматриваются как спам.Кейси Эллис, основатель Bugcrowd, сказал, что некоторые исследователи действительно используют ИИ для поиска ошибок и написания отчетов, которые затем отправляют в компанию. Эллис отметил, что в целом они наблюдают рост на 500 отчетов в неделю.«ИИ широко используется в большинстве отчетов, но пока не привёл к значительному всплеску низкокачественных „мусорных“ отчетов», — сказал Эллис TechCrunch.
«Вероятно, это усилится в будущем, но пока этого не произошло».Эллис добавил, что команда Bugcrowd, анализирующая отчеты, проверяет их вручную с использованием установленных сценариев и рабочих процессов, а также с помощью машинного обучения и «поддержки» ИИ.Чтобы узнать, получают ли другие компании, включая те, что управляют собственными программами bug bounty, рост недействительных отчетов или отчетов с несуществующими уязвимостями, придуманными LLM, TechCrunch связался с Google, Meta, Microsoft и Mozilla.Дамиано ДеМонте, представитель Mozilla, разработчика браузера Firefox, сказал, что компания «не наблюдает значительного роста недействительных или низкокачественных отчетов об ошибках, которые, вероятно, созданы ИИ», и уровень отклонения отчетов — то есть сколько отчетов помечаются как недействительные — остаётся стабильным на уровне пяти-шести отчетов в месяц, или менее 10% от всех ежемесячных отчетов.
Сотрудники Mozilla, проверяющие отчеты об ошибках для Firefox, не используют ИИ для фильтрации отчетов, так как это, вероятно, было бы сложно сделать без риска отклонения легитимного отчета об ошибке, сказал ДеМонте в письме.Microsoft и Meta, компании, активно инвестирующие в ИИ, отказались от комментариев. Google не ответил на запрос о комментарии.Ионеску предсказывает, что одним из решений проблемы роста ИИ-мусора будет дальнейшее инвестирование в ИИ-системы, которые могут хотя бы проводить предварительную проверку и фильтровать отчеты на точность.
Фактически, во вторник HackerOne запустила Hai Triage, новую систему сортировки, которая сочетает людей и ИИ. По словам HackerOne, эта новая система использует «ИИ-агентов безопасности для устранения шума, пометки дубликатов и приоритизации реальных угроз». Затем человеческие аналитики вмешиваются, чтобы проверить отчеты об ошибках и, при необходимости, эскалировать их.Поскольку хакеры всё чаще используют LLM, а компании полагаются на ИИ для сортировки этих отчетов, остаётся неизвестным, какой из двух ИИ в итоге победит.
Оригинал
Уникальность
