Минобороны РФ выступило за запрет использования алгоритмов генеративного искусственного интеллекта (ChatGPT и пр.) в критически важных сферах. Ведомство предупреждают: такие алгоритмы не выдают объективного результата и могут быть использованы для сбора разведывательной информации и когнитивного воздействия на население.
Речь идет о таких алгоритмах, как ChatGPT, Midjourney, Dall-e 2, StableDiffusion и др., которые способны генерировать контент различных форматов: аудио, видео, текст, изображения и т.д.
Лишин предупреждает, что указанные алгоритмы не воспроизводят объектных моделей знаний: они обладают «внутренним содержанием программистов», которые его создают. В результате «мировоззрение» указанных алгоритмов совпадает с мировоззрением жителей западных стран в возрасте от 25 до 35 лет, а их пользователи оказываются в «когнитивной ловушке».
Лишин сравнивает это с «эффектом Голливуда»: благодаря наилучшему техническому оснащению голливудские киностудии создали контент, который недостижим в других странах. В результате люди по всеми миру стали относится к западному миру, как к своему, и желают в нем жить. Это подтверждает и опрос молодых россиян, никогда не выезжавших из страны: большинство из них считают, что США по всем параметрам опережают весь остальной мир.
Представитель Минобороны приводит пример общения с ChatGPT на тему Крыма: алгоритм выдает ответ, что данный полуостров был «аннексирован» Россией, а прошедший в 2014 г. референдум на полуострове «вызывает вопросы». Лишин сравнивает это с данными Wikipedia, имеющими схожую подачу. Однако если Wikipedia публично доступна и специалисты могут разглядеть манипуляцию в подаче информацией, то процесс общения человека с алгоритмами ГИИ никому не виден.
Во-вторых, расположенная в открытом доступе языковая модель, лежащая в основе ГИИ, может стать источником утечки части обучающих данных, в которых могут быть персональные данные и закрытые базы данных. Соответственно, иностранные разведки могут проводить атаки на ГИИ с целью извлечения данных, лежащих в основе обучающих выборов, для получения конфиденциальной информации о технологических возможностях.
В-третьих, генерация высококачественного поддельного аудио- и видеоконтента (DeepFake) резко повышает эффективность атаки злоумышленников методов «социальной инженерии», в том числе на критическую информационную инфраструктуру (КИИ) государства.
Наконец, злоумышленники могут использовать ГИИ для повышения возможности и эффективности кибератак: искусственный интеллект может обучаться обходить системы компьютерной защиты. Существующие алгоритмы уже могут обходить CAPTCHA.
Автономно от него в Канаде функционирует специализированный инновационный центр для ведения когнитивной войны с помощью ГИИ. Чтобы не привлекать внимание, этот орган не входит в список центров НАТО. А в Пентагоне в структуре Главного управления по цифровым технологиям создана рабочая группа Lima для анализа ГИИ и его интеграции в деятельность вооруженных сил.
По мнению Минобороны, в России необходимо исключить внедрение (использование) иностранных больших языковых моделей в «критических» системах (системы поддержки принятия решений, медицина, военное дело, объекты КИИ и др.).
В то же время в России необходимо разработать собственные (доверенные) системы с ГИИ для недопущения информационного воздействия на российское население, в том числе когнитивного характера. Также следует регулярно проводить хакатоны для тестирования систем с ГИИ на предмет уязвимостей, «галлюцинаций» и когнитивных искажений.
источник
Опасность алгоритмов искусственного интеллекта: они воспроизводят мнения своих создателей
Использование иностранных алгоритмов генеративного искусственного интеллекта (ГИИ) представляет угрозу для национальной безопасности России. Об этом заявил замдиректора департамента информационных систем Минобороны Николай Лишин на финале конкурса «Битва искусственных интеллектов», проведенного Главным радиочастотным центром (ГРЧЦ).Речь идет о таких алгоритмах, как ChatGPT, Midjourney, Dall-e 2, StableDiffusion и др., которые способны генерировать контент различных форматов: аудио, видео, текст, изображения и т.д.
Лишин предупреждает, что указанные алгоритмы не воспроизводят объектных моделей знаний: они обладают «внутренним содержанием программистов», которые его создают. В результате «мировоззрение» указанных алгоритмов совпадает с мировоззрением жителей западных стран в возрасте от 25 до 35 лет, а их пользователи оказываются в «когнитивной ловушке».
Лишин сравнивает это с «эффектом Голливуда»: благодаря наилучшему техническому оснащению голливудские киностудии создали контент, который недостижим в других странах. В результате люди по всеми миру стали относится к западному миру, как к своему, и желают в нем жить. Это подтверждает и опрос молодых россиян, никогда не выезжавших из страны: большинство из них считают, что США по всем параметрам опережают весь остальной мир.
Представитель Минобороны приводит пример общения с ChatGPT на тему Крыма: алгоритм выдает ответ, что данный полуостров был «аннексирован» Россией, а прошедший в 2014 г. референдум на полуострове «вызывает вопросы». Лишин сравнивает это с данными Wikipedia, имеющими схожую подачу. Однако если Wikipedia публично доступна и специалисты могут разглядеть манипуляцию в подаче информацией, то процесс общения человека с алгоритмами ГИИ никому не виден.
Опасности генеративного искусственного интеллекта
В Минобороны видят сразу несколько опасностей, происходящих от алгоритмов ГИИ. Во-первых, это информационное воздействие на население: «подмена родителей и учителей» и воспитание целых поколений, лояльных к западным странам.Во-вторых, расположенная в открытом доступе языковая модель, лежащая в основе ГИИ, может стать источником утечки части обучающих данных, в которых могут быть персональные данные и закрытые базы данных. Соответственно, иностранные разведки могут проводить атаки на ГИИ с целью извлечения данных, лежащих в основе обучающих выборов, для получения конфиденциальной информации о технологических возможностях.
В-третьих, генерация высококачественного поддельного аудио- и видеоконтента (DeepFake) резко повышает эффективность атаки злоумышленников методов «социальной инженерии», в том числе на критическую информационную инфраструктуру (КИИ) государства.
Наконец, злоумышленники могут использовать ГИИ для повышения возможности и эффективности кибератак: искусственный интеллект может обучаться обходить системы компьютерной защиты. Существующие алгоритмы уже могут обходить CAPTCHA.
Искусственный интеллект на службе стран НАТО
На Западе давно уже поняли важность использования искусственного интеллекта для целей обороны и информационных войн. В 2014 г. при НАТО был создан Центр передового опыта для ведения войны в информационном пространстве.Автономно от него в Канаде функционирует специализированный инновационный центр для ведения когнитивной войны с помощью ГИИ. Чтобы не привлекать внимание, этот орган не входит в список центров НАТО. А в Пентагоне в структуре Главного управления по цифровым технологиям создана рабочая группа Lima для анализа ГИИ и его интеграции в деятельность вооруженных сил.
Что нужно делать в России
В Минобороны считают алгоритмы ГИИ технологиями двойного назначения и сравнивают их с ядерным оружием. Именно благодаря наличию ядерного оружия Россия сохраняет статус сверхдержавы, поэтому для России крайне важно разрабатывать собственные технологии.По мнению Минобороны, в России необходимо исключить внедрение (использование) иностранных больших языковых моделей в «критических» системах (системы поддержки принятия решений, медицина, военное дело, объекты КИИ и др.).
В то же время в России необходимо разработать собственные (доверенные) системы с ГИИ для недопущения информационного воздействия на российское население, в том числе когнитивного характера. Также следует регулярно проводить хакатоны для тестирования систем с ГИИ на предмет уязвимостей, «галлюцинаций» и когнитивных искажений.
источник
