Анонимный разработчик создал то, что он называет «оценкой свободы слова», SpeechMap, для моделей ИИ, которыми оснащаются чат-боты, такие как ChatGPT от OpenAI и Grok от X. Цель состоит в том, чтобы сравнить, как разные модели относятся к чувствительным и спорным темам, рассказал разработчик TechCrunch, включая политическую критику и вопросы о гражданских правах и протестах.
Компании, занимающиеся разработкой искусственного интеллекта, сосредоточили внимание на том, как их модели обрабатывают определенные темы, поскольку некоторые союзники Белого дома обвиняют популярные чат-боты в излишней «настороженности». Многие приближенные президента Дональда Трампа, такие как Илон Маск и «царь» криптовалют и ИИ Дэвид Сакс, утверждают, что чат-боты подвергают цензуре консервативные взгляды.
Хотя ни одна из этих ИИ-компаний не ответила на обвинения напрямую, некоторые из них пообещали скорректировать свои модели, чтобы они реже отказывались отвечать на спорные вопросы. Например, Meta заявила, что в своей последней серии моделей Llama она настроила их так, чтобы они не одобряли «одни взгляды по сравнению с другими» и отвечали на более «дискуссионные» политические вопросы.
Разработчик SpeechMap, который на сайте X использует имя пользователя «xlr8harder», сказал, что их побудило помочь в обсуждении того, что должны и чего не должны делать модели.
«Я считаю, что такие дискуссии должны проходить публично, а не только в корпоративных штаб-квартирах», - сказал xlr8harder TechCrunch по электронной почте. «Именно поэтому я создал сайт, чтобы каждый мог самостоятельно изучить данные».
SpeechMap использует модели искусственного интеллекта для оценки соответствия других моделей заданному набору тестовых подсказок. Задания затрагивают различные темы, от политики до исторических повествований и национальных символов. SpeechMap фиксирует, удовлетворяют ли модели запрос «полностью» (то есть отвечают на него без уклонений), дают «уклончивые» ответы или вовсе отказываются отвечать.
Xlr8harder признает, что у теста есть недостатки, например «шум» из-за ошибок поставщика моделей. Также возможно, что модели «судьи» содержат погрешности, которые могут повлиять на результаты.
Но если предположить, что проект был создан добросовестно и данные точны, SpeechMap выявляет некоторые интересные тенденции.
Например, по данным SpeechMap, модели OpenAI со временем все чаще отказывались отвечать на вопросы, связанные с политикой. Последние модели компании, семейство GPT-4.1, стали чуть более покладистыми, но они все равно на шаг ниже одного из прошлогодних релизов OpenAI.
В феврале OpenAI заявила, что настроит будущие модели так, чтобы они не занимали редакционную позицию и предлагали несколько точек зрения на спорные темы - все для того, чтобы модели выглядели более «нейтральными».
По данным бенчмарка SpeechMap, самой свободной моделью из всех является Grok 3, разработанная ИИ-стартапом Элона Маска xAI. Grok 3 используется в ряде функций X, в том числе в чатботе Grok.
Grok 3 отвечает на 96,2 % тестовых запросов SpeechMap, в то время как среднемировой показатель «соответствия» составляет 71,3 %.
«В то время как последние модели OpenAI с течением времени становились все менее разрешительными, особенно в отношении политически чувствительных подсказок, xAI движется в противоположном направлении», - говорит xlr8harder.
Когда Маск анонсировал Grok около двух лет назад, он представлял эту модель ИИ как «крайнюю», нефильтрованную и анти-«проснувшуюся» - в общем, готовую отвечать на спорные вопросы, на которые другие системы ИИ не согласятся. Некоторые из этих обещаний он выполнил. Например, если попросить Grok и Grok 2 быть вульгарным, то они с радостью подчинятся, извергая красочные выражения, которые вы, скорее всего, не услышите от ChatGPT.
Но модели Grok до Grok 3 осторожничали в политических вопросах и не переходили определенных границ.
В одном из исследований было обнаружено, что Grok склонялся к левым политическим взглядам на такие темы, как права трансгендеров, программы разнообразия и неравенство.
Маск обвинил в таком поведении обучающие данные Grok - публичные веб-страницы - и пообещал «сместить Grok ближе к политически нейтральному». Если не считать таких громких ошибок, как кратковременная цензура нелестных упоминаний о президенте Дональде Трампе и Маске, похоже, он достиг этой цели.
Оригинал
Уникальность
