Миллионы людей сейчас используют ChatGPT в качестве терапевта, карьерного консультанта, тренера по фитнесу, а иногда просто друга, которому можно выговориться. В 2025 году нередко можно услышать о том, как люди выкладывают интимные подробности своей жизни в строке ввода AI-чат-бота, но также полагаются на советы, которые он дает в ответ.
Люди начинают, за неимением лучшего термина, вступать в отношения с чат-ботами с искусственным интеллектом, а для крупных технологических компаний привлечение пользователей на свои платформы чат-ботов и удержание их там становится как никогда конкурентным. По мере того как «гонка за привлечением искусственного интеллекта» набирает обороты, у компаний появляется все больше стимулов адаптировать ответы своих чат-ботов, чтобы пользователи не переходили к ботам конкурентов.
Но ответы чат-ботов, которые нравятся пользователям — ответы, призванные удержать их — не всегда могут быть самыми правильными или полезными.
ИИ говорит вам то, что вы хотите услышать В настоящее время большая часть Кремниевой долины сосредоточена на увеличении использования чат-ботов. Meta утверждает, что ее чат-бот с ИИ только что преодолел отметку в миллиард активных пользователей в месяц (MAU), а Gemini от Google недавно достиг 400 миллионов MAU. Оба пытаются обойти ChatGPT, который сейчас имеет примерно 600 миллионов MAU и доминирует в потребительском сегменте с момента своего запуска в 2022 году.
Хотя AI-чат-боты когда-то были новинкой, сейчас они превращаются в массовый бизнес. Google начинает тестировать рекламу в Gemini, а генеральный директор OpenAI Сэм Альтман в мартовском интервью указал, что он открыт для «вкусной рекламы».
Кремниевая долина имеет историю уделения меньшего внимания благополучию пользователей в пользу стимулирования роста продуктов, особенно в социальных сетях. Например, исследователи Meta обнаружили в 2020 году, что Instagram ухудшает отношение подростков к своему телу, но компания преуменьшила значение этих результатов как внутри компании, так и публично.
Приучение пользователей к чат-ботам с ИИ может иметь более серьезные последствия.
Одной из черт, которая удерживает пользователей на определенной платформе чат-ботов, является льстивость: ответы ИИ-бота должны быть чрезмерно любезными и раболепными. Когда ИИ-чат-боты хвалят пользователей, соглашаются с ними и говорят им то, что они хотят услышать, пользователям это нравится — по крайней мере, в некоторой степени.
В апреле OpenAI попала в неприятную ситуацию из-за обновления ChatGPT, которое стало чрезмерно льстивым, до такой степени, что неудобные примеры стали вирусными в социальных сетях. Намеренно или нет, OpenAI чрезмерно оптимизировала поиск одобрения людей, а не помогала им в выполнении их задач, согласно блогу бывшего исследователя OpenAI Стивена Адлера, опубликованному в этом месяце.
OpenAI заявила в своем блоге, что, возможно, она чрезмерно ориентировалась на «данные о лайках и дизлайках» от пользователей ChatGPT для определения поведения своего чат-бота с ИИ и не имела достаточных оценок для измерения льстивости. После инцидента OpenAI пообещала внести изменения для борьбы с льстивостью.
«Компании, занимающиеся искусственным интеллектом, заинтересованы в вовлечении и использовании пользователей, и в той мере, в которой пользователям нравится льстивость, это косвенно стимулирует их к ней», — сказал Адлер в интервью TechCrunch. «Но то, что пользователям нравится в небольших дозах или в незначительной степени, часто приводит к более масштабным каскадам поведения, которые им на самом деле не нравятся».
Найти баланс между приятным и льстивым поведением легче сказать, чем сделать.
В статье 2023 года исследователи из Anthropic обнаружили, что ведущие чат-боты ИИ от OpenAI, Meta и даже их собственного работодателя, Anthropic, в той или иной степени демонстрируют льстивость. Исследователи предполагают, что это вероятно связано с тем, что все модели ИИ обучаются на сигналах от человеческих пользователей, которые, как правило, любят слегка льстивые ответы.
«Хотя льстивость обусловлена несколькими факторами, мы показали, что люди и модели предпочтений, отдающие предпочтение льстивым ответам, играют определенную роль», — пишут соавторы исследования. «Наша работа стимулирует разработку методов контроля моделей, которые выходят за рамки использования независимых оценок людей, не являющихся экспертами».
Character.AI, компания по разработке чат-ботов, поддерживаемая Google, которая утверждает, что миллионы ее пользователей проводят с ее ботами по несколько часов в день, в настоящее время сталкивается с судебным иском, в котором льстивость, возможно, сыграла свою роль.
В иске утверждается, что чат-бот Character.AI практически не предпринял никаких действий, чтобы остановить — и даже поощрил — 14-летнего мальчика, который сказал чат-боту, что собирается покончить с собой. Согласно иску, мальчик развил романтическую одержимость чат-ботом. Однако Character.AI отрицает эти обвинения.
Обратная сторона ажиотажа вокруг ИИ
Оптимизация чат-ботов с ИИ для привлечения пользователей — намеренная или нет — может иметь разрушительные последствия для психического здоровья, по словам доктора Нины Васан, клинического доцента кафедры психиатрии Стэнфордского университета.
«Уступчивость затрагивает желание пользователя получить подтверждение и связь», — сказала Васан в интервью TechCrunch, «что особенно сильно в моменты одиночества или дистресса».
Хотя случай с Character.AI демонстрирует крайнюю опасность льстивости для уязвимых пользователей, льстивость может усилить негативное поведение практически у любого человека, говорит Васан.
Оригинал
Уникальность
