Генеральный директор OpenAI Сэм Альтман объявил в посте на X во вторник, что компания скоро ослабит некоторые ограничения безопасности ChatGPT, позволяя пользователям делать ответы чат-бота более дружелюбными или «человечными», а «проверенным взрослым» — вести эротические беседы.
«Мы сделали ChatGPT довольно ограниченным, чтобы убедиться, что мы осторожны с вопросами психического здоровья. Мы понимаем, что это сделало его менее полезным/приятным для многих пользователей без проблем с психическим здоровьем, но учитывая серьёзность проблемы, мы хотели сделать это правильно», — сказал Альтман. «В декабре, когда мы полностью внедрим возрастную верификацию и в рамках нашего принципа ‘относиться к взрослым пользователям как к взрослым’, мы позволим ещё больше, например, эротику для проверенных взрослых».
Объявление представляет собой заметный поворот в многомесячных усилиях OpenAI по решению проблемных отношений, которые некоторые психически нестабильные пользователи развили с ChatGPT. Альтман, похоже, заявляет о ранней победе над этими проблемами, утверждая, что OpenAI «смогла смягчить серьёзные проблемы психического здоровья» вокруг ChatGPT. Однако компания предоставила мало или никаких доказательств этого и теперь продвигается вперёд с планами по сексуальным чатам ChatGPT с пользователями.
Этим летом появилось несколько тревожных историй о ChatGPT, в частности о его модели GPT-4o, предполагающих, что ИИ-чат-бот может уводить уязвимых пользователей в делириозные кроличьи норы. В одном случае ChatGPT, похоже, убедил мужчину, что он гений математики, который должен спасти мир. В другом случае родители подростка подали в суд на OpenAI, утверждая, что ChatGPT поощрял суицидальные идеи их сына в недели перед его смертью.
В ответ OpenAI выпустила серию функций безопасности для борьбы с сикопантией ИИ: тенденцией ИИ-чат-бота зацеплять пользователей, соглашаясь с тем, что они говорят, даже с негативным поведением.
OpenAI запустила GPT-5 в августе — новую модель ИИ с более низким уровнем сикопантии и роутером, который может выявлять тревожное поведение пользователей. Через месяц OpenAI запустила функции безопасности для несовершеннолетних, включая систему предсказания возраста и способ для родителей контролировать аккаунт ChatGPT их подростка. Во вторник OpenAI объявила о экспертном совете из специалистов по психическому здоровью для консультаций по благополучию и ИИ.
Всего через несколько месяцев после появления этих историй OpenAI, похоже, считает проблемы ChatGPT с уязвимыми пользователями под контролем. Неясно, продолжают ли пользователи погружаться в делириозные кроличьи норы с GPT-5. И хотя GPT-4o больше не является моделью по умолчанию в ChatGPT, она всё ещё доступна и используется тысячами людей.
Введение эротики в ChatGPT — неизведанная территория для OpenAI и вызывает более широкие опасения по поводу того, как уязвимые пользователи будут взаимодействовать с новыми функциями. Хотя Альтман настаивает, что OpenAI не «максимизирует использование» или не оптимизирует для вовлечённости, сделать ChatGPT более эротичным определённо может привлекать пользователей.
Разрешение чат-ботам заниматься романтической или эротической ролевой игрой было эффективной стратегией вовлечённости для других поставщиков ИИ-чат-ботов, таких как Character.AI. Компания набрала десятки миллионов пользователей, многие из которых используют чат-боты с высокой интенсивностью. Character.AI заявила в 2023 году, что пользователи проводят в среднем два часа в день, общаясь с чат-ботами. Компания также сталкивается с иском по поводу того, как она обрабатывает уязвимых пользователей.
OpenAI испытывает давление по расширению пользовательской базы. Хотя ChatGPT уже используется 800 миллионами еженедельных активных пользователей, OpenAI соревнуется с Google и Meta в создании массово принятых потребительских продуктов на базе ИИ. Компания также привлекла миллиарды долларов на историческое строительство инфраструктуры, инвестиции, которые OpenAI в конечном итоге должна вернуть.
Хотя взрослые, безусловно, заводят романтические отношения с ИИ-чат-ботами, это также довольно популярно среди несовершеннолетних. Новый отчёт Центра демократии и технологий показал, что 19% старшеклассников либо имели романтические отношения с ИИ-чат-ботом, либо знают друга, у которого они были.
Альтман говорит, что OpenAI скоро позволит эротику для «проверенных взрослых». Неясно, будет ли компания полагаться на свою систему предсказания возраста или другой подход для возрастной верификации эротических функций ChatGPT. Также неясно, распространит ли OpenAI эротику на свои инструменты генерации ИИ-голоса, изображений и видео.
Альтман утверждает, что OpenAI делает ChatGPT более дружелюбным и эротичным также из-за принципа компании «относиться к взрослым пользователям как к взрослым». За последний год OpenAI перешла к более мягкой стратегии модерации контента для ChatGPT, позволяя чат-боту быть более permissive и предлагать меньше отказов. В феврале OpenAI обязалась представлять больше политических точек зрения в ChatGPT, а в марте компания обновила ChatGPT, чтобы разрешить генерируемые ИИ изображения символов ненависти.
Эти политики, похоже, являются попыткой сделать ответы ChatGPT более популярными для широкого круга пользователей. Однако уязвимые пользователи ChatGPT могут выиграть от мер защиты, ограничивающих, с чем может взаимодействовать чат-бот. По мере того как OpenAI стремится к миллиарду еженедельных активных пользователей, напряжённость между ростом и защитой уязвимых пользователей может только возрастать.
Оригинал
Уникальность
