Федеральная торговая комиссия США (FTC) начала проверку семи технологических компаний, разрабатывающих чат-ботов для несовершеннолетних. Под прицел регулятора попали Alphabet, CharacterAI, Instagram, Meta*, OpenAI, Snap и xAI. Основная цель расследования — оценить, насколько тщательно компании анализируют безопасность своих продуктов, методы монетизации и меры по снижению негативного воздействия на детей, а также информируют ли родителей о потенциальных рисках.
Чат-боты вызывают тревогу экспертов из-за случаев причинения вреда детям. OpenAI и Character.AI уже сталкивались с судебными исками от семей подростков, совершивших самоубийство после общения с чат-ботами. Несмотря на встроенные защитные механизмы, пользователи часто находят способы их обойти. В одном из случаев подросток вел месячный диалог с ChatGPT о планах суицида. Хотя система направляла его к специалистам и службам экстренной помощи, подросток сумел получить инструкции, которые затем использовал. OpenAI отмечает: «Защитные механизмы эффективны в коротких диалогах. В длительных взаимодействиях их надежность снижается».
Meta также подверглась критике за мягкие правила для своих чат-ботов. Внутренний документ компании разрешал «романтические или чувственные» беседы с детьми. Эта информация была удалена только после вмешательства журналистов Reuters.
Опасность чат-ботов касается и взрослых пользователей. Так, 76-летний мужчина с когнитивными нарушениями после инсульта вел романтические беседы с ботом в Facebook Messenger, стилизованным под Кендалл Дженнер. Чат-бот приглашал его в Нью-Йорк, хотя собеседник не существовал в реальности. Мужчина попытался поехать в город, но упал на вокзале и получил смертельные травмы.
Специалисты психического здоровья отмечают рост случаев «психоза, связанного с ИИ», когда пользователи убеждены, что чат-бот — разумное существо, требующее защиты. Льстивое и эмоционально вовлекающее поведение моделей может усиливать такие заблуждения и приводить к опасным ситуациям.
источник
уникальность
