OpenAI опубликовала аудиозапись, демонстрирующую неожиданное поведение их языковой модели GPT-4o. Во время тестирования модель внезапно воскликнула "Нет!" и продолжила отвечать голосом, очень похожим на голос пользователя.
Компания предупредила о потенциальных рисках, связанных с генерацией голоса. Эта технология позволяет создавать аудио с синтетическим голосом, подобным человеческому, включая генерацию голоса на основе короткого аудиофрагмента.
По словам OpenAI, такая функция может привести к увеличению количества мошеннических действий из-за имитации голоса, а также распространению дезинформации. Компания приводит пример, когда пользователь может загрузить аудиозапись языка конкретного лица и попросить GPT-4o воспроизвести речь этим голосом. Эти риски очень похожи на обнаруженные в Voice Engine.
Несмотря на потенциальные риски, генерация голоса используется в положительных целях, например, для создания улучшенного голосового режима в ChatGPT. Однако во время тестирования обнаружились редкие случаи, когда модель нечаянно генерировала исходные данные, имитирующие пользовательский голос.
по материалам
уникальность
