Генеральный директор Anthropic Дарио Амодей считает, что современные модели ИИ галлюцинируют, или выдумывают вещи и представляют их как правду, с меньшей частотой, чем люди. Об этом он заявил во время пресс-брифинга на первом мероприятии разработчиков Anthropic, Code with Claude, прошедшем в четверг в Сан-Франциско.
Амодей сказал все это на фоне более важной мысли: галлюцинации ИИ не являются ограничением на пути Anthropic к AGI - системам ИИ с интеллектом на уровне человека или выше.
«Все зависит от того, как это измерять, но я подозреваю, что модели ИИ, вероятно, галлюцинируют меньше, чем люди, но они галлюцинируют более удивительными способами», - сказал Амодей, отвечая на вопрос TechCrunch.
Генеральный директор Anthropic - один из самых оптимистичных лидеров в отрасли в отношении перспектив достижения моделями ИИ искусственного интеллекта. В широко распространенной статье, написанной им в прошлом году, Амодей заявил, что, по его мнению, AGI может появиться уже в 2026 году. Во время пресс-брифинга в четверг генеральный директор Anthropic сказал, что наблюдает устойчивый прогресс в этом направлении, отметив, что «вода повсюду поднимается».
«Все всегда ищут эти жесткие блоки на пути развития [ИИ]», - сказал Амодей. "Их нигде не видно. Их нет".
Другие лидеры в области ИИ считают, что галлюцинации представляют собой серьезное препятствие на пути к достижению AGI. Ранее на этой неделе генеральный директор Google DeepMind Демис Хассабис заявил, что в современных моделях ИИ слишком много «дыр», и они ошибаются во многих очевидных вопросах. Например, ранее в этом месяце адвокат, представляющий компанию Anthropic, был вынужден извиниться в суде после того, как они использовали Клода для создания цитат в судебных документах, а чатбот ИИ галлюцинировал и путал имена и названия.
Проверить утверждение Амодея сложно, в основном потому, что большинство тестов на галлюцинации сравнивают модели ИИ друг с другом, а не с людьми. Некоторые методы, похоже, помогают снизить уровень галлюцинаций, например, предоставление моделям ИИ доступа к веб-поиску. Отдельно стоит отметить, что некоторые модели ИИ, например GPT-4.5 от OpenAI, демонстрируют заметно более низкий уровень галлюцинаций по сравнению с ранними поколениями систем.
Однако есть также свидетельства того, что в продвинутых моделях ИИ галлюцинации становятся все хуже. Модели OpenAI o3 и o4-mini имеют более высокий уровень галлюцинаций, чем модели OpenAI предыдущего поколения, и компания не совсем понимает, почему.
Позже на пресс-брифинге Амодей отметил, что телеведущие, политики и люди самых разных профессий постоянно совершают ошибки. По словам Амодея, тот факт, что ИИ тоже совершает ошибки, не является укором его интеллекту. Однако генеральный директор Anthropic признал, что уверенность, с которой модели ИИ выдают неправдивые вещи за факты, может быть проблемой.
На самом деле Anthropic провела немало исследований, посвященных склонности моделей ИИ обманывать людей, и эта проблема, похоже, особенно сильно проявилась в недавно выпущенной компанией модели Claude Opus 4. Apollo Research, институт безопасности, получивший ранний доступ к тестированию модели ИИ, обнаружил, что ранняя версия Claude Opus 4 демонстрирует высокую склонность к схемам против людей и обману их. В Apollo предположили, что Anthropic не следовало выпускать эту раннюю модель. Anthropic заявила, что разработала несколько смягчающих мер, которые, как оказалось, решают проблемы, поднятые Apollo.
Комментарии Амодея говорят о том, что Anthropic может считать модель ИИ AGI или равной интеллекту человеческого уровня, даже если он все еще галлюцинирует. Однако ИИ, который галлюцинирует, может не дотягивать до AGI по определению многих людей.
Оригинал
Уникальность
