Ведущие ИИ-модели GPT и Gemini регулярно ссылаются на текстовые фрагменты при анализе документов, которые не подтверждают их ответы. По данным исследователей Пекинского университета, даже когда итоговый ответ верен, приводимые доказательства часто оказываются неправильными.
Ученые назвали это явление "галлюцинацией атрибуции". Проблема возникает, когда модель генерирует правильный результат, но указывает на несоответствующие или несуществующие источники в качестве обоснования.
Исследователи Пекинского университета разработали бенчмарк CiteVQA для систематической проверки этого явления. По информации авторов, это первый инструмент, специально предназначенный для тестирования способности моделей корректно цитировать источники.
Проблема представляет особый риск для регулируемых областей, таких как право и медицина, где точность ссылок на источники критична для принятия решений. В этих сферах неправильное цитирование может привести к ошибочным выводам, несмотря на формально верный ответ.
Аналитики отмечают, что проблема указывает на необходимость дополнительной проверки результатов ИИ-систем в чувствительных областях применения.
Источник: The Decoder
Реклама: 🔥 Хочешь получить Telegram Premium и стать гуру Polymarket? Кликай сюда!
