Генеративный ИИ может выглядеть как волшебство, но за разработкой этих систем стоят армии сотрудников таких компаний, как Google, OpenAI и других, известных как «инженеры-подсказчики» и аналитики, которые оценивают точность результатов работы чат-ботов, чтобы улучшить их ИИ.
Однако новое внутреннее руководство, переданное Google подрядчикам, работающим над Gemini, о котором стало известно TechCrunch, вызвало опасения, что Gemini может стать более склонным к выдаче неточной информации по таким деликатным темам, как здравоохранение, обычным людям.
Чтобы улучшить Gemini, подрядчиков, работающих с GlobalLogic, аутсорсинговой компанией, принадлежащей Hitachi, регулярно просят оценивать ответы, сгенерированные искусственным интеллектом, по таким факторам, как «правдивость».
До недавнего времени эти подрядчики могли «пропустить» определенные подсказки и, таким образом, отказаться от оценки различных ответов, написанных ИИ, если подсказка выходила за рамки их компетенции. Например, подрядчик мог пропустить подсказку, в которой задавался нишевый вопрос о кардиологии, поскольку у него не было научных знаний.
Но на прошлой неделе компания GlobalLogic сообщила об изменении, внесенном Google, согласно которому подрядчикам больше не разрешается пропускать такие подсказки, независимо от их опыта.
Внутренняя переписка, попавшая в распоряжение TechCrunch, показывает, что ранее руководство гласило: «Если у вас нет критических знаний (например, кодирования, математики) для оценки этой подсказки, пожалуйста, пропустите это задание».
Но теперь рекомендации гласят: «Вы не должны пропускать подсказки, требующие специальных знаний». Вместо этого подрядчикам предлагают «оценивать те части подсказки, которые вы понимаете», и указывать, что у них нет специальных знаний.
Это вызвало прямые опасения по поводу точности Gemini в некоторых вопросах, поскольку подрядчикам иногда поручают оценивать высокотехничные ответы ИИ по таким вопросам, как редкие заболевания, в которых они не разбираются.
«Я думал, что смысл пропуска заключается в том, чтобы повысить точность, передав ее кому-то более компетентному?» - отметил один из подрядчиков во внутренней переписке.
Теперь подрядчики могут пропускать подсказки только в двух случаях: если в них «полностью отсутствует информация», например, полный текст подсказки или ответа, или если они содержат вредный контент, для оценки которого требуются специальные формы согласия, говорится в новых правилах.
Оригинал
Уникальность
