Следующая флагманская модель OpenAI может оказаться не таким большим скачком вперед, как ее предшественники, говорится в новом отчете The Information.
Сотрудники, тестировавшие новую модель под кодовым названием Orion, обнаружили, что, хотя ее производительность превосходит существующие модели OpenAI, улучшения оказались не столь значительными, как при переходе от GPT-3 к GPT-4.
Другими словами, скорость улучшения, похоже, замедляется. Более того, в некоторых областях, таких как кодирование, Orion может оказаться ненадежно лучше предыдущих моделей.
В ответ на это OpenAI создала группу разработчиков, которая должна выяснить, как компания может продолжать совершенствовать свои модели в условиях сокращающегося объема новых обучающих данных. Сообщается, что новые стратегии включают в себя обучение Orion на синтетических данных, созданных моделями ИИ, а также более активное совершенствование моделей в процессе посттренингового обучения.
OpenAI не сразу ответила на просьбу о комментарии. В ответ на предыдущие сообщения о планах относительно своей флагманской модели компания заявила: «Мы не планируем выпускать модель под кодовым названием Orion в этом году».
Оригинал
УНикальность
