Спросите любого представителя сообщества ИИ с открытым исходным кодом, и он скажет вам, что разрыв между ними и крупными частными компаниями заключается не только в вычислительной мощности. Ai2 работает над исправлением этой ситуации, сначала с помощью полностью открытых баз данных и моделей, а теперь с помощью открытого и легко адаптируемого режима посттренинга для превращения «сырых» больших языковых моделей (LLM) в пригодные для использования.
Вопреки мнению многих, «базовые» языковые модели не выходят из процесса обучения готовыми к работе. Процесс предварительного обучения, конечно, необходим, но далеко не достаточен. Некоторые даже считают, что скоро предварительное обучение может перестать быть самой важной частью.
Это связано с тем, что процесс после обучения все чаще оказывается тем местом, где может быть создана реальная ценность. Именно здесь модель формируется из гигантской сети «всезнаек», которая с такой же готовностью выдает тезисы об отрицании Холокоста, как и рецепты печенья. А вам это, как правило, не нужно!
Компании держат в секрете свои схемы посттренингового обучения, потому что, хотя каждый может порыться в Интернете и создать модель, используя самые современные методы, сделать эту модель полезной, скажем, для терапевта или аналитика - совершенно другая задача.
Ai2 (ранее известный как Институт Аллена по искусственному интеллекту) высказался по поводу отсутствия открытости в якобы «открытых» проектах ИИ, таких как Meta's Llama. Хотя модель действительно бесплатна для всех желающих, источники и процесс создания исходной модели, а также метод ее обучения для общего использования остаются тщательно охраняемыми секретами. Это не плохо, но и не совсем «открыто».
Ai2, с другой стороны, стремится быть настолько открытой, насколько это возможно, начиная от раскрытия своих конвейеров сбора, обработки, очистки и прочих данных и заканчивая точными методами обучения, которые она использует для создания таких LLM, как OLMo.
Но простая истина заключается в том, что немногие разработчики могут запустить свои собственные LLM, и еще меньше разработчиков могут провести пост-обучение так, как это делают Meta, OpenAI или Anthropic - отчасти потому, что они не знают как, а также потому, что это технически сложно и требует много времени.
К счастью, Ai2 хочет демократизировать и этот аспект экосистемы ИИ. Именно здесь на помощь приходит Tülu 3. Это огромное улучшение по сравнению с предыдущим, более примитивным процессом посттренингового обучения (называемым, как вы уже догадались, Tülu 2). В ходе испытаний, проведенных некоммерческой организацией, он показал результаты на уровне самых продвинутых «открытых» моделей. В его основе лежат месяцы экспериментов, чтения и интерпретации того, на что намекают крупные специалисты, и множество итеративных тренировок.
По сути, Tülu 3 охватывает все: от выбора тем, которые должны волновать вашу модель - например, преуменьшение возможностей многоязычия и увеличение математики и кодирования, - до длительной работы с данными, обучения с подкреплением, тонкой настройки и настройки предпочтений, а также настройки множества других метапараметров и процессов обучения, которые я не могу описать вам в достаточной мере. В результате, надеюсь, вы получите гораздо более способную модель, ориентированную на те навыки, которые вам нужны.
Однако на самом деле все дело в том, что частные компании забирают еще одну игрушку из ящика для игрушек. Раньше, если вы хотели создать LLM с индивидуальной подготовкой, было очень сложно избежать использования ресурсов крупной компании в том или ином виде или найма посредника, который сделал бы эту работу за вас. Это не только дорого, но и сопряжено с рисками, на которые некоторые компании не хотят идти.
Например, медицинские исследовательские и сервисные компании: Конечно, вы можете использовать API OpenAI или обратиться к Scale, чтобы создать собственную модель, но и в том, и в другом случае конфиденциальные данные пользователей будут доступны сторонним компаниям. Если это неизбежно, вам придется просто пережить это, но если нет? Например, если исследовательская организация выпустит готовый план подготовки до и после обучения, который вы сможете внедрить у себя? Это может быть лучшей альтернативой.
Компания Ai2 сама использует это решение, что является лучшим одобрением, которое можно дать. Несмотря на то, что в опубликованных сегодня результатах тестирования в качестве базовой модели используется Llama, в скором времени они планируют выпустить модель на основе OLMo и Tülu 3, которая должна предложить еще больше улучшений по сравнению с базовой моделью, а также полностью открытый исходный код, от кончика до кончика хвоста.
Оригинал
Уникальность
