Похоже, наступила неделя маленьких моделей ИИ.
В четверг Ai2, некоммерческий исследовательский институт ИИ, выпустил Olmo 2 1B, модель с 1 миллиардом параметров, которая, по утверждению Ai2, превосходит аналогичные модели от Google, Meta и Alibaba по нескольким показателям. Параметры, иногда называемые весами, - это внутренние компоненты модели, которые определяют ее поведение.
Olmo 2 1B доступна под разрешительной лицензией Apache 2.0 на платформе для разработки ИИ Hugging Face. В отличие от большинства моделей, Olmo 2 1B может быть воспроизведена с нуля; Ai2 предоставила код и наборы данных (Olmo-mix-1124, Dolmino-mix-1124), использованные для ее разработки.
Возможно, маленькие модели и не обладают такими же возможностями, как их гигантские собратья, но, что важно, для их работы не требуется мощное оборудование. Это делает их гораздо более доступными для разработчиков и любителей, которые сталкиваются с ограничениями, присущими машинам низшего класса и потребительским машинам.
За последние несколько дней было представлено множество небольших моделей, от семейства разумных Phi 4 от Microsoft до 2,5 Omni 3B от Qwen. Большинство из них - и Olmo 2 1B - могут легко работать на современном ноутбуке или даже мобильном устройстве.
Ai2 утверждает, что Olmo 2 1B был обучен на наборе данных из 4 триллионов токенов из общедоступных источников, созданных ИИ и вручную. Токены - это необработанные биты данных, которые модели поглощают и генерируют - 1 миллион токенов эквивалентен примерно 750 000 слов.
По эталону арифметических вычислений GSM8K Olmo 2 1B превосходит Gemma 3 1B от Google, Llama 3.2 1B от Meta и Qwen 2.5 1.5B от Alibaba. Olmo 2 1B также превосходит показатели этих трех моделей по TruthfulQA, тесту для оценки точности фактов.
Однако Ai2 предупреждает, что Olmo 2 1B несет в себе риски. Как и все модели искусственного интеллекта, она может выдавать «проблемные результаты», включая вредный и «чувствительный» контент, говорят в организации, а также фактологически неточные заявления. По этим причинам Ai2 не рекомендует использовать Olmo 2 1B в коммерческих целях.
Оригинал
Уникальность
