Исследователи Microsoft только что создали BitNet b1.58 2B4T, 1-битную модель большого языка (LLM) с открытым исходным кодом и двумя миллиардами параметров, обученную на четырех триллионах лексем. Но уникальность этой модели ИИ заключается в том, что она достаточно легкая, чтобы эффективно работать на процессоре: TechCrunch сообщает, что ее можно запустить на чипе Apple M2.
Модель также легко доступна на Hugging Face, что позволяет любому желающему экспериментировать с ней. В битнетах используются 1-битные веса с тремя возможными значениями: -1, 0 и +1 - технически это «1,58-битная модель» из-за поддержки трех значений. Это экономит много памяти по сравнению с основными моделями ИИ с 32- или 16-битными форматами плавающей точки, что позволяет им работать гораздо эффективнее и требовать меньше памяти и вычислительных мощностей.
Однако у простоты Bitnet есть один недостаток - она менее точна по сравнению с более крупными моделями ИИ. Однако BitNet b1.58 2B4T компенсирует это огромным объемом обучающих данных, который оценивается более чем в 33 миллиона книг. Команда, создавшая эту легкую модель, сравнила ее с ведущими основными моделями, включая LLaMa 3.2 1B от Meta, Gemma 3 1B от Google и Qwen 2.5 1.5B от Alibaba. BitNet b1.58 2B4T показал относительно высокие результаты в большинстве тестов и даже занял первое место в нескольких бенчмарках.
Что еще более важно, он потребляет всего 400 МБ не встроенной памяти - менее 30 % от того, что использует следующая по размеру модель (Gemma 3 1B), а это 1,4 ГБ. Однако для такой эффективной работы LLM должен использовать фреймворк для выводов bitnet.cpp. Команда специально отметила, что эта модель не будет иметь прироста производительности «при использовании ее со стандартной библиотекой трансформаторов, даже с требуемым форком». Если вы хотите воспользоваться преимуществами фреймворка на легком оборудовании, вам придется взять его на GitHub.
В репозитории bitnet.cpp описывается как «набор оптимизированных ядер, которые поддерживают быстрый и без потерь вывод 1,58-битных моделей на CPU (с поддержкой NPU и GPU). Хотя на данный момент он не поддерживает специфическое для ИИ оборудование, он позволяет любому, у кого есть компьютер, экспериментировать с ИИ, не требуя дорогостоящих компонентов.
Модели ИИ часто критикуют за то, что они требуют слишком много энергии для обучения и работы. Но легкие LLM, такие как BitNet b1.58 2B4T, могут помочь нам запускать модели ИИ локально на менее мощном оборудовании. Это может уменьшить нашу зависимость от массивных центров обработки данных и даже дать возможность людям, не имеющим доступа к новейшим процессорам со встроенными NPU и мощнейшим GPU, использовать искусственный интеллект.
Оригинал
УНикальность
