Intel с энтузиазмом представила первое обновление программного обеспечения для *Project Battlematrix* — амбициозной инициативы, направленной на создание мощных рабочих станций для ИИ на базе оборудования Intel! Новый программный стек, оптимизированный для задач вывода ИИ, обеспечивает эффективное управление рабочими нагрузками на графических процессорах Arc Pro B-series в многопроцессорных рабочих станциях. В состав пакета входит LLM Scaler на базе Linux, созданный специально для рабочих процессов вывода ИИ.
*Project Battlematrix* — это флагманская инициатива Intel, ориентированная на ИИ, цель которой — предоставить рынку высокопроизводительные рабочие станции на базе технологий Intel. Проект объединяет аппаратное и программное обеспечение, создавая целостное решение с использованием до восьми GPU Arc Pro B-series в одной системе. Рабочие станции *Project Battlematrix* оснащаются процессорами Xeon, поддерживают до восьми GPU и до 192 ГБ общей видеопамяти, а их цена варьируется от 5000 до 10 000 долларов.
В основе этих систем лежит Arc Pro B60 — профессиональный аналог Arc B580 с увеличенным объёмом памяти и поддержкой PCIe 5.0. Arc Pro B60 впечатляет: 20 Xe-ядер, 24 ГБ памяти GDDR6, 160 движков XMX, поддержка PCIe 5.0, возможность работы в многопроцессорных конфигурациях и переменный TDP от 120 до 200 Вт.
Рабочие станции *Project Battlematrix* поддерживаются валидированным полнофункциональным контейнеризированным решением на базе Linux, которое включает всё необходимое для быстрого и удобного запуска серверов. LLM Scaler — лишь один из множества контейнеров, разрабатываемых Intel для этого решения.
Релиз 1.0 *LLM Scaler*, доступный на GitHub, ориентирован на «раннюю поддержку клиентов» и включает оптимизации для нескольких типов ИИ-моделей, а также новые функции, такие как спекулятивное декодирование и torch.compile. В релиз вошло десять оптимизаций и улучшений.
Длинные входные последовательности TPOP стали до 1,8 раза быстрее для последовательностей длиной 40K на моделях с 32 миллиардами KPI и до 4,2 раза быстрее для последовательностей длиной 40K на моделях с 70 миллиардами KPI. Производительность выходного потока для моделей с 8 до 32 миллиардов KPI улучшена на 10%. Добавлена послойная онлайн-квантизация для снижения требований к памяти GPU для больших языковых моделей (LLM). Также реализована поддержка моделей встраивания и переранжирования, улучшена поддержка мультимодельных сценариев, добавлено автоматическое определение максимальной длины и параллелизм данных, а также упомянутые ранее спекулятивное декодирование и torch.compile.
Intel также интегрировала в релиз 1.0 инструмент тестирования OneCLL и менеджер XPU с функциями обновления прошивки, мониторинга энергопотребления и пропускной способности памяти GPU, а также диагностики GPU.
Intel объявила, что до конца третьего квартала будет выпущена усиленная версия LLM Scaler с ещё большим функционалом, а полный набор функций запланирован на четвёртый квартал. Релиз LLM Scaler фактически опередил график: ранее Intel обещала первые контейнерные развертывания в третьем, а не во втором квартале. Однако разработчики Intel продолжают работать с энтузиазмом! В четвёртом квартале ожидается внедрение SRIOV, VDI и программного обеспечения для управления, что сделает *Project Battlematrix* ещё более мощным и универсальным решением для ИИ!
Оригинал
Уникальность
