Компания MemryX, технологический стартап из Мичиганского университета, выпустила модуль M.2 стоимостью 149 долларов [PDF], предназначенный для обеспечения эффективных возможностей обработки искусственного интеллекта в компактных вычислительных системах. Модуль ориентирован на приложения для пограничных вычислений, где эффективность энергопотребления и компактный дизайн имеют решающее значение.
Четыре чипа ИИ-ускорителя MemryX MX3 помещаются в стандартный форм-фактор M.2 2280, что позволяет легко интегрировать модуль в системы, оснащенные слотом PCIe Gen 3 M.2. Каждый чип MX3 обеспечивает производительность 6 TOPS (Tera Operations Per Second), что в сумме дает до 24 TOPS вычислительной мощности при энергопотреблении всего 6-8 Вт. Он также поддерживает ряд форматов данных, включая 4-, 8-, 16-битные веса и BFloat16. Примечательно, что модуль работает без активного охлаждения, полагаясь на входящий в комплект пассивный радиатор для управления тепловыми характеристиками.
Phoronix протестировал модуль MemryX MX3 M.2, оценив его производительность и возможность использования в качестве ускорителя искусственного интеллекта. Установленный в систему со слотом M.2 PCIe Gen 3 под управлением Ubuntu 24.04 LTS, модуль оказался простым в интеграции благодаря драйверам с открытым исходным кодом и инструментам разработчика MemryX. Производительность модуля в 24 TOPS, обеспечиваемая четырьмя чипами MemryX MX3, как утверждается, достаточна для различных вычислительных нагрузок, особенно тех, которые оптимизированы для 8-битных весов.
В обзоре также отмечается высокая совместимость модуля с программным обеспечением, поддерживающим такие фреймворки, как TensorFlow и ONNX, и его эффективность при выполнении небольших и средних моделей ИИ. Каждый чип MX3 поддерживает до 10,5 миллиона 8-битных параметров, а четыре чипа модуля в совокупности - до 42 миллионов параметров. Это ограничение связано с отсутствием встроенной памяти DRAM. MemryX планирует решить эту проблему с помощью новой PCIe-карты в 2025 году, которая будет иметь больше чипов MX3 AI на борту.
Модуль MX3 M.2 доступен по цене 149 долларов США, что делает его доступным вариантом для разработчиков и организаций, стремящихся добавить возможности обработки ИИ в граничные устройства. MemryX также объявила, что модуль будет представлен на предстоящей выставке потребительской электроники (CES) 2025 в Лас-Вегасе, где она планирует продемонстрировать производительность MX3 в различных реальных приложениях, что еще больше подчеркнет его универсальность.
Оригинал
Уникальность
