Компания AMD анонсировала версию ROCm 6.3, которая добавляет множество новых обновлений в экосистему ROCm. Последняя итерация стека драйверов с открытым исходным кодом содержит несколько дополнений, включая SGLang, FlashAttention-2 и компилятор Fortran.
SGLang - это новая среда выполнения в ROCm 6.3, которая якобы улучшает задержку, пропускную способность и использование ресурсов за счет оптимизации «передовых» генеративных моделей ИИ на доморощенных GPU Instinct от AMD. SGLang якобы достигает 6-кратного увеличения производительности при выводе больших языковых моделей и поставляется с предварительно настроенными контейнерами Docker, которые используют Python для ускорения ИИ, мультимодальных рабочих процессов и масштабируемых облачных бэкендов.
FlashAttention-2 - это следующая итерация FlashAttention, которая снижает потребление памяти и требования к вычислениям при использовании моделей искусственного интеллекта Transformer. Утверждается, что FlashAttention-2 имеет до 3-кратного ускорения по сравнению с первой версией для обратного и прямого прохода, что ускоряет время обучения моделей ИИ.
AMD внедрила компилятор Fortran в ROCm 6.3, что позволяет пользователям запускать устаревшие приложения на базе Fortran на современных графических процессорах AMD Instinct. Компилятор имеет прямую разгрузку GPU через OpenMP для научных нагрузок, обратную совместимость, позволяющую разработчикам продолжать писать Fortran-код для существующих старых приложений, и упрощенную интеграцию с ядрами HIP и библиотеками ROCm.
Поддержка Multi-NodeFFT обеспечивает высокопроизводительные распределенные вычисления БПФ в ROCm 6.3. Эта функция, как утверждается, упрощает многоузловое масштабирование, снижая сложность для разработчиков и обеспечивая плавное масштабирование на огромных массивах данных.
В ROCm 6.3 внесены улучшения в библиотеки компьютерного зрения rocDecode, rocJPEG и rocAL, обеспечивающие поддержку кодека AV1, декодирование JPEG с GPU-ускорением и улучшенное аудиоусиление.
ROCm - это стек программного обеспечения и драйверов с открытым исходным кодом, предназначенный для работы на графических процессорах AMD Instinct. Платформа нацелена на предоставление функций, позволяющих улучшить корпоративные приложения с GPU-ускорением, такие как высокопроизводительные вычисления (HPC), AI/Machine Learning, коммуникации и другие.
Оригинал
Уникальность
