Microsoft модернизировала свою облачную платформу Azure, внедрив Nvidia Blackwell Ultra и развернув, по её словам, первый в мире крупномасштабный суперкомпьютерный кластер GB300 NVL72. Этот кластер состоит из нескольких стоек, содержащих ровно 4 608 графических процессоров GB300, соединённых через коммутационную сеть NVLink 5, которая, в свою очередь, объединена по всему кластеру с помощью сетевой инфраструктуры Nvidia Quantum-X800 InfiniBand.
Это обеспечивает одной стойке NVL72 суммарную пропускную способность памяти 130 ТБ/с, причём каждая стойка предоставляет пропускную способность соединения 800 Гбит/с на каждый графический процессор. Число 4 608, указанное Nvidia, соответствует 64 системам GB300 NVL72, учитывая, что каждая стойка содержит 72 графических процессора Blackwell и 36 процессоров Grace (всего 2 592 ядра Arm).
Это технически уступает полномасштабному гипермасштабируемому расширению, но всё же является значительным достижением для Nvidia Grace Blackwell GB300, который недавно установил новые рекорды производительности в задачах вывода. Microsoft заявляет, что этот кла стер будет предназначен для рабочих нагрузок OpenAI, позволяя запускать продвинутые модели рассуждений быстрее и сокращать время обучения моделей с месяцев до недель.
На уровне стойки каждая система NVL72 обеспечивает 1 440 петафлопс производительности в формате FP4 Tensor, поддерживаемая 37 терабайтами объединённой «быстрой памяти», которая делится на 20 ТБ HBM3E для графического процессора и 17 ТБ LPDDR5X для процессора Grace. Как упоминалось ранее, эта память объединяется через NVLink 5, что позволяет каждой стойке работать как единый ускоритель с прямой пропускной способностью 130 ТБ/с.
Пропускная способность памяти — одна из самых впечатляющих характеристик GB300 NVL72, поэтому важно понимать, как она функционирует.Платформа Quantum-X 800 InfiniBand обеспечивает каждому из 4 608 соединённых графических процессоров пропускную способность 800 Гбит/с на уровне межстоечного взаимодействия. В итоге каждый графический процессор оказывается связан как внутри стоек, так и между ними.
Кластер GB300 NVL72 использует жидкостное охлаждение с автономными теплообменниками и системами циркуляции, разработанными для минимизации потребления воды при интенсивных нагрузках. Nvidia отмечает, что Microsoft пришлось переосмыслить каждый уровень своего дата-центра для этого развертывания, а Microsoft подчёркивает, что это лишь первый из многих кластеров, которые распространят GB300 по всему миру, доводя его до полноценного гипермасштабируемого потенциала. OpenAI и Microsoft уже используют кластеры GB200 для обучения моделей, так что это стало естественным продолжением их эксклюзивного партнёрства.
Nvidia активно инвестирует в OpenAI, и недавно компании подписали письмо о намерениях (LoI) о крупном стратегическом партнёрстве, в рамках которого производитель чипов постепенно вложит $100 млрд в OpenAI. В свою очередь, OpenAI будет использовать графические процессоры Nvidia для своей инфраструктуры ИИ следующего поколения, развернув ускорители мощностью не менее 10 гигаватт, начиная с проекта Vera Rubin в следующем году. Таким образом, суперкластер GB300 NVL72 можно рассматривать как предвестник этих инвестиций, поскольку Microsoft разворачивает этот кластер для OpenAI, используя оборудование Nvidia.
Оригинал
Уникальность
