Современные облачные центры обработки данных потребляют не только огромное количество энергии для вычислений и охлаждения, но и значительное количество воды, поскольку в большинстве из них используется испарительное жидкостное охлаждение. В отличие от них, в машинах Nvidia GB200 NVL72 и GB300 NVL72 используются системы жидкостного охлаждения непосредственно на кристалле, которые, как утверждается, в 25 раз более энергоэффективны и в 300 раз более водоэффективны, чем современные кулеры.
Однако есть и загвоздка: стоечные системы NVL72 потребляют в семь раз больше энергии, чем обычные стойки. Обычные серверные стойки для центров обработки данных потребляют около 20 кВт энергии, в то время как стойки Nvidia на базе H100 - более 40 кВт. Однако стоечные системы Nvidia GB200 NVL72 и GB300 NVL72 потребляют 120-140 кВт энергии, превосходя подавляющее большинство уже установленных стоек. В результате воздушные методы охлаждения уже не справляются с тепловой нагрузкой, создаваемой этими стойками с высокой плотностью размещения.
Поэтому компании Nvidia пришлось перейти на новое решение для охлаждения своих машин Blackwell, что привело к разработке нового решения. В системах Nvidia GB200 NVL72 и GB300 NVL72 используется жидкостное охлаждение непосредственно на кристалле. Этот подход предполагает циркуляцию охлаждающей жидкости непосредственно через холодные пластины, прикрепленные к GPU, CPU и другим теплогенерирующим компонентам, что позволяет эффективно отводить тепло от этих устройств, не прибегая к использованию воздуха в качестве посредника.
В отличие от испарительного или погружного охлаждения, жидкостное охлаждение NVL72 представляет собой систему с замкнутым циклом, поэтому охлаждающая жидкость не испаряется и не требует замены из-за потери при смене фаз, что позволяет экономить воду. В архитектуре NVL72 тепло, поглощаемое жидким хладагентом, передается в инфраструктуру охлаждения центра обработки данных через теплообменники «жидкость-жидкость» на уровне стоек. Эти устройства распределения охлаждающей жидкости (CDU), такие как CoolIT CHx2000, способны управлять мощностью охлаждения до 2 мВт, поддерживая развертывание систем высокой плотности с низким тепловым сопротивлением и надежным отводом тепла.
Кроме того, такая установка позволяет системам работать с охлаждением теплой водой, тем самым снижая или устраняя необходимость в механических охладителях, что повышает энергоэффективность и экономию воды. Следует отметить несколько моментов, связанных с замкнутым циклом жидкостного охлаждения Nvidia. Хотя системы жидкостного охлаждения с замкнутым циклом широко используются энтузиастами ПК, существует несколько практических, инженерных и экономических причин, по которым эти системы пока не получили широкого распространения.
Центры обработки данных требуют модульности и доступности для обслуживания, модернизации и замены компонентов, поэтому в них используются компоненты с возможностью горячей замены. Однако герметичные системы затрудняют быструю замену вышедших из строя серверов или графических процессоров, поскольку нарушение герметичности ставит под угрозу весь кластер.
Кроме того, прокладка герметичных жидкостных контуров по стойкам и всему центру обработки данных создает логистические сложности, связанные с прокладкой трубопроводов, резервированием насосов и изоляцией отказов. К счастью, в современных решениях для жидкостного охлаждения непосредственно на кристалле используются быстроразъемные фитинги с бескапельными уплотнениями, которые обеспечивают удобство обслуживания без полной герметичности (в конце концов, быстро обнаружить и изолировать утечки дешевле, чем создавать полностью герметичное решение в масштабах ЦОД).
Однако использование жидкостного охлаждения в масштабах центра обработки данных все равно требует перепроектирования всего центра обработки данных, а это дорого. Тем не менее, поскольку процессоры Blackwell от Nvidia предлагают непревзойденную производительность, пользователи графических процессоров B200 готовы вкладывать деньги в такие переделки.
Кроме того, стоит отметить, что Nvidia совместно с Schneider Electric разработала эталонные проекты кластеров 1152 GPU DGX SuperPOD GB200, в которых используются жидкостно-жидкостные CDU и жидкостные охладители Motivair с адиабатической поддержкой. Это позволяет быстро развернуть такие системы с максимальной эффективностью.
Хотя Nvidia требует использования жидкостного охлаждения в своих графических процессорах и системах Blackwell B200, компания инвестировала в эталонные образцы герметичных решений жидкостного охлаждения, чтобы избежать использования испарительных решений жидкостного охлаждения, стремясь сохранить воду, что представляется разумным компромиссом.
Оригинал
Уникальность
