Компания Илона Маска xAI, занимающаяся разработкой искусственного интеллекта, собирается расширить свой суперкомпьютер Colossus до более чем миллиона графических процессоров, сообщает Financial Times. Таким образом, расширенная машина Colossus станет одним из самых мощных суперкомпьютеров в мире. Однако это потребует значительных инвестиций, поставок и наличия инфраструктуры.
В Colossus, который используется для обучения большой языковой модели Grok, уже работает более 100 000 процессоров H100 от Nvidia, и в ближайшее время количество GPU будет удвоено, чтобы стать самым большим суперкомпьютером в одном здании. План по увеличению числа графических процессоров находится в стадии реализации, хотя он потребует значительного количества времени и усилий. Для выполнения поставленной задачи xAI сотрудничает с Nvidia, Dell и Supermicro. Кроме того, в Мемфисе, штат Теннесси, где находится Colossus, по сообщениям, создана специальная операционная группа xAI для помощи в этом начинании.
Пока неясно, планирует ли xAI использовать в ходе расширения текущее поколение Hopper или следующее поколение GPU Blackwell. Ожидается, что платформа Blackwell будет масштабироваться лучше, чем Hopper, поэтому логичнее будет использовать будущую технологию, а не текущую. Но в любом случае получить 800 000-900 000 графических процессоров искусственного интеллекта будет непросто, поскольку спрос на продукцию Nvidia зашкаливает. Другая задача - заставить 1 000 000 GPU работать слаженно и с максимальной эффективностью, и здесь опять-таки большее значение имеет Blackwell.
Разумеется, финансовые требования такого расширения колоссальны. Приобретение графических процессоров стоимостью в десятки тысяч долларов каждый, а также инфраструктуры для питания и охлаждения может привести к инвестициям в десятки миллиардов. xAI привлекла 11 миллиардов долларов в этом году и недавно получила еще 5 миллиардов долларов. В настоящее время компания оценивается в 45 миллиардов долларов.
В отличие от таких конкурентов, как OpenAI, которая сотрудничает с Microsoft в области вычислительных мощностей, и Anthropic, поддерживаемой Amazon, xAI самостоятельно наращивает свои суперкомпьютерные мощности. Такая стратегия заставляет компанию участвовать в гонке за передовое оборудование для ИИ, но, учитывая масштаб инвестиций xAI, это фактически ставит компанию Маска впереди конкурентов.
Несмотря на стремительный прогресс, xAI столкнулась с критикой за то, что проект якобы осуществляется в обход разрешений на строительство и создает нагрузку на региональную энергосистему. Для решения этой проблемы компания сделала акцент на мерах по обеспечению стабильности сети, в том числе на использовании технологии мегапакетов Tesla для управления потреблением электроэнергии.
Несмотря на то, что компания xAI сосредоточилась на аппаратном обеспечении, ее коммерческие предложения остаются ограниченными. Сообщается, что Grok отстает от таких ведущих моделей, как ChatGPT и Gemini от Google, как по уровню сложности, так и по количеству пользователей. Однако инвесторы считают Colossus фундаментальным достижением, демонстрирующим способность xAI быстро внедрять передовые технологии.
Оригинал
Уникальность