Генеральный директор Amazon Web Services Мэтт Гарман считает, что для обучения больших языковых моделей (LLM) через два-три поколения потребуется столько же энергии, сколько для большого города. Согласно цитате из интервью WSJ, опубликованной The Transcript на сайте X (бывший Twitter), Гарман считает, что для завершения обучения одной модели может потребоваться от одного до пяти гигаватт, и что AWS инвестирует в энергетические проекты, которые могут помочь этим растущим требованиям.
Если мы посмотрим на историю Llama LLM компании Meta для сравнения, то она запустила первую модель в феврале 2023 года, за ней последовала Llama 2 в июле. Затем компания выпустила Llama 3 в середине апреля этого года. Если другие LLM будут следовать этому графику обучения, мы сможем видеть новые модели в среднем каждые семь месяцев. С другой стороны, пионер LLM компания OpenAI запустила GPT-3 в июне 2020 года, а затем GPT-4 в марте 2023 года. Хотя в 2022 году она также запустила GPT-3.5, это скорее доработка GPT-3, чем новое поколение. Таким образом, компании OpenAI понадобилось почти три года, чтобы запустить модель нового поколения.
Учитывая эту информацию, можно сказать, что типичное новое поколение LLM требует около года или двух для обучения на текущем аппаратном уровне. Хотя ИИ-компании используют все больше графических процессоров для обучения своих моделей, эти LLM, такие как Llama-4, также намного сложнее и требуют кластеров, использующих более 100 000 графических процессоров Nvidia H100.
OpenAI также откладывает свою модель ChatGPT-5 до 2025 года из-за ограничений на доступные вычислительные мощности. Учитывая эту информацию, можно предположить, что мы достигнем пятигигаваттного уровня мощности примерно через пять лет.
Это даст таким технологическим гигантам, как OpenAI и Microsoft, Amazon, Google и даже Oracle, некоторое время для наращивания производства энергии. Гарман отметил, что AWS «финансирует более 500 проектов, обеспечивая поступление в сеть новой энергии из возобновляемых источников».
Это очень важно для центров обработки данных, особенно потому, что для внедрения возобновляемых источников энергии требуется время, в отличие от традиционных источников энергии, таких как уголь и природный газ, которые имеют значительные выбросы парниковых газов. Это серьезная проблема в гонке за превосходство в области искусственного интеллекта, и Google даже отстает от своих климатических целей - выбросы увеличились на 48 % с 2019 года - из-за потребностей центров обработки данных в энергии.
Бывший генеральный директор Google даже предложил отказаться от климатических целей, чтобы позволить ИИ работать на полную катушку и решить наш климатический кризис в будущем.
Тем не менее, эти гиганты ИИ осознают угрозу для сети энергоснабжения (или ее отсутствия). Именно поэтому, помимо инвестиций в возобновляемые источники энергии в среднесрочной перспективе, некоторые из них также тратят деньги на развитие атомной энергетики.
Microsoft уже подписала соглашение о перезапуске реактора на Три-Майл-Айленде для нужд своих центров обработки данных, а Google и Oracle планируют построить собственные небольшие ядерные реакторы. Даже Westinghouse, старый игрок на рынке традиционных атомных электростанций, работает над созданием легко развертываемых микрореакторов для питания центров обработки данных следующего поколения с искусственным интеллектом.
Нехватка электроэнергии сегодня является ограничивающим фактором для развития ИИ, тем более что на развертывание новой инфраструктуры - электростанций, линий электропередач, трансформаторов и т. д., - в которой нуждаются эти центры обработки данных ИИ, требуется много времени.
И хотя компании, работающие в сфере ИИ, могли бы использовать портативные генераторы, подобные тем, что Маск использует в Мемфисском суперкластере, и другие невозобновляемые источники энергии для получения необходимой им энергии, в долгосрочной перспективе это нецелесообразно. Поэтому единственная надежда на дальнейшее развитие ИИ - это то, что альтернативные возобновляемые источники энергии появятся в сети как можно скорее.
Оригинал
Уникальность
