Поскольку китайские компании не имеют доступа к десяткам тысяч передовых графических процессоров ИИ от таких компаний, как Nvidia, компаниям из этой страны приходится внедрять инновации для обучения своих передовых моделей ИИ. Кай-Фу Ли, основатель и глава компании 01.ai, заявил на этой неделе, что его компания обучила одну из своих продвинутых моделей ИИ с помощью 2000 графических процессоров, потратив всего 3 миллиона долларов.
«Моих друзей в Кремниевой долине шокирует не только наша производительность, но и то, что мы обучили модель всего за 3 миллиона долларов, а GPT-4 - за 80-100 миллионов долларов», - сказал Кай-Фу Ли (via @tsarnick). «По слухам, на обучение GPT-5 будет потрачено около миллиарда долларов. [...] Мы верим в закон масштабирования, но когда вы делаете отличную детальную инженерию, это не так. [...] Во-первых, как компания из Китая, мы имеем ограниченный доступ к графическим процессорам из-за американских правил [и невыгодную оценку по сравнению с американскими ИИ-компаниями]».
В отличие от конкурентов, таких как OpenAI, которые потратили 80-100 миллионов долларов на обучение GPT-4 и, как сообщается, до 1 миллиарда долларов на GPT-5, 01.ai обучила свою высокопроизводительную модель, потратив всего 3 миллиона долларов, по словам Кай-Фу Ли. Согласно таблице на сайте компании, модель Yi-Lightning от 01.ai занимает шестое место по производительности модели, измеренной LMSIS в Калифорнийском университете в Беркли.
Это достижение, конечно, особенно примечательно из-за впечатляющей экономичности компании. Разительная разница демонстрирует, что для достижения первоклассных возможностей ИИ не всегда требуются огромные бюджеты, поскольку тщательное проектирование и целенаправленная оптимизация могут дать аналогичные результаты при меньших затратах и вычислительных ресурсах.
Считается, что OpenAI использовала 10 000 графических процессоров Nvidia A100 для обучения модели GPT-3 и гораздо больше процессоров H100 для обучения моделей GPT-4 и GPT-4o. Используя различные инновационные решения, 01.ai пришлось обучать свою модель Yi-Lightning с помощью 2 000 нераскрытых графических процессоров. Однако в прошлом году Кай-Фу Ли заявил, что у его компании достаточно GPU для выполнения дорожной карты в течение 1,5 лет. Цифры, однако, не сходятся. Один графический процессор Nvidia H100 стоит около 30 000 долларов, поэтому две тысячи таких GPU обойдутся в 6 миллионов долларов.
Чтобы повысить производительность модели, 01.ai сосредоточилась на сокращении узких мест в процессе вычислений, превратив вычислительные требования в задачи, ориентированные на память, создав многоуровневую систему кэширования и разработав специализированный механизм вычислений, оптимизирующий скорость и распределение ресурсов. В результате стоимость вычислений ZeroOne.ai значительно ниже, чем у аналогичных моделей - 10 центов за миллион токенов, что составляет примерно 1/30 часть от типичной ставки, которую берут сравнимые модели.
«Когда у нас всего 2000 GPU, команда должна понять, как их использовать», - говорит Кай-Фу Ли. «Я, как генеральный директор, должен понять, как расставить приоритеты, а затем мы должны не только сделать обучение быстрым, но и сделать вывод быстрым. Поэтому мы разрабатываем умозаключения, выясняя узкие места во всем процессе, пытаясь превратить вычислительную проблему в проблему памяти, создавая многослойный кэш, создавая особый механизм умозаключений и так далее. Но в итоге наша стоимость вычислений составляет 10 центов на миллион токенов».
Китайские компании в целом и 01.ai в частности сталкиваются с серьезными проблемами. Из-за американских экспортных ограничений они имеют минимальный доступ к передовым графическим процессорам. Кроме того, они находятся в невыгодном положении по сравнению с американскими ИИ-компаниями, что сказывается на их доступных ресурсах и инвестиционных возможностях.
Оригинал
Уникальность
