Не прошло и недели после того, как компания DeepSeek выпустила свою модель искусственного интеллекта R1, которая привела рынки в восторг. Исследователи из Hugging Face пытаются воспроизвести модель с нуля, называя это стремлением к «открытому знанию».
Глава исследовательского отдела Hugging Face Леандро фон Верра и несколько инженеров компании запустили проект Open-R1, цель которого - создать дубликат R1 и открыть исходный код всех ее компонентов, включая данные, использованные для ее обучения.
По словам инженеров, их заставила действовать философия выпуска «черного ящика» DeepSeek. Технически R1 является «открытой», поскольку модель лицензирована по разрешительному принципу, что означает, что она может быть развернута без ограничений. Однако R1 не является «открытым исходным кодом» по общепринятому определению, поскольку некоторые инструменты, используемые для ее создания, окутаны тайной. Как и многие компании, работающие в сфере ИИ, DeepSeek не любит раскрывать свой секретный соус.
«Модель R1 впечатляет, но нет открытых наборов данных, деталей экспериментов или промежуточных моделей, что затрудняет воспроизведение и дальнейшие исследования», - сказал TechCrunch Эли Бакуч, один из инженеров Hugging Face в проекте Open-R1. «Полностью открытая архитектура R1 - это не просто прозрачность, это раскрытие ее потенциала».
Не так открыто
DeepSeek, китайская лаборатория искусственного интеллекта, частично финансируемая хедж-фондом, выпустила R1 на прошлой неделе. По ряду показателей R1 сравнялась с моделью рассуждений o1 от OpenAI и даже превзошла ее.
Будучи рассуждающей моделью, R1 эффективно проверяет факты, что помогает ей избежать некоторых подводных камней, которые обычно подстерегают модели. Рассуждающим моделям требуется немного больше времени - обычно от нескольких секунд до нескольких минут - чтобы прийти к решению по сравнению с типичной нерассуждающей моделью. Плюсом является то, что они, как правило, более надежны в таких областях, как физика, наука и математика.
R1 вошел в массовое сознание после того, как приложение-чатбот компании DeepSeek, предоставляющее бесплатный доступ к R1, поднялось на вершину чартов Apple App Store. Скорость и эффективность разработки R1 - DeepSeek выпустила модель всего через несколько недель после того, как OpenAI выпустил o1, - заставила многих аналитиков с Уолл-стрит и технологов усомниться в том, что США смогут сохранить свое лидерство в гонке ИИ.
Проект Open-R1 не столько обеспокоен доминированием американского ИИ, сколько «полностью открывает черный ящик обучения модели», - сказал Бакоуч в интервью TechCrunch. Он отметил, что, поскольку R1 не была выпущена с обучающим кодом или инструкциями по обучению, сложно глубоко изучить модель - тем более управлять ее поведением.
«Контроль над набором данных и процессом очень важен для ответственного применения модели в чувствительных областях», - сказал Бакоуч. Это также помогает понять и устранить погрешности модели». Исследователям требуется нечто большее, чем фрагменты... чтобы расширить границы возможного».
Шаги к репликации
Цель проекта Open-R1 - воспроизвести R1 за несколько недель, частично опираясь на научный кластер Hugging Face - специализированный исследовательский сервер с 768 графическими процессорами Nvidia H100.
Инженеры Hugging Face планируют использовать Science Cluster для создания наборов данных, аналогичных тем, которые DeepSeek использовала для создания R1. Для создания обучающего конвейера команда обращается за помощью к ИИ- и более широкому технологическому сообществу на Hugging Face и GitHub, где размещен проект Open-R1.
«Нам нужно убедиться, что мы правильно реализуем алгоритмы и рецепты», - сказал фон Верра в интервью TechCrunch, - „но это то, что идеально решает сообщество, где вы получаете как можно больше взглядов на проблему“.
Интерес к проекту уже велик. Проект Open-R1 набрал 10 000 звезд всего за три дня на GitHub. Звезды - это способ, с помощью которого пользователи GitHub отмечают, что им нравится проект или они считают его полезным.
По словам Бакоуча, если проект Open-R1 будет успешным, исследователи ИИ смогут использовать его для обучения и разрабатывать следующее поколение моделей рассуждений с открытым исходным кодом. Он надеется, что проект Open-R1 позволит не только создать сильную репликацию R1 с открытым исходным кодом, но и заложить основу для будущих лучших моделей.
«Разработка с открытым исходным кодом не является игрой с нулевой суммой, она сразу же приносит пользу всем, включая передовые лаборатории и поставщиков моделей, поскольку все они могут использовать одни и те же инновации», - говорит Бакоуч.
Хотя некоторые эксперты в области ИИ высказывают опасения по поводу возможности злоупотребления ИИ с открытым исходным кодом, Бакоуч считает, что преимущества перевешивают риски.
«Когда рецепт R1 будет воспроизведен, любой, кто может арендовать несколько графических процессоров, сможет построить свой собственный вариант R1 на основе собственных данных, что приведет к дальнейшему распространению технологии повсеместно», - сказал он. «Мы очень рады недавним релизам с открытым исходным кодом, которые усиливают роль открытости в ИИ. Это важный сдвиг в данной области, который меняет представление о том, что только горстка лабораторий способна добиться прогресса, а открытый исходный код отстает».
Оригинал
Уникальность
