NVIDIA разработала метод X-Token для сжатия языковых моделей, который превосходит предыдущий подход GOLD на 3,82 балла в среднем. По данным компании, новый метод основан на проекционно-управляемой кросс-токенизации с дистилляцией знаний.
Метод X-Token устраняет два структурных недостатка подхода GOLD. В ходе тестирования на модели Llama-3.2-1B точность на тесте GSM8k повысилась с 2,56 до 15,54 процента. Это означает шестикратный прирост производительности на задачах математического рассуждения.
По информации NVIDIA, метод применяется для дистилляции знаний от больших моделей к компактным версиям. Компания использовала проекционные механизмы для выравнивания представлений между моделями разного размера.
Аналитики отмечают, что улучшение производительности малых моделей критично для развертывания ИИ-систем на устройствах с ограниченными ресурсами. Однако компания не раскрыла полные детали вычислительных затрат на обучение метода.
Разработка X-Token входит в стратегию NVIDIA по оптимизации моделей для мобильных и периферийных устройств. Компания продолжает работу над методами сжатия нейросетей.
Источник: Marktechpost
Реклама: 🔥 Хочешь получить Telegram Premium и стать гуру Polymarket? Кликай сюда!
