TokenCompress запустил прокси-сервис для сжатия исходного кода перед отправкой в языковые модели. По данным сервиса, технология сокращает объем токенов на 78% в среднем, при этом качество ответов моделей не снижается.
Сервис работает как промежуточный слой между пользователем и API LLM. Он удаляет из кода комментарии, лишние пробелы и неиспользуемые переменные, оставляя только функционально значимые элементы. TokenCompress совместим с ChatGPT, Claude, DeepSeek, Qwen и другими моделями, доступными через API.
По информации разработчиков, в некоторых случаях качество ответов улучшается, так как модель получает только релевантный контекст без избыточной информации. Это позволяет снизить стоимость запросов, особенно при работе с большими объемами кода.
Ограничением подхода является то, что сжатие применимо в основном к структурированному коду. Для текстовых данных эффективность метода ниже. Аналитики отмечают, что экономия на токенах особенно актуальна для разработчиков, работающих с моделями через платные API, где стоимость зависит от объема обработанных данных.
Рынок инструментов оптимизации работы с LLM растет по мере удешевления моделей и расширения их применения в коммерческих проектах. Компании ищут способы снизить операционные затраты на использование API.
Источник: Habr AI
Реклама: 🔥 Хочешь получить Telegram Premium и стать гуру Polymarket? Кликай сюда!
