Как специализация словаря малых языковых моделей может снизить стоимость вывода на 77%
huggingface ·
Исследователи из Dharma-AI разработали метод VocabX, который специализирует словарь малых языковых моделей для значительного снижения затрат на вывод. Фокусируясь на стоимости каждого токена, а не только на его частоте, подход решает две основные проблемы неэффективности: фрагментацию повторяющегося текста и вычислительные потери от оценки неиспользуемых записей словаря. В производственной системе проверки эссе, созданной на базе Qwen3-4B, эта специализация сократила измеренные затраты на вывод на 77% без изменения базовой модели или обучающих данных. Система различает входные и выходные токены, понимая, что генерация ответов значительно дороже чтения промптов из-за ограничений пропускной способности памяти. VocabX работает как на уровне подслов, так и на уровне многословных конструкций, создавая макро-токены для повторяющихся структур, таких как JSON-обертки, при этом сохраняя меньший размер словаря, специфичного для домена. Эта стратегия сократила среднюю длину ответа с 350 до 101 токена и улучшила показатели точности оценивания с 0,703 до 0,810. Сравнительные тесты в пяти открытых доменах показали, что VocabX превосходит существующие методы по сжатию токенов и экономии затрат. Результаты свидетельствуют о том, что оптимизация слоя токенизатора может быть столь же эффективной, как и тонкая настройка весов для приложений, ориентированных на конкретную область.
huggingface