如何通过专业化SLM词汇将推理成本降低77%
huggingface ·
Dharma-AI的研究人员开发了VocabX,这是一种通过专门优化小型语言模型词汇表以显著降低推理成本的方法。该方法关注每个词元的成本而非仅关注其频率,解决了两个主要低效问题:重复文本的碎片化以及为未使用的词汇条目进行评分带来的计算浪费。在基于Qwen3-4B构建的生产环境作文评分系统中,这种专业化在不改变基础模型或训练数据的情况下,将测得的推理成本降低了77%。该系统区分输入和输出词元,认识到由于内存带宽限制,生成响应比阅读提示要昂贵得多。VocabX在子词和多词层面运行,为JSON信封等 recurring 结构创建宏词元,同时保持较小且特定领域的词汇表规模。这一策略将平均响应长度从350个词元减少到101个,并将评分准确率分数从0.703提高到0.810。在五个公共领域进行的对比测试显示,VocabX在词元压缩和预估成本节约方面优于现有方法。研究结果表明,对于特定领域的应用,优化分词器层的影响可能与微调权重相当。
huggingface