Como especializar o vocabulário dos SLMs pode cortar o custo de inferência em 77%
huggingface ·
Pesquisadores da Dharma-AI desenvolveram o VocabX, um método que especializa o vocabulário de pequenos modelos de linguagem para reduzir significativamente os custos de inferência. Ao focar no custo de cada token em vez de apenas na sua frequência, a abordagem aborda duas ineficiências principais: a fragmentação do texto repetido e o desperdício computacional ao pontuar entradas de vocabulário não utilizadas. Em um avaliador de ensaios em produção baseado no Qwen3-4B, essa especialização reduziu os custos mensurados de inferência em 77% sem alterar o modelo base ou os dados de treinamento. O sistema distingue entre tokens de entrada e saída, reconhecendo que gerar respostas é substancialmente mais caro do que ler prompts devido às limitações de largura de banda de memória. O VocabX opera tanto em nível de subpalavras quanto de múltiplas palavras, criando macrotokens para estruturas recorrentes, como envelopes JSON, enquanto mantém um tamanho de vocabulário menor e específico do domínio. Essa estratégia reduziu o comprimento médio da resposta de 350 para 101 tokens e melhorou as pontuações de precisão na avaliação de 0,703 para 0,810. Testes comparativos em cinco domínios públicos mostraram que o VocabX superou métodos existentes em compressão de tokens e economia estimada de custos. As descobertas sugerem que otimizar a camada do tokenizer pode ser tão impactante quanto o ajuste fino dos pesos para aplicações específicas de domínio.
huggingface