Cómo especializar el vocabulario de los SLM puede reducir el costo de inferencia en un 77%
huggingface ·
Investigadores de Dharma-AI han desarrollado VocabX, un método que especializa el vocabulario de los modelos de lenguaje pequeños (SLM) para reducir significativamente los costos de inferencia. Al centrarse en el costo de cada token en lugar de solo su frecuencia, el enfoque aborda dos ineficiencias principales: la fragmentación del texto repetido y el desperdicio computacional al evaluar entradas de vocabulario no utilizadas. En un corrector de ensayos en producción basado en Qwen3-4B, esta especialización redujo los costos medidos de inferencia en un 77 % sin alterar el modelo base ni los datos de entrenamiento. El sistema distingue entre tokens de entrada y de salida, reconociendo que generar respuestas es sustancialmente más costoso que leer las instrucciones debido a las limitaciones del ancho de banda de memoria. VocabX opera tanto a nivel de subpalabras como de palabras múltiples, creando macros tokens para estructuras recurrentes como envoltorios JSON, mientras mantiene un tamaño de vocabulario más pequeño y específico del dominio. Esta estrategia redujo la longitud promedio de la respuesta de 350 a 101 tokens y mejoró las puntuaciones de precisión en la calificación de 0,703 a 0,810. Las pruebas comparativas en cinco dominios públicos mostraron que VocabX supera a los métodos existentes en compresión de tokens y ahorro estimado de costos. Los hallazgos sugieren que optimizar la capa del tokenizador puede ser tan impactante como ajustar los pesos para aplicaciones específicas del dominio.
huggingface