Comment spécialiser le vocabulaire des SLM peut réduire les coûts d'inférence de 77%
huggingface ·
Les chercheurs de Dharma-AI ont développé VocabX, une méthode qui spécialise le vocabulaire des petits modèles de langage afin de réduire considérablement les coûts d'inférence. En se concentrant sur le coût de chaque token plutôt que sur sa seule fréquence, cette approche corrige deux inefficacités majeures : la fragmentation du texte répété et le gaspillage computationnel lié au score des entrées de vocabulaire inutilisées. Sur un correcteur de dissertations en production basé sur Qwen3-4B, cette spécialisation a réduit les coûts d'inférence mesurés de 77 % sans modifier le modèle de base ni les données d'entraînement. Le système distingue les tokens d'entrée des tokens de sortie, reconnaissant que la génération de réponses est nettement plus coûteuse que la lecture des invites en raison des limitations de bande passante mémoire. VocabX fonctionne aux niveaux sous-mot et multi-mots, créant des macros-tokens pour les structures récurrentes telles que les enveloppes JSON tout en maintenant une taille de vocabulaire spécifique au domaine plus réduite. Cette stratégie a fait passer la longueur moyenne des réponses de 350 à 101 tokens et amélioré les scores de précision de notation de 0,703 à 0,810. Des tests comparatifs dans cinq domaines publics ont montré que VocabX surpassait les méthodes existantes en matière de compression des tokens et d'économies de coûts estimées. Ces résultats suggèrent que l'optimisation de la couche de tokenizer peut être aussi impactante que le réglage fin des poids pour les applications spécifiques à un domaine.
huggingface