Wie die Spezialisierung des Wortschatzes von SLMs die Inferenzkosten um 77 % senken kann
huggingface ·
Forscher von Dharma-AI haben VocabX entwickelt, eine Methode zur Spezialisierung des Vokabulars kleiner Sprachmodelle, um die Inferenzkosten erheblich zu senken. Indem der Fokus auf den Kosten jedes Tokens statt nur auf dessen Häufigkeit liegt, adressiert dieser Ansatz zwei Hauptineffizienzen: die Fragmentierung wiederholter Texte und den Rechenverschleiß durch das Scoring nicht genutzter Vokabeleinträge. In einem produktiven Essay-Bewertungssystem, das auf Qwen3-4B basiert, reduzierte diese Spezialisierung die gemessenen Inferenzkosten um 77 %, ohne das Basismodell oder die Trainingsdaten zu verändern. Das System unterscheidet zwischen Eingabe- und Ausgabetokens, da das Generieren von Antworten aufgrund von Speicherbandbreitenbeschränkungen erheblich teurer ist als das Lesen von Prompts. VocabX arbeitet sowohl auf Sub-Wort- als auch auf Multi-Wort-Ebene und erstellt Makro-Tokens für wiederkehrende Strukturen wie JSON-Umhüllungen, während es eine kleinere, domänenspezifische Vokabelgröße beibehält. Diese Strategie verkürzte die durchschnittliche Antwortlänge von 350 auf 101 Tokens und verbesserte die Bewertungsgenauigkeit von 0,703 auf 0,810. Vergleichstests in fünf öffentlichen Domänen zeigten, dass VocabX bei der Token-Komprimierung und den geschätzten Kosteneinsparungen bestehende Methoden übertrifft. Die Ergebnisse deuten darauf hin, dass die Optimierung der Tokenizer-Schicht für domänenspezifische Anwendungen genauso wirkungsvoll sein kann wie das Feintunen der Gewichte.
huggingface