Come specializzare il vocabolario dei SLM può ridurre i costi di inferenza del 77%
huggingface ·
I ricercatori di Dharma-AI hanno sviluppato VocabX, un metodo che specializza il vocabolario dei piccoli modelli linguistici per ridurre significativamente i costi di inferenza. Concentrandosi sul costo di ogni token piuttosto che sulla sua sola frequenza, l'approccio affronta due principali inefficienze: la frammentazione del testo ripetuto e lo spreco computazionale derivante dal calcolo dei punteggi per le voci del vocabolario non utilizzate. In un sistema di valutazione di saggi in produzione basato su Qwen3-4B, questa specializzazione ha ridotto i costi misurati di inferenza del 77% senza alterare il modello base o i dati di addestramento. Il sistema distingue tra token di input e output, riconoscendo che la generazione delle risposte è sostanzialmente più costosa della lettura dei prompt a causa delle limitazioni della banda di memoria. VocabX opera sia a livello di sotto-parole che di parole multiple, creando macro-token per strutture ricorrenti come gli involucri JSON, mantenendo al contempo una dimensione del vocabolario più piccola e specifica per il dominio. Questa strategia ha ridotto la lunghezza media della risposta da 350 a 101 token e migliorato i punteggi di accuratezza nella valutazione da 0,703 a 0,810. Test comparativi condotti su cinque domini pubblici hanno dimostrato che VocabX supera i metodi esistenti nella compressione dei token e nel risparmio stimato sui costi. I risultati suggeriscono che l'ottimizzazione dello strato del tokenizer può essere altrettanto impattante quanto il fine-tuning dei pesi per applicazioni specifiche di un dominio.
huggingface