Tokenizers v1: codificar, decodificar e escalar, medido
huggingface ·
A Hugging Face lançou um candidato a versão para o tokenizers v1, com o objetivo de resolver gargalos de desempenho em fluxos de trabalho de aprendizado de máquina à medida que os modelos crescem. A nova versão alcança velocidades de codificação três a trinta vezes mais rápidas que a v0.23, substituindo a divisão baseada em expressões regulares por operações de fluxo de bits impulsionadas por SIMD por meio da biblioteca Bitcannon. As principais otimizações incluem um cache de palavras local ao thread que memoiza pré-tokens repetidos e uma reescrita do loop de fusão para eliminar alocações de memória usando buffers temporários. Essas mudanças garantem que as GPUs permaneçam ativas sem esperar pela tokenização na CPU, melhorando significativamente a taxa de transferência para grandes conjuntos de dados e solicitações concorrentes. A atualização mantém total compatibilidade de API e saída com as versões anteriores, enquanto suporta várias famílias de tokenizadores, como BPE, WordPiece e Unigram. Os benchmarks realizados no hardware Apple M4 Max demonstram escalonamento linear em oito threads de trabalho, validando a eficácia do paralelismo nativo. Os planos futuros envolvem expandir o suporte às famílias de modelos e explorar a codificação acelerada por GPU nas versões subsequentes.
huggingface