Tokenizers v1: codificar, decodificar y escalar, medido
huggingface ·
Hugging Face ha lanzado una versión candidata de tokenizers v1, con el objetivo de resolver cuellos de botella de rendimiento en flujos de trabajo de aprendizaje automático a medida que escalan los modelos. La nueva versión logra velocidades de codificación entre tres y treinta veces más rápidas que la v0.23 al reemplazar la división basada en expresiones regulares por operaciones de flujo de bits potenciadas por SIMD mediante la biblioteca Bitcannon. Las optimizaciones clave incluyen un caché de palabras local al hilo que memoriza pre-tokens repetidos y una reescritura del bucle de fusión para eliminar asignaciones de memoria utilizando búferes temporales. Estos cambios garantizan que las GPUs permanezcan activas sin esperar la tokenización de la CPU, mejorando significativamente el rendimiento para conjuntos de datos grandes y solicitudes concurrentes. La actualización mantiene compatibilidad total con la API y las salidas de versiones anteriores, mientras admite múltiples familias de tokenizadores como BPE, WordPiece y Unigram. Los benchmarks realizados en hardware Apple M4 Max demuestran una escalabilidad lineal a través de ocho hilos de trabajo, validando la efectividad del paralelismo nativo. Los planes futuros implican expandir el soporte de familias de modelos y explorar la codificación acelerada por GPU en releases posteriores.
huggingface