Tokenizers v1: Encode, Decode und Skalierung, gemessen
huggingface ·
Hugging Face hat eine Release-Kandidatenversion für Tokenizers v1 veröffentlicht, die darauf abzielt, Leistungsengpässe in Machine-Learning-Workflows zu beheben, wenn Modelle skalieren. Die neue Version erreicht dreißig bis dreißigmal schnellere Encoding-Geschwindigkeiten als v0.23, indem sie regex-basiertes Aufteilen durch SIMD-beschleunigte Bitstream-Operationen über die Bitcannon-Bibliothek ersetzt. Zu den wichtigsten Optimierungen gehören ein thread-lokaler Wort-Cache, der wiederholte Pre-Tokens memoisiert, und eine Neuschreibung der Merge-Schleife zur Eliminierung von Speicherzuweisungen mittels Scratch-Puffern. Diese Änderungen stellen sicher, dass GPUs aktiv bleiben, ohne auf die CPU-Tokenisierung warten zu müssen, was den Durchsatz für große Datensätze und gleichzeitige Anfragen erheblich verbessert. Das Update behält die vollständige API- und Ausgabe-Kompatibilität mit früheren Versionen bei und unterstützt mehrere Tokenizer-Familien wie BPE, WordPiece und Unigram. Benchmarks auf Apple M4 Max-Hardware demonstrieren eine lineare Skalierung über acht Worker-Threads und validieren damit die Wirksamkeit der nativen Parallelität. Zukünftige Pläne sehen die Erweiterung der Unterstützung für Modellfamilien sowie die Erkundung GPU-beschleunigten Encodings in nachfolgenden Releases vor.
huggingface