Tokenizers v1:编码、解码与扩展性实测
huggingface ·
Hugging Face 发布了 tokenizers v1 的候选版本,旨在解决模型扩展时机器学习工作流中的性能瓶颈。新版本通过 Bitcannon 库用 SIMD 驱动的位流操作取代基于正则表达式的分词方式,使编码速度比 v0.23 快三到三十倍。关键优化包括一个线程局部单词缓存,用于记忆化重复的前缀标记(pre-tokens),以及重写合并循环以使用临时缓冲区消除内存分配。这些改进确保 GPU 无需等待 CPU 进行分词即可保持活跃状态,显著提升了大规模数据集和并发请求的处理吞吐量。该更新与先前版本在 API 和输出方面完全兼容,同时支持 BPE、WordPiece 和 Unigram 等多种分词器家族。在 Apple M4 Max 硬件上进行的基准测试显示,八个工作线程实现了线性扩展,验证了原生并行性的有效性。未来计划包括扩展对更多模型家族的支持,并在后续版本中探索 GPU 加速的编码功能。
huggingface