你的模型能在AWS Trainium上运行吗?在此查询
huggingface ·
Hugging Face 推出了一项新功能,帮助用户确认其模型是否可通过 TorchNeuron 后端在 AWS Trainium 上运行。该工具允许用户通过名称查找流行模型,或浏览热门和下载量列表以查看兼容性状态。界面展示了每个测试模型的关键指标,包括使用的 Trainium 核心数量、编译时间和峰值内存使用情况。用户还可以获取在 Trainium2 实例上自行运行这些模型所需的特定 Python 脚本。测试过程涉及加载具有张量并行或专家并行的模型,并通过与 CPU 运行结果对比或进行流畅性检查来验证输出准确性。目前,数据库主要涵盖适合在四个 Trainium2 设备上运行的文本生成和图像到文本模型。所有测试结果均存储在一个公开数据集中,使开发人员能够通过代码直接查询兼容性数据。
huggingface