Votre modèle fonctionne-t-il sur AWS Trainium ? Vérifiez-le ici
huggingface ·
Hugging Face a lancé un nouvel espace pour aider les utilisateurs à déterminer si leurs modèles fonctionnent sur AWS Trainium via le backend TorchNeuron. Cet outil permet de rechercher des modèles populaires par nom ou de parcourir les listes des tendances et des téléchargements pour vérifier leur compatibilité. L'interface affiche des métriques clés, telles que le nombre de cœurs Trainium utilisés, le temps de compilation et l'utilisation maximale de la mémoire pour chaque modèle testé. Les utilisateurs peuvent également accéder aux scripts Python spécifiques nécessaires pour exécuter ces modèles eux-mêmes sur des instances Trainium2. Le processus de test consiste à charger les modèles avec une parallélisation tensorielle ou experte et à vérifier la précision des sorties par rapport aux exécutions sur CPU ou à des vérifications de fluidité. Actuellement, la base de données se concentre sur les modèles de génération de texte et d'image-à-texte qui tiennent dans quatre dispositifs Trainium2. Tous les résultats des tests sont stockés dans un jeu de données public, permettant aux développeurs d'interroger directement les données de compatibilité via du code.
huggingface