Läuft Ihr Modell auf AWS Trainium? Suchen Sie es hier
huggingface ·
Hugging Face hat einen neuen Space eingeführt, der Nutzern hilft zu prüfen, ob ihre Modelle mit dem TorchNeuron-Backend auf AWS Trainium laufen. Mit diesem Tool können Nutzer beliebte Modelle nach Namen durchsuchen oder in den Listen für trendige und heruntergeladene Modelle stöbern, um den Kompatibilitätsstatus einzusehen. Die Schnittstelle zeigt wichtige Metriken wie die Anzahl der verwendeten Trainium-Cores, die Kompilierzeit und den maximalen Speicherverbrauch für jedes getestete Modell an. Nutzer können zudem auf die spezifischen Python-Skripte zugreifen, die erforderlich sind, um diese Modelle selbst auf Trainium2-Instanzen auszuführen. Der Testprozess umfasst das Laden von Modellen mit Tensor- oder Expert-Parallelismus sowie die Überprüfung der Ausgabeaccuracy im Vergleich zu CPU-Läufen oder Fluency-Checks. Derzeit konzentriert sich die Datenbank auf Textgenerierungsmodelle und Image-Text-to-Text-Modelle, die in vier Trainium2-Geräte passen. Alle Testergebnisse werden in einem öffentlichen Datensatz gespeichert, sodass Entwickler Kompatibilitätsdaten direkt über Code abfragen können.
huggingface