Il tuo modello gira su AWS Trainium? Cercalo qui
huggingface ·
Hugging Face ha lanciato un nuovo Space per aiutare gli utenti a verificare se i loro modelli sono compatibili con AWS Trainium tramite il backend TorchNeuron. Questo strumento consente di cercare modelli popolari per nome o di esplorare le classifiche dei più scaricati e in tendenza per verificarne lo stato di compatibilità. L'interfaccia mostra metriche chiave come il numero di core Trainium utilizzati, il tempo di compilazione e l'utilizzo massimo della memoria per ogni modello testato. Gli utenti possono inoltre accedere agli script Python specifici necessari per eseguire questi modelli autonomamente su istanze Trainium2. Il processo di test prevede il caricamento dei modelli con parallelismo tensoriale o expert e la verifica dell'accuratezza degli output rispetto alle esecuzioni su CPU o tramite controlli di fluidità. Attualmente, il database si concentra sui modelli di generazione di testo e image-text-to-text che rientrano entro quattro dispositivi Trainium2. Tutti i risultati dei test sono archiviati in un dataset pubblico, consentendo agli sviluppatori di interrogare direttamente i dati di compatibilità tramite codice.
huggingface