Seu modelo roda no AWS Trainium? Consulte aqui
huggingface ·
A Hugging Face lançou um novo Space para ajudar os usuários a verificar se seus modelos são compatíveis com o AWS Trainium usando o backend TorchNeuron. A ferramenta permite pesquisar modelos populares por nome ou navegar pelas listas de tendências e mais baixados para consultar o status de compatibilidade. A interface exibe métricas-chave, como o número de núcleos Trainium utilizados, o tempo de compilação e o uso de memória pico para cada modelo testado. Os usuários também podem acessar os scripts Python específicos necessários para executar esses modelos em instâncias Trainium2. O processo de teste envolve carregar os modelos com paralelismo de tensores ou de especialistas e verificar a precisão da saída em comparação com execuções em CPU ou testes de fluência. Atualmente, o banco de dados concentra-se em modelos de geração de texto e de imagem-para-texto que se encaixam em quatro dispositivos Trainium2. Todos os resultados dos testes são armazenados em um conjunto de dados público, permitindo que desenvolvedores consultem os dados de compatibilidade diretamente por meio de código.
huggingface