¿Tu modelo funciona en AWS Trainium? Búscalo aquí
huggingface ·
Hugging Face ha lanzado un nuevo Space para ayudar a los usuarios a determinar si sus modelos funcionan con AWS Trainium mediante el backend TorchNeuron. Esta herramienta permite buscar modelos populares por nombre o explorar listas de tendencias y descargas para verificar su estado de compatibilidad. La interfaz muestra métricas clave, como el número de núcleos Trainium utilizados, el tiempo de compilación y el uso máximo de memoria para cada modelo probado. Los usuarios también pueden acceder a los scripts específicos en Python necesarios para ejecutar estos modelos ellos mismos en instancias Trainium2. El proceso de prueba implica cargar modelos con paralelismo tensorial o de expertos y verificar la precisión de las salidas frente a ejecuciones en CPU o pruebas de fluidez. Actualmente, la base de datos se centra en modelos de generación de texto e imagen-a-texto que caben dentro de cuatro dispositivos Trainium2. Todos los resultados de las pruebas se almacenan en un conjunto de datos público, lo que permite a los desarrolladores consultar los datos de compatibilidad directamente mediante código.
huggingface