Contratos de Integración de Modelos Transformers
huggingface ·
Hugging Face ha introducido los Contratos de Integración de Modelos (MICs) para detectar regresiones en la biblioteca Transformers antes de que lleguen a la rama principal. Este enfoque aborda el problema de que las pruebas a gran escala con GPU son demasiado lentas para ejecutarse en cada solicitud de extracción, lo que permitía que errores como un defecto en la atención de T5 persistieran durante meses. Los MICs utilizan 'fixtures', versiones significativamente reducidas de puntos de control de modelos reales que conservan todos los tipos de capas pero requieren mucha menos potencia computacional. Cada contrato incluye una ruta de uso, como generación de texto o pasos de entrenamiento, y compara los resultados con líneas base revisadas por humanos para garantizar la coherencia. El equipo desarrolló una receta de cuatro pasos para reducir los modelos, preservando los archivos de preprocesamiento y validando los pesos mediante inicialización aleatoria o sobreajuste dirigido. Una herramienta de línea de comandas asistida por LLM ayuda a redactar estos contratos, aunque la revisión humana sigue siendo esencial para aprobar las expectativas de la línea base. Aunque actualmente no bloquea la integración continua (CI), este sistema tiene como objetivo mejorar la fiabilidad detectando errores arquitectónicos sutiles que los paseos hacia adelante estándar podrían pasar por alto.
huggingface