Contrats d'Intégration des Modèles Transformers
huggingface ·
Hugging Face a introduit les Contrats d'intégration de modèles (MIC) pour détecter les régressions dans la bibliothèque Transformers avant qu'elles n'atteignent la branche principale. Cette approche répond au problème selon lequel les tests à grande échelle sur GPU sont trop lents pour être exécutés à chaque demande de tirage (pull request), permettant ainsi à des bugs, tels qu'une faille dans l'attention T5, de persister pendant des mois. Les MIC utilisent des « fixtures », qui sont des versions considérablement réduites de points de contrôle de modèles réels, conservant tous les types de couches mais nécessitant beaucoup moins de puissance de calcul. Chaque contrat inclut un chemin d'utilisation, tel que la génération de texte ou des étapes d'entraînement, et compare les sorties à des références validées par des humains afin d'assurer la cohérence. L'équipe a élaboré une recette en quatre étapes pour réduire la taille des modèles, en préservant les fichiers de prétraitement et en validant les poids grâce à une initialisation aléatoire ou à un surapprentissage ciblé. Un outil en ligne de commande assisté par un grand modèle de langage (LLM) aide à rédiger ces contrats, bien que la révision humaine reste essentielle pour approuver les attentes des références. Bien que non bloquant dans le pipeline d'intégration continue (CI) pour l'instant, ce système vise à améliorer la fiabilité en détectant des bugs architecturaux subtils que les passages avant standard pourraient manquer.
huggingface