Contratos de Integração de Modelos Transformers
huggingface ·
A Hugging Face introduziu os Contratos de Integração de Modelos (MICs) para detectar regressões na biblioteca Transformers antes que elas alcancem o branch principal. Essa abordagem resolve o problema de que testes em larga escala com GPUs são muito lentos para serem executados em cada pull request, permitindo que bugs, como uma falha na atenção do T5, persistissem por meses. Os MICs utilizam 'fixtures', que são versões significativamente reduzidas de checkpoints reais de modelos, mantendo todos os tipos de camadas, mas exigindo muito menos poder computacional. Cada contrato inclui um caminho de uso, como geração de texto ou etapas de treinamento, e compara as saídas contra baselines revisadas por humanos para garantir a consistência. A equipe desenvolveu uma receita de quatro etapas para reduzir os modelos, preservando arquivos de pré-processamento e validando pesos por meio de inicialização aleatória ou overfitting direcionado. Uma ferramenta CLI assistida por LLM ajuda a rascunhar esses contratos, embora a revisão humana continue sendo essencial para aprovar as expectativas das baselines. Embora atualmente não bloqueiem no CI, esse sistema visa melhorar a confiabilidade ao capturar bugs sutis de arquitetura que as passagens forward padrão poderiam ignorar.
huggingface