Контракты интеграции моделей Transformers
huggingface ·
Hugging Face представила контракты интеграции моделей (MICs) для выявления регрессий в библиотеке Transformers до их попадания в основную ветку. Этот подход решает проблему, при которой масштабные тесты на GPU слишком медленны для запуска при каждом pull request, из-за чего такие ошибки, как дефект внимания в T5, могли сохраняться месяцами. MICs используют «фикстуры» — значительно уменьшенные версии реальных контрольных точек моделей, которые сохраняют все типы слоёв, но требуют гораздо меньше вычислительных ресурсов. Каждый контракт включает путь использования, например генерацию текста или шаги обучения, и сравнивает выходные данные с базовыми значениями, проверенными человеком, чтобы обеспечить согласованность. Команда разработала четырёхшаговый рецепт сжатия моделей, включающий сохранение файлов предварительной обработки и проверку весов через случайную инициализацию или целенаправленное переобучение. Инструмент CLI с поддержкой LLM помогает составлять эти контракты, хотя человеческий обзор остаётся необходимым для утверждения базовых ожиданий. Хотя в настоящее время система не блокирует CI, её цель — повысить надёжность за счёт выявления тонких архитектурных ошибок, которые могут оставаться незамеченными при стандартных прямых проходах.
huggingface