Обрезка больших языковых моделей как у физика: Удаление блоков как задача оптимизации Изинга
huggingface ·
Исследователи из Multiverse Computing разработали новый метод прунинга больших языковых моделей (LLM), рассматривая удаление блоков как задачу оптимизации Изинга. Вместо независимой оценки трансформерных блоков этот подход моделирует процесс выбора как задачу бинарной оптимизации с ограничениями, учитывающую взаимодействия между блоками. Сопоставляя эти взаимодействия с энергетическим ландшафтом спиновой системы, команда может эффективно находить конфигурации с низкой энергией, соответствующие высокопроизводительным моделям после прунинга. Этот метод избавляет от необходимости дорогостоящего бенчмаркинга на этапе поиска, полагаясь вместо этого на однократный расчет гессиана для оценки миллионов кандидатных конфигураций. Метод демонстрирует значительное улучшение показателей, особенно в сценариях глубокой компрессии: например, при удалении половины блоков из Llama-3.3-70B достигается преимущество на 23 балла по MMLU по сравнению с базовыми моделями. Важно отметить, что лучшие результаты часто получаются из возбужденных состояний, а не из абсолютного основного состояния, что позволяет осуществлять более надежный выбор модели. Показано, что эта框架 также эффективно обобщается на гетерогенные архитектуры, включая гибридные модели со смешанными слоями внимания и MoE (mixture of experts). Эта стратегия, вдохновленная физикой, бесшовно интегрируется с другими методами компрессии, такими как квантование и низкоранговая компрессия.
huggingface