像物理学家一样修剪大语言模型：将块移除作为伊辛优化问题
huggingface ·
Multiverse Computing 的研究人员开发了一种新颖的大语言模型剪枝方法，将块移除视为伊辛优化问题。该方法不再独立评估 Transformer 块，而是将选择过程建模为考虑块间相互作用的约束二进制优化任务。通过将这些相互作用映射到自旋系统的能量景观，团队能够高效地识别对应于高性能剪枝模型的低能配置。该技术避免了在搜索阶段进行昂贵的基准测试，转而依赖一次性的海森矩阵计算来评估数百万种候选配置。该方法展现出显著的性能提升，特别是在深度压缩场景中，例如从 Llama-3.3-70B 中移除一半的块时，相比基线方法在 MMLU 上取得了 23 分的优势。重要的是，最佳结果往往来自激发态而非绝对基态，从而允许更稳健的模型选择。该框架还被证明能有效推广到异构架构，包括具有混合注意力机制和 MoE（混合专家）层的混合模型。这种受物理学启发的策略可以无缝集成到其他压缩技术中，如量化和低秩压缩。
huggingface