Podando LLMs como um físico: Remoção de blocos como um problema de otimização de Ising
huggingface ·
Pesquisadores da Multiverse Computing desenvolveram um método inovador para podar Grandes Modelos de Linguagem (LLMs) tratando a remoção de blocos como um problema de otimização Ising. Em vez de avaliar os blocos do transformer independentemente, essa abordagem modela o processo de seleção como uma tarefa de otimização binária restrita que leva em conta as interações entre os blocos. Ao mapear essas interações para a paisagem de energia de um sistema de spins, a equipe pode identificar eficientemente configurações de baixa energia que correspondem a modelos podados com alto desempenho. Essa técnica evita a necessidade de benchmarking dispendioso durante a fase de busca, confiando em vez disso em um único cálculo de Hessiano para avaliar milhões de configurações candidatas. O método demonstra ganhos significativos de desempenho, particularmente em cenários de compressão profunda, como alcançar uma vantagem de 23 pontos no MMLU sobre as linhas de base ao remover metade dos blocos do Llama-3.3-70B. É importante notar que os melhores resultados muitas vezes vêm de estados excitados em vez do estado fundamental absoluto, permitindo uma seleção de modelo mais robusta. O framework também se mostrou eficaz na generalização para arquiteturas heterogêneas, incluindo modelos híbridos com camadas mistas de atenção e MoE (Mixture of Experts). Essa estratégia inspirada na física integra-se perfeitamente a outras técnicas de compressão, como quantização e compressão de baixo posto.
huggingface