Poda de LLMs como un físico: La eliminación de bloques como un problema de optimización de Ising
huggingface ·
Investigadores de Multiverse Computing han desarrollado un método novedoso para podar modelos de lenguaje grandes (LLM) al tratar la eliminación de bloques como un problema de optimización de Ising. En lugar de evaluar los bloques transformador de forma independiente, este enfoque modela el proceso de selección como una tarea de optimización binaria restringida que tiene en cuenta las interacciones entre bloques. Al mapear estas interacciones al paisaje energético de un sistema de espines, el equipo puede identificar eficientemente configuraciones de baja energía que corresponden a modelos podados de alto rendimiento. Esta técnica evita la necesidad de costosas evaluaciones durante la fase de búsqueda, basándose en cambio en un único cálculo de Hessiano para evaluar millones de configuraciones candidatas. El método demuestra ganancias significativas de rendimiento, particularmente en escenarios de compresión profunda, como lograr una ventaja de 23 puntos en MMLU sobre las líneas base al eliminar la mitad de los bloques de Llama-3.3-70B. Es importante destacar que los mejores resultados suelen provenir de estados excitados en lugar del estado fundamental absoluto, lo que permite una selección de modelos más robusta. El marco también se muestra capaz de generalizarse eficazmente a arquitecturas heterogéneas, incluidos modelos híbridos con capas de atención mixta y MoE. Esta estrategia inspirada en la física se integra perfectamente con otras técnicas de compresión, como la cuantización y la compresión de rango bajo.
huggingface