Élaguer les LLM comme un physicien : La suppression de blocs comme problème d'optimisation d'Ising
huggingface ·
Les chercheurs de Multiverse Computing ont développé une nouvelle méthode pour élaguer les grands modèles de langage (LLM) en traitant la suppression des blocs comme un problème d'optimisation d'Ising. Au lieu d'évaluer les blocs transformateurs indépendamment, cette approche modélise le processus de sélection comme une tâche d'optimisation binaire contrainte qui prend en compte les interactions entre les blocs. En mappant ces interactions sur le paysage énergétique d'un système de spins, l'équipe peut identifier efficacement des configurations à faible énergie correspondant à des modèles élagués performants. Cette technique évite la nécessité de benchmarks coûteux lors de la phase de recherche, s'appuyant plutôt sur un calcul unique de la matrice hessienne pour évaluer des millions de configurations candidates. La méthode démontre des gains de performance significatifs, en particulier dans des scénarios de compression profonde, tels qu'une avance de 23 points au MMLU par rapport aux références lorsque la moitié des blocs sont supprimés du Llama-3.3-70B. Il est important de noter que les meilleurs résultats proviennent souvent d'états excités plutôt que de l'état fondamental absolu, ce qui permet une sélection de modèle plus robuste. Le cadre est également montré comme généralisant efficacement à des architectures hétérogènes, y compris des modèles hybrides avec des couches d'attention mixtes et MoE. Cette stratégie inspirée de la physique s'intègre parfaitement à d'autres techniques de compression telles que la quantification et la compression de rang faible.
huggingface