LLMs wie ein Physiker beschneiden: Blockentfernung als Ising-Optimierungsproblem
huggingface ·
Forscher von Multiverse Computing haben eine neuartige Methode zur Pruning von Large Language Models entwickelt, bei der die Entfernung von Blöcken als Ising-Optimierungsproblem behandelt wird. Anstatt Transformer-Blöcke unabhängig zu bewerten, modelliert dieser Ansatz den Auswahlprozess als binäre Optimierungsaufgabe mit Nebenbedingungen, die Interaktionen zwischen den Blöcken berücksichtigt. Durch die Abbildung dieser Interaktionen auf die Energielandschaft eines Spinsystems kann das Team effizient energiearme Konfigurationen identifizieren, die hochleistungsfähigen, prunierten Modelle entsprechen. Diese Technik verzichtet auf aufwendiges Benchmarking während der Suchphase und stützt sich stattdessen auf eine einmalige Hessian-Berechnung zur Bewertung von Millionen von Kandidatenkonfigurationen. Die Methode zeigt erhebliche Leistungsgewinne, insbesondere in Szenarien mit starker Kompression, wie beispielsweise einem um 23 Punkte höheren MMLU-Score gegenüber Baselines, wenn die Hälfte der Blöcke aus Llama-3.3-70B entfernt wird. Wichtig ist, dass die besten Ergebnisse oft aus angeregten Zuständen statt aus dem absoluten Grundzustand stammen, was eine robustere Modellauswahl ermöglicht. Der Rahmen verallgemeinert sich zudem effektiv auf heterogene Architekturen, einschließlich hybrider Modelle mit gemischten Aufmerksamkeits- und MoE-Schichten. Diese physikinspirierte Strategie lässt sich nahtlos mit anderen Kompressionstechniken wie Quantisierung und Niedrigrang-Kompression integrieren.
huggingface