Potare i LLM come un fisico: la rimozione dei blocchi come problema di ottimizzazione di Ising
huggingface ·
I ricercatori di Multiverse Computing hanno sviluppato un metodo innovativo per la potatura dei modelli linguistici di grandi dimensioni (LLM), trattando la rimozione dei blocchi come un problema di ottimizzazione di Ising. Invece di valutare i blocchi transformer in modo indipendente, questo approccio modella il processo di selezione come un compito di ottimizzazione binaria vincolata che tiene conto delle interazioni tra i blocchi. Mappando queste interazioni sul paesaggio energetico di un sistema di spin, il team può identificare in modo efficiente le configurazioni a bassa energia che corrispondono a modelli potati ad alte prestazioni. Questa tecnica evita la necessità di costose valutazioni durante la fase di ricerca, affidandosi invece a un calcolo dell'elianoone una tantum per valutare milioni di configurazioni candidate. Il metodo dimostra guadagni significativi nelle prestazioni, in particolare negli scenari di compressione profonda, come ottenere un vantaggio di 23 punti su MMLU rispetto alle baseline quando si rimuove metà dei blocchi da Llama-3.3-70B. È importante notare che i risultati migliori provengono spesso dagli stati eccitati piuttosto che dallo stato fondamentale assoluto, consentendo una selezione del modello più robusta. Il framework si è inoltre dimostrato efficace nel generalizzare ad architetture eterogenee, inclusi modelli ibridi con strati di attenzione mista e MoE. Questa strategia ispirata alla fisica si integra perfettamente con altre tecniche di compressione come la quantizzazione e la compressione a basso rango.
huggingface