Distribuisci modelli decisionali con llama.cpp su Amazon SageMaker AI
aws ·
Questo post del blog AWS illustra come distribuire modelli decisionali utilizzando llama.cpp su Amazon SageMaker AI, offrendo un percorso gestito per servire modelli quantizzati su infrastrutture CPU o GPU. Vengono delineate due opzioni di distribuzione: un percorso standard per la generazione di testo tramite chat completions compatibili con OpenAI e un percorso decisionale strutturato che utilizza l'adattatore SemIf per restituire probabilità su opzioni fisse. L'articolo spiega che mentre il DLC standard serve le risposte generate, l'estensione SemIf crea un'immagine figlia per accedere ai logit di posizione finale senza decodificare i token della risposta. I benchmark sui modelli Qwen3.5-4B mostrano che gli endpoint GPU sono significativamente più veloci rispetto a quelli CPU, sebbene l'accuratezza rimanga simile in entrambe le configurazioni. Gli autori forniscono istruzioni passo-passo per impacchettare i modelli GGUF, distribuire gli endpoint tramite CodeBuild e invocarli con schemi JSON specifici per le decisioni. Si consiglia di utilizzare la CPU per carichi di lavoro a bassa intensità e la GPU per applicazioni interattive che richiedono obiettivi rigorosi di latenza alla coda. Infine, il post sottolinea l'importanza di mantenere soglie e meccanismi di fallback a livello di applicazione piuttosto che fare affidamento esclusivamente sull'output del modello per la fiducia operativa.
aws