Déployer des modèles décisionnels avec llama.cpp sur Amazon SageMaker AI
aws ·
Cet article de blog AWS détaille comment déployer des modèles de décision en utilisant llama.cpp sur Amazon SageMaker AI, offrant une voie gérée pour servir des modèles quantifiés sur des infrastructures CPU ou GPU. Il présente deux voies de déploiement : une voie standard de génération de texte utilisant des complétions de chat compatibles OpenAI et une voie de décision structurée exploitant l'adaptateur SemIf pour renvoyer des probabilités sur des options fixes. L'article explique que tandis que le conteneur logiciel (DLC) standard sert les réponses générées, l'extension SemIf construit une image enfant pour accéder aux logits de position finale sans décoder les jetons de réponse. Des benchmarks comparant les modèles Qwen3.5-4B montrent que les points de terminaison GPU sont nettement plus rapides que ceux du CPU, bien que la précision reste similaire dans les deux configurations. Les auteurs fournissent des instructions étape par étape pour emballer les modèles GGUF, déployer des points de terminaison via CodeBuild et les invoquer avec des schémas JSON spécifiques pour les décisions. Ils recommandent d'utiliser le CPU pour les charges de travail à faible débit et le GPU pour les applications interactives nécessitant des objectifs stricts de latence de queue. Enfin, l'article souligne l'importance de maintenir des seuils et des solutions de repli au niveau de l'application plutôt que de s'appuyer uniquement sur les sorties du modèle pour gagner en confiance opérationnelle.
aws