Despliega modelos de decisión con llama.cpp en Amazon SageMaker AI
aws ·
Este artículo de blog de AWS detalla cómo implementar modelos de decisión utilizando llama.cpp en Amazon SageMaker AI, ofreciendo una ruta gestionada para servir modelos cuantizados en infraestructura de CPU o GPU. Se describen dos rutas de implementación: una ruta estándar de generación de texto mediante completados de chat compatibles con OpenAI y una ruta de decisión estructurada que utiliza el adaptador SemIf para devolver probabilidades sobre opciones fijas. El artículo explica que, mientras que el contenedor de licencia distribuida (DLC) estándar sirve respuestas generadas, la extensión SemIf construye una imagen secundaria para acceder a los logits de posición final sin decodificar los tokens de respuesta. Los benchmarks comparando modelos Qwen3.5-4B muestran que los puntos finales de GPU son significativamente más rápidos que los de CPU, aunque la precisión se mantiene similar en ambas configuraciones. Los autores proporcionan instrucciones paso a paso para empaquetar modelos GGUF, implementar puntos finales mediante CodeBuild e invocarlos con esquemas JSON específicos para decisiones. Recomiendan usar CPU para cargas de trabajo de bajo rendimiento y GPU para aplicaciones interactivas que requieren objetivos estrictos de latencia en la cola. Finalmente, el artículo enfatiza mantener umbrales y mecanismos de respaldo a nivel de aplicación en lugar de depender únicamente de las salidas del modelo para la confianza operativa.
aws