Entscheidungsmodelle mit llama.cpp auf Amazon SageMaker AI bereitstellen
aws ·
Dieser AWS-Blogbeitrag beschreibt, wie Entscheidungsmodelle mit llama.cpp auf Amazon SageMaker AI bereitgestellt werden können, und bietet einen verwalteten Weg zum Serving quantisierter Modelle auf CPU- oder GPU-Infrastruktur. Es werden zwei Bereitstellungspfade skizziert: eine Standardroute zur Textgenerierung über OpenAI-kompatible Chat-Vervollständigungen und eine strukturierte Entscheidungsroute unter Verwendung des SemIf-Adapters, der Wahrscheinlichkeiten für feste Optionen zurückgibt. Der Artikel erläutert, dass das Standard-DLC generierte Antworten liefert, während die SemIf-Erweiterung ein Child-Image erstellt, um auf Logits der letzten Position zuzugreifen, ohne Antworttokens zu decodieren. Benchmarks, die Qwen3.5-4B-Modelle vergleichen, zeigen, dass GPU-Endpunkte deutlich schneller sind als CPU-basierte, wobei die Genauigkeit in beiden Konfigurationen ähnlich bleibt. Die Autoren geben schrittweise Anleitungen zum Verpacken von GGUF-Modellen, zum Bereitstellen von Endpunkten über CodeBuild und zum Aufrufen dieser mit spezifischen JSON-Schemas für Entscheidungen. Sie empfehlen, CPUs für Workloads mit niedriger Durchsatzkapazität und GPUs für interaktive Anwendungen zu nutzen, die strenge Anforderungen an die Tail-Latenz stellen. Abschließend betont der Beitrag die Notwendigkeit, anwendungsebene Schwellenwerte und Fallbacks beizubehalten, anstatt sich ausschließlich auf die Modellausgaben für operative Zuverlässigkeit zu verlassen.
aws