Neue Agenten-Funktion: Optimierte Generative-AI-Inferenz für Ihren Coding-Agenten auf Amazon SageMaker
aws ·
Amazon SageMaker AI hat eine neue Agent-Funktion namens aws-ai-ml eingeführt, die sich mit Coding-Agents wie Kiro und Claude Code integrieren lässt, um das generative KI-Inferenz zu optimieren. Dieses Tool ermöglicht es Entwicklern, bestehende Endpunkte zu benchmarken, die kostengünstigsten Instanztypen für die Bereitstellung zu identifizieren und Leistungsmetriken über verschiedene Konfigurationen hinweg zu vergleichen. Durch die Nutzung des Model Context Protocol (MCP) ermöglicht die Funktion Agents, ausführbaren SageMaker Python SDK v3-Code basierend auf natürlichen Sprachanfragen zu generieren. Nutzer können Modelle aus Amazon S3, SageMaker JumpStart oder dem Hugging Face Hub bewerten, ohne tiefgehende Infrastrukturkenntnisse zu benötigen. Das System liefert detaillierte quantitative Berichte zu Durchsatz, Latenz und Parallelität und gewährleistet so transparente und messbare Ergebnisse. Die Installation ist über das Agent Toolkit for AWS oder vorkonfigurierte JupyterLab-Umgebungen in Amazon SageMaker Studio vereinfacht. Diese Integration zielt darauf ab, die Lücke zwischen Entwicklungsabsicht und Produktionsinfrastruktur zu schließen, indem komplexe Optimierungsaufgaben automatisiert werden.
aws