Создание долгосрочных агентов с помощью Grok 4.7 в Amazon Bedrock
aws ·
Модель Grok 4.7 от SpaceXAI теперь доступна на платформе Amazon Bedrock, предлагая расширенные возможности для создания агентов с длительным горизонтом планирования, которым требуется устойчивое рассуждение и самопроверка. Модель оснащена настраиваемым параметром уровня усилий на рассуждения с четырьмя вариантами, что позволяет разработчикам балансировать между тщательностью анализа и затратами на токены. AWS оценила модель с помощью трех сложных задач: диагностика неисправностей, планирование технического обслуживания и оптимизация миграции, для решения которых требовался поиск информации, а не простой запрос данных. В ходе 72 запусков агент достиг успеха в 93% случаев, при этом на максимальном уровне усилий (xhigh) точность была идеальной. Хотя уровень xhigh гарантировал правильность результатов, низкий уровень усилий обеспечил значительную экономию затрат, используя лишь одну восьмую часть выходных токенов при сохранении высокой надежности. В статье содержится подробное руководство по доступу к модели через профили инференса между регионами и реализации надежных циклов работы агентов с использованием вызова инструментов. Также описаны лучшие практики мониторинга производительности в продакшене путем отслеживания количества выходных токенов и вызовов инструментов как индикаторов объема рассуждений. Наконец, рекомендуется сопоставлять уровень усилий с сложностью задачи и подчеркивается важность оценки производительности на пользовательских рабочих нагрузках для оптимизации как качества, так и стоимости.
aws