Créer des agents à horizon long avec Grok 4.7 sur Amazon Bedrock
aws ·
Le modèle Grok 4.7 de SpaceXAI est désormais disponible sur Amazon Bedrock, offrant des capacités améliorées pour la création d'agents à long terme nécessitant un raisonnement soutenu et une auto-vérification. Le modèle dispose d'un paramètre d'effort de raisonnement configurable avec quatre niveaux, permettant aux développeurs d'équilibrer l'exhaustivité et les coûts en jetons. AWS a évalué le modèle à l'aide de trois tâches complexes impliquant le diagnostic de pannes, la planification de la maintenance et l'optimisation des migrations, toutes nécessitant une recherche plutôt qu'une simple consultation. Sur 72 exécutions, l'agent a atteint un taux de réussite de 93 %, avec une précision parfaite au niveau d'effort de raisonnement le plus élevé (xhigh). Bien que xhigh garantisse l'exactitude, le niveau d'effort faible a offert une efficacité significative en termes de coût en n'utilisant qu'un huitième du nombre de jetons de sortie tout en maintenant une grande fiabilité. L'article fournit des directives détaillées sur l'accès au modèle via des profils d'inférence inter-régions et la mise en œuvre de boucles d'agents robustes avec appel d'outils. Il expose également les meilleures pratiques pour surveiller les performances en production en suivant les jetons de sortie et les appels d'outils comme indicateurs du volume de raisonnement. Enfin, il recommande d'adapter l'effort de raisonnement à la complexité de la tâche et souligne l'importance de mesurer les performances sur des charges de travail personnalisées afin d'optimiser à la fois la qualité et le coût.
aws