Cómo Postman ejecuta el Modo Agente para 40 millones de desarrolladores en Amazon Bedrock
aws ·
Postman ha implementado con éxito el Modo Agente para sus 40 millones de desarrolladores utilizando Amazon Bedrock, abordando los complejos desafíos de ingeniería asociados a la integración de IA en un producto maduro. El equipo descubrió que gestionar la proliferación de herramientas era fundamental; para ello, implementaron una selección dinámica de herramientas que limita la visión del modelo únicamente a las herramientas relevantes, reduciendo así los errores asociados a conjuntos de herramientas grandes. Para mejorar la eficiencia, Postman pasó de crear numerosas herramientas de propósito único a proporcionar acceso de lectura basado en esquemas, lo que permite al agente consultar datos estructurados directamente mediante comandos similares a SQL. La gestión del contexto surgió como el principal cuello de botella, lo que llevó al desarrollo de manejadores de contexto diseñados específicamente para condensar la información de las entidades en lugar de serializar modelos de datos específicos de la interfaz. En cuanto a la infraestructura, Amazon Bedrock ofrece capacidades esenciales como flexibilidad de modelos dentro de la familia Claude, inferencia entre regiones para manejar picos de tráfico y almacenamiento en caché de prompts por niveles para optimizar la latencia y los costos. La seguridad empresarial se mantiene mediante perfiles de inferencia geográfica y configuraciones de retención cero de datos, garantizando el cumplimiento de estrictos requisitos de residencia de datos. Estos patrones arquitectónicos demuestran cómo los equipos pueden llevar agentes de producción más allá de los prototipos tratando el contexto y la exposición de herramientas como recursos escasos. En última instancia, la solución destaca la importancia de desacoplar las acciones del agente del estado de la interfaz de usuario (UI) y mantener una base de conocimientos robusta de Generación Aumentada por Recuperación.
aws