NarrateAI: garantía de calidad para modelos de lenguaje en Amazon Bedrock
aws ·
Este artículo detalla NarrateAI, un sistema de aseguramiento de calidad listo para producción para modelos de lenguaje grandes (LLM) construido sobre Amazon Bedrock, diseñado para respaldar a los ejecutivos de AWS en la toma de decisiones basadas en datos. La arquitectura emplea cinco técnicas coordinadas para garantizar alta precisión y baja latencia durante las interacciones en tiempo real. La Orquestación Adaptativa de Pipelines dirige las consultas ya sea por una ruta rápida de pasada única o por una ruta compleja de múltiples lotes según el volumen de datos, reduciendo las invocaciones al LLM en un 72 %. El Failover Multi-Modelo entre Cuentas Expande la capacidad de inferencia utilizando cuotas independientes entre varios modelos y cuentas de AWS, eliminando efectivamente el throttling visible para los usuarios bajo carga pico. La Evaluación de Streaming en Tiempo Real valida cada párrafo mientras se genera mediante un patrón productor-consumidor, reduciendo la latencia percibida de evaluación en un 86,8 % en comparación con los métodos secuenciales. Un Marco de Evaluación Compuesta realiza verificaciones paralelas de lenguaje objetivo, formato y precisión numérica, detectando fallos concurrentes que evaluadores individuales podrían pasar por alto. Finalmente, la Verificación de Precisión de Datos utiliza una cascada de dos etapas que combina coincidencia exacta y análisis semántico para prevenir alucinaciones numéricas manteniendo la eficiencia computacional. Juntos, estos componentes ofrecen aproximadamente un 99 % de precisión numérica con respuestas transmitidas en cuestión de segundos.
aws