NarrateAI: garantia de qualidade para modelos de linguagem no Amazon Bedrock
aws ·
Este artigo detalha o NarrateAI, um sistema de garantia de qualidade pronto para produção de Grandes Modelos de Linguagem (LLMs) construído sobre o Amazon Bedrock para apoiar executivos da AWS na tomada de decisões baseadas em dados. A arquitetura emprega cinco técnicas coordenadas para garantir alta precisão e baixa latência durante interações em tempo real. A Orquestração Adaptativa de Pipeline direciona consultas por meio de um caminho rápido de passagem única ou de um caminho complexo de múltiplos lotes com base no volume de dados, reduzindo as invocações do LLM em 72%. O Failover Multi-Modelo entre Contas Expandidas aumenta a capacidade de inferência ao utilizar cotas independentes em vários modelos e contas da AWS, eliminando efetivamente o throttling visível ao usuário sob carga máxima. A Avaliação de Streaming em Tempo Real valida cada parágrafo conforme é gerado usando um padrão produtor-consumidor, reduzindo a latência percebida da avaliação em 86,8% em comparação com métodos sequenciais. Um Framework de Avaliação Composta executa verificações paralelas para linguagem objetiva, formatação e precisão numérica, capturando falhas concomitantes que avaliadores individuais poderiam perder. Por fim, a Verificação de Precisão dos Dados utiliza uma cascata de duas etapas de correspondência exata e análise semântica para prevenir alucinações numéricas enquanto mantém a eficiência computacional. Juntos, esses componentes entregam aproximadamente 99% de precisão numérica com respostas sendo transmitidas em segundos.
aws