NarrateAI : assurance qualité pour les modèles de langage sur Amazon Bedrock
aws ·
Cet article présente NarrateAI, un système d'assurance qualité prêt pour la production conçu pour les grands modèles de langage (LLM) et construit sur Amazon Bedrock, afin d'aider les dirigeants d'AWS à prendre des décisions fondées sur les données. L'architecture repose sur cinq techniques coordonnées pour garantir une grande précision et une faible latence lors des interactions en temps réel. L'orchestration adaptative du pipeline dirige les requêtes vers soit un parcours unique rapide, soit un parcours multi-lots complexe en fonction du volume de données, réduisant ainsi les invocations du LLM de 72 %. La bascule entre modèles multi-comptes inter-organisations étend la capacité d'inférence en exploitant des quotas indépendants sur plusieurs modèles et comptes AWS, éliminant efficacement le ralentissement visible par l'utilisateur lors des pics de charge. L'évaluation en streaming en temps réel valide chaque paragraphe au fur et à mesure de sa génération grâce à un producteur-consommateur, réduisant la latence perçue de l'évaluation de 86,8 % par rapport aux méthodes séquentielles. Un cadre d'évaluation composite effectue des vérifications parallèles pour le langage objectif, la mise en forme et la précision numérique, détectant les échecs concomitants que pourraient manquer des évaluateurs uniques. Enfin, la vérification de l'exactitude des données utilise une cascade en deux étapes combinant la correspondance exacte et l'analyse sémantique pour prévenir les hallucinations numériques tout en maintenant l'efficacité computationnelle. Ensemble, ces composants offrent une précision numérique d'environ 99 %, avec des réponses diffusées en quelques secondes.
aws