NarrateAI: готовая к производству проверка качества LLM на Amazon Bedrock
aws ·
В статье описывается NarrateAI — готовая к промышленной эксплуатации система обеспечения качества для больших языковых моделей, разработанная на базе Amazon Bedrock для поддержки руководителей AWS в принятии решений на основе данных. Архитектура использует пять согласованных методов для обеспечения высокой точности и низкой задержки во время взаимодействия в реальном времени. Адаптная оркестровка конвейера направляет запросы либо по быстрому однопроходному пути, либо по сложному многоэтапному пути в зависимости от объема данных, что снижает количество вызовов LLM на 72 процента. Многомодельное переключение между учетными записями (Cross-Account Multi-Model Failover) расширяет возможности вывода за счет использования независимых квот нескольких моделей и учетных записей AWS, эффективно устраняя видимые для пользователей ограничения пропускной способности при пиковой нагрузке. Оценка потокового режима в реальном времени проверяет каждый абзац по мере его генерации с использованием паттерна производитель-потребитель, сокращая воспринимаемую задержку оценки на 86,8 процента по сравнению с последовательными методами. Композитная система оценки выполняет параллельные проверки объективности языка, форматирования и числовой точности, выявляя сопутствующие ошибки, которые могли бы остаться незамеченными одиночными оценщиками. Наконец, проверка точности данных использует двухуровневую каскадную схему точного сопоставления и семантического анализа для предотвращения численных галлюцинаций при сохранении вычислительной эффективности. Совместно эти компоненты обеспечивают примерно 99-процентную числовую точность при отправке ответов потоком в течение нескольких секунд.
aws