Представляем индийскую инфраструктуру вывода для Kimi K3 в Amazon Bedrock
aws ·
Amazon Bedrock представил индийскую инфраструктуру для вывода моделей (inference) для мультимодальной базовой модели Kimi K3, что позволяет клиентам обрабатывать данные в регионах Индии для соблюдения строгих требований к резидентности данных. Эта новая функция поддерживает профили межрегионального вывода, маршрутизирующие запросы в AWS Mumbai и Hyderabad, при этом данные остаются зашифрованными в частной сети. Ранние пользователи, такие как Ultrahuman, отмечают значительные преимущества, включая снижение затрат на LLM на 80% благодаря кешированию промптов и ускорению многоэтапных диалогов. В статье приводится техническое руководство по использованию Kimi K3 для оптического распознавания символов (OCR) документов на языках Индии, таких как счета за электроэнергию на хинди и формы KYC. Разработчики могут использовать API, совместимые с OpenAI, для извлечения структурированных данных в формате JSON и ответов на дополнительные вопросы на хинглишском языке без необходимости использования отдельных сервисов перевода. В руководстве также описаны стратегии оптимизации, включая выбор уровня сервиса для управления затратами или задержками и явные методы кеширования промптов. Наконец, outlined варианты мониторинга через метрики CloudWatch и рекомендуется внедрять этапы проверки человеком для критически важных рабочих процессов автоматического извлечения данных.
aws