Apresentação da inferência baseada na Índia para Kimi K3 no Amazon Bedrock
aws ·
O Amazon Bedrock introduziu inferência baseada na Índia para o modelo de fundação multimodal Kimi K3, permitindo que os clientes processem dados dentro das regiões indianas para atender a rigorosos requisitos de residência de dados. Essa nova capacidade suporta perfis de inferência entre regiões, roteando solicitações para Mumbai e Hyderabad da AWS, mantendo os dados criptografados na rede privada. Adotantes iniciais, como a Ultrahuman, relatam benefícios significativos, incluindo uma redução de 80% nos custos de LLM por meio do cache de prompts e conversas multironda mais rápidas. O artigo oferece um guia técnico para usar o Kimi K3 na realização de reconhecimento óptico de caracteres (OCR) em documentos em idiomas indianos, como contas de energia em hindi e formulários KYC. Os desenvolvedores podem utilizar APIs compatíveis com OpenAI para extrair dados JSON estruturados e responder a perguntas de acompanhamento em hinguês, sem necessidade de serviços de tradução separados. O guia também detalha estratégias de otimização, incluindo a seleção de nível de serviço para gerenciamento de custos ou latência e técnicas explícitas de cache de prompts. Por fim, são apresentadas opções de monitoramento por meio de métricas do CloudWatch e recomendadas etapas de revisão humana para fluxos de trabalho críticos de extração automatizada.
aws