Introduction à l'inférence basée en Inde pour Kimi K3 sur Amazon Bedrock
aws ·
Amazon Bedrock a introduit l'inférence basée en Inde pour le modèle fondamental multimodal Kimi K3, permettant aux clients de traiter les données dans des régions indiennes afin de répondre à des exigences strictes de résidence des données. Cette nouvelle fonctionnalité prend en charge des profils d'inférence inter-régions qui acheminent les requêtes vers AWS Mumbai et Hyderabad tout en conservant les données chiffrées sur le réseau privé. Les premiers utilisateurs, comme Ultrahuman, signalent des avantages significatifs, notamment une réduction de 80 % des coûts des LLM grâce à la mise en cache des invites et des conversations multi-tours plus rapides. L'article propose un guide technique pour utiliser Kimi K3 afin d'effectuer la reconnaissance optique de caractères (OCR) sur des documents en langues indiennes, tels que des factures d'électricité en hindi et des formulaires KYC. Les développeurs peuvent utiliser des API compatibles avec OpenAI pour extraire des données JSON structurées et répondre aux questions de suivi en hinglish sans avoir besoin de services de traduction séparés. Le guide détaille également des stratégies d'optimisation, y compris la sélection du niveau de service pour la gestion des coûts ou de la latence, ainsi que des techniques explicites de mise en cache des invites. Enfin, il présente les options de surveillance via les métriques CloudWatch et recommande de mettre en place des étapes de révision humaine pour les flux de travail d'extraction automatisée critiques.
aws