Introduzione all'inferenza basata in India per Kimi K3 su Amazon Bedrock
aws ·
Amazon Bedrock ha introdotto l'inferenza basata in India per il modello foundation multimodale Kimi K3, consentendo ai clienti di elaborare i dati all'interno delle regioni indiane per soddisfare rigorosi requisiti di residenza dei dati. Questa nuova funzionalità supporta profili di inferenza cross-regione che instradano le richieste verso AWS Mumbai e Hyderabad mantenendo i dati crittografati sulla rete privata. I primi utilizzatori, come Ultrahuman, riportano benefici significativi, tra cui una riduzione dell'80% dei costi LLM grazie alla cache dei prompt e conversazioni multi-turno più veloci. L'articolo fornisce una guida tecnica per utilizzare Kimi K3 nell'esecuzione del riconoscimento ottico dei caratteri (OCR) su documenti in lingue indiane, come bollette della luce in hindi e moduli KYC. Gli sviluppatori possono utilizzare API compatibili con OpenAI per estrarre dati JSON strutturati e rispondere a domande di follow-up in hinglish senza bisogno di servizi di traduzione separati. La guida dettaglia anche strategie di ottimizzazione, inclusa la selezione del livello di servizio per la gestione dei costi o della latenza, e tecniche esplicite di caching dei prompt. Infine, vengono delineate le opzioni di monitoraggio tramite metriche CloudWatch e si raccomanda di implementare passaggi di revisione umana per flussi di lavoro di estrazione automatizzata critici.
aws