अमेज़न बेड्रॉक पर किमी के३ के लिए भारत-आधारित इनफरेंस का परिचय
aws ·
अमेज़न बेड्रॉक ने किमी K3 मल्टी-मोडल फाउंडेशन मॉडल के लिए भारत-आधारित इनफरेंस पेश किया है, जिससे ग्राहक कड़े डेटा रेजिडेंसी आवश्यकताओं को पूरा करने के लिए भारतीय क्षेत्रों में डेटा प्रोसेस कर सकते हैं। यह नई क्षमता क्रॉस-रेजियन इनफरेंस प्रोफाइल का समर्थन करती है जो अनुरोधों को AWS मुंबई और हैदराबाद की ओर रूट करती है, जबकि डेटा निजी नेटवर्क पर एन्क्रिप्ट रहता है। अल्टरह्यूमन जैसे शुरुआती उपयोगकर्ताओं ने उल्लेखनीय लाभों की रिपोर्ट की है, जिसमें प्रॉम्प्ट कैशिंग के माध्यम से LLM लागत में 80% की कमी और तेज़ मल्टी-टर्न बातचीत शामिल है। लेख किमी K3 का उपयोग हिंदी बिजली बिलों और KYC फॉर्म जैसी इंडिक-भाषा दस्तावेज़ों पर ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) करने के लिए तकनीकी रूप से कैसे करें, इसका विवरण देता है। डेवलपर अतिरिक्त अनुवाद सेवाओं की आवश्यकता के बिना संरचित JSON डेटा निकालने और हिंगलिश में फॉलो-अप सवालों के जवाब देने के लिए OpenAI-कम्पैटिबल APIs का उपयोग कर सकते हैं। गाइड में लागत या लैटेंसी प्रबंधन के लिए सर्विस टियर चयन और स्पष्ट प्रॉम्प्ट कैशिंग तकनीकों सहित अनुकूलन रणनीतियों का भी विवरण दिया गया है। अंत में, क्लाउडवॉच मेट्रिक्स के माध्यम से निगरानी विकल्पों का उल्लेख किया गया है और महत्वपूर्ण स्वचालित डेटा निकालने वाली कार्यप्रणालियों के लिए मानवीय समीक्षा चरण लागू करने की सिफारिश की गई है।
aws