AI एजेंट्स के लिए ग्रौंडहॉग डे: अमेज़न बेड्रॉक पर ओपनएआई मॉडल का उपयोग करने के लिए प्रॉम्प्ट कैशिंग पैटर्न
aws ·
यह लेख समझाता है कि Amazon Bedrock पर प्रॉम्प्ट कैशिंग (prompt caching) AI एजेंट्स द्वारा अपनी पूरी बातचीत के इतिहास को बार-बार फिर से प्रोसेस करने की असरकारकता को कैसे दूर करता है, जिस समस्या की तुलना 'ग्रौंडहोग डे' से की गई है। सेवा प्रारंभिक सिस्टम निर्देशों और टूल परिभाषाओं को स्टोर करके, बाद के अनुरोधों को इस स्थिर संदर्भ का पुन: उपयोग करने की अनुमति देती है, जिससे लागत में काफी कमी आती है। गाइड दो प्राथमिक विधियों का विवरण देती है: इंप्लिसिट कैशिंग, जो बढ़ते हुए बातचीत के इतिहास को स्वचालित रूप से प्रबंधित करती है, और एक्सप्लिसिट कैशिंग, जो साझा सामग्री जैसे टूल्स और नीतियों के लिए पुन: उपयोग योग्य उपसर्ग (prefixes) परिभाषित करने के लिए ब्रेकपॉइंट्स का उपयोग करती है। सर्वोत्तम अभ्यास में प्रारंभिक प्रॉम्प्ट को स्थिर रखना, स्थिर तत्वों के लिए स्पष्ट मार्करों का उपयोग करना जबकि गतिशील चरणों के लिए अंतर्निहित प्रबंधन की अनुमति देना, और सबएजेंट्स या नई सत्रों को लॉन्च करने से पहले कैश को वार्म अप करना शामिल हैं। परीक्षण से पता चला कि इन तकनीकों से गैर-कैशे दृष्टिकोणों की तुलना में इनपुट लागत में 60 प्रतिशत से अधिक की कमी लाई जा सकती है। डेवलपर्स को सर्वोत्तम प्रदर्शन और लागत बचत सुनिश्चित करने के लिए CloudWatch मेट्रिक्स और उपयोग फ़ील्ड्स के माध्यम से कैश हिट्स और राइट्स की निगरानी करने की सलाह दी जाती है।
aws