अमेज़न बेड्रॉक प्रॉम्प्ट कैशिंग के साथ लागत और लेटेंसी को अनुकूलित करना
aws ·
अमेज़न बेड्रॉक का प्रॉम्प्ट कैशिंग फीचर आंशिक रूप से प्रोसेस किए गए इनपुट के स्नैपशॉट को पुनः उपयोग के लिए संग्रहीत करके लेटेंसी और इनपुट टोकन लागत दोनों में उल्लेखनीय कमी लाता है। जब उपयोगकर्ता फाउंडेशन मॉडल्स को बार-बार एक ही संदर्भ, जैसे सिस्टम प्रॉम्प्ट या लंबे दस्तावेज, भेजते हैं, तो यह इंफ्रास्ट्रक्चर-लेवल समाधान कैश हिट पर लागत को 90 प्रतिशत तक कम कर सकता है। यह तंत्र अनुरोधों में 'cachePoint' मार्कर रखकर काम करता है; यदि बाद के अनुरोध कैश किए गए प्राफिक्स से मेल खाते हैं, तो मॉडल अनावश्यक गणना से बच जाता है। मुख्य संचालन कारकों में AWS खाते के अनुसार कैश स्कोप, मॉडल के आधार पर बदलने वाले न्यूनतम टोकन थ्रेशोल्ड और कॉन्फ़िगर करने योग्य समय-सीमा (TTL) शामिल हैं। मूल्य निर्धारण संरचना में कैश राइट्स के लिए विशिष्ट श्रेणियाँ पेश की गई हैं, जो मानक इनपुट से अधिक महंगी हैं, और कैश रीड्स, जिन पर भारी छूट दी गई है। लेख Converse API का उपयोग करके छह व्यावहारिक कार्यान्वयन परिदृश्यों का विवरण देता है, जो बुनियादी संदेश सामग्री कैशिंग से लेकर उन्नत बहु-tenant अलगाव तक फैले हुए हैं। ये उदाहरण दिखाते हैं कि डेवलपर कैसे प्रॉम्प्ट गुणवत्ता में कोई समझौता किए बिना Retrieval Augmented Generation एप्लिकेशन और एजेंटिक वर्कफ़्लो को अनुकूलित कर सकते हैं। इन पैटर्न का लाभ उठाकर, संगठन उच्च-प्रदर्शन वाली इन्फरेंस गति बनाए रखते हुए उल्लेखनीय बचत प्राप्त कर सकते हैं।
aws