एंट्रोपिक के मैसेज थ्रेड्स लंबी बातचीत में पहले टोकन तक का समय 35 प्रतिशत कम करते हैं
decoder ·
Anthropic ने अपने Claude प्लेटफ़ॉर्म पर लंबी बातचीत को अनुकूलित करने के लिए 'Message Threads' को एक सार्वजनिक बीटा फीचर के रूप में शुरू किया है। पहले, हर API अनुरोध में पूरी बातचीत का इतिहास फिर से भेजना पड़ता था, जो लंबी बातचीत के लिए असक्षम था। नया सिस्टम पिछले संदेश के बाद हुए बदलावों को ही ट्रांसमिट करता है, जिससे 500,000 से लेकर एक मिलियन टोकन तक के अनुरोधों के लिए पहला टोकन प्राप्त होने का समय 35 प्रतिशत कम हो गया है। यह सुधार कोडिंग एजेंट्स, कंप्यूटर-यूज़ एजेंट्स और उन वर्कफ़्लो के लिए विशेष रूप से लाभदायक है जो बड़ी मात्रा में दस्तावेज़ या छवियों को प्रोसेस करते हैं। हालांकि ट्रांसमिशन की दक्षता बढ़ती है, कुल टोकन उपयोग वही रहता है क्योंकि Claude अंदरूनी तौर पर पूरी बातचीत का इतिहास पढ़ता ही है। सुरक्षा सुनिश्चित करने के लिए, थ्रेड्स अनुरोधों के बीच मेमोरी में एन्क्रिप्टेड होते हैं और निष्क्रियता के पांच मिनट बाद स्वचालित रूप से समाप्त हो जाते हैं। यह फीचर Claude प्लेटफ़ॉर्म और AWS, माइक्रोसॉफ्ट फाउंड्री और गूगल क्लाउड सहित प्रमुख क्लाउड प्रदाताओं के माध्यम से उपलब्ध है।
decoder