तेज SageMaker AI जॉब्स के लिए SOCI-इंडेक्सित इमेजेस की घोषणा
aws ·
AWS ने Amazon SageMaker AI ट्रेनिंग और प्रोसेसिंग जॉब्स के लिए सीकरबल ओसीआई (SOCI) इंडेक्सिंग की उपलब्धता की घोषणा की है, जिसका उद्देश्य कंटेनर इमेज डाउनलोड समय को काफी कम करना है। यह तकनीक लेजी लोडिंग सक्षम बनाती है, जिससे SageMaker तुरंत एक कंटेनर शुरू करने के लिए केवल आवश्यक फाइलें प्राप्त कर सकता है और बाकी डेटा बैकग्राउंड में स्ट्रीम करता रहता है। बेंचमार्क्स से पता चलता है कि इस दृष्टिकोण से इमेज खींचने के दौरान GPU आइडल टाइम में 90 प्रतिशत तक की कमी हो सकती है, जिससे स्टार्टअप अवधि कई मिनटों से घटकर कुछ ही सेकंड हो जाती है। यह सुधार इमेज के आकार के साथ स्केल होता है, जिससे कंप्रेस्ड इमेज के आयामों के आधार पर 8x से लेकर 35x से अधिक तक गति में सुधार मिलता है। उपयोगकर्द AWS डीप लर्निंग कंटेनर्स का उपयोग करके या अपने स्वयं के कस्टम इमेज के लिए SOCI इंडेक्स बनाकर इस सुविधा को अपना सकते हैं, जो Amazon ECR प्राइवेट रिपॉजिटरीज़ में संग्रहीत होते हैं। महत्वपूर्ण बात यह है कि जॉब परिभाषाओं, एंट्री पॉइंट्स या डेटा चैनल्स में कोई बदलाव की आवश्यकता नहीं होती है, और यदि इंडेक्सिंग विफल हो जाती है तो सिस्टम स्वचालित रूप से मानक डाउनलोड पर वापस आ जाता है। हालांकि पहली एपॉक के बाद ट्रेनिंग प्रदर्शन पर कोई असर नहीं पड़ता है, लेकिन शुरुआती प्रतीक्षा अवधि में कमी के कारण कुल जॉब पूरा होने का समय कम हो जाता है।
aws