अमेज़न सेजमेकर ट्रेनिंग सेशन एपीआई के साथ जीपीयू प्रबंधित किए बिना अपना खुद का ट्रेनिंग लूप लिखें
aws ·
अमेज़न सेजमेकर AI ने डेवलपर्स को GPU इंफ्रास्ट्रक्चर के प्रबंधन के बिना कस्टम ट्रेनिंग लूप लिखने की सुविधा देने के लिए ट्रेनिंग सेशन APIs पेश किए हैं। यह सेवा कंप्यूट संसाधनों को अमूर्त (abstract) करता है, जिससे उपयोगकर्ता कस्टम लॉस फंक्शन्स या रीइन्फोर्समेंट लर्निंग रिवार्ड सिग्नल्स जैसे एल्गोरिदमिक विवरणों पर नियंत्रण रख सकते हैं, जबकि सेजमेकर डिस्ट्रीब्यूटेड एक्जीक्यूशन और फॉल्ट रिकवरी का प्रबंधन करता है। प्रोग्रामिंग मॉडल तीन SDK क्लाइंट्स पर निर्भर करता है: सेटअप के लिए ServiceClient, forward_backward और optim_step जैसी ऑपरेशन्स के लिए TrainingClient, और जनरेशन के लिए SamplingClient। बिलिंग घंटे-प्रति GPU उपयोग के बजाय प्रोसेस्ड टोकन के आधार पर होती है, जो भारी लोकल कंप्यूटेशन वाले वर्कलोड के लिए लागत कम करती है। लेख GSM8K गणितीय बेंचमार्क पर एक न्यूनतम GRPO लूप और कॉम्पिटिटिव प्रोग्रामिंग के लिए एक अधिक जटिल कोड RL रेसिपी के माध्यम से इस दृष्टिकोण को दर्शाता है। ये उदाहरण दिखाते हैं कि शोधकर्ता मैनेज्ड एक्सेलेरेटर का लाभ उठाते हुए नई तकनीकों पर तेजी से इटरेट कैसे कर सकते हैं। रिलीज में सुपरवाइज्ड फाइन-ट्यूनिंग और विभिन्न रीइन्फोर्समेंट लर्निंग विधियों के लिए तैयार-चलाए जाने योग्य रेसिपी वाला कुकबुक भी शामिल है।
aws