Amazon SageMaker HyperPod पर बहुभाषी तर्क के लिए GPT-OSS-20B का फाइन-ट्यूनिंग
aws ·
यह लेख Amazon SageMaker HyperPod का उपयोग करके बहुभाषी तर्क के लिए GPT-OSS-20B मॉडल के फाइन-ट्यूनिंग की विस्तृत जानकारी देता है। बेस मॉडल शुरू में संघर्ष करता था और अंग्रेजी को प्राथमिकता देने के कारण गैर-अंग्रेजी भाषाओं में सही तर्क केवल 22% समय पर प्रदर्शित करता था। लेखकों ने दिखाया कि सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) गायब व्यवहारों को सिखाने के लिए आवश्यक है, जिससे तर्क-भाषा सटीकता बढ़कर 100% हो गई। SFT के बाद, ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) ने एक modest लेकिन मापने योग्य सुधार प्रदान किया, जिससे उत्तर-भाषा सही होने की दर 62% से बढ़कर 70% हो गई। Qwen2.5-7B के साथ किए गए एक नियंत्रण प्रयोग ने पुष्टि की कि GRPO केवल तभी मूल्य जोड़ता है जब सुधार के लिए मौजूद जगह (headroom) हो। यदि कोई मॉडल पहले ही शीर्ष सटीकता पर कार्य कर रहा है, तो GRPO कोई लाभ नहीं देता क्योंकि सीखने के संकेत ढह जाते हैं। अध्ययन से यह निष्कर्ष निकलता है कि आधारभूत क्षमताओं को स्थापित करने के लिए SFT का उपयोग किया जाना चाहिए, जबकि GRPO आंशिक रूप से सही व्यवहारों को परिष्कृत करने के लिए काम आता है। सभी ट्रेनिंग को Amazon EKS पर LoRA एडाप्टर्स और हाई-थ्रूपुट स्टोरेज के साथ किया गया।
aws