ट्रांसफॉर्मर्स मॉडल इंटीग्रेशन कॉन्ट्रैक्ट्स
huggingface ·
Hugging Face ने Transformers लाइब्रेरी में रgression को मुख्य शाखा (main branch) पहुंचने से पहले पकड़ने के लिए मॉडल इंटीग्रेशन कॉन्ट्रैक्ट्स (MICs) का परिचय दिया है। यह दृष्टिकोण उस समस्या को संबोधित करता है जहां बड़े पैमाने पर GPU टेस्ट हर पुल रिक्वेस्ट पर चलाने के लिए बहुत धीमे होते हैं, जिससे T5 एटेंशन की कमजोरी जैसे बग महीनों तक बना रह सकते थे। MICs 'फिक्सचर्स' का उपयोग करते हैं, जो वास्तविक मॉडल चेकपॉइंट्स के काफी छोटे संस्करण हैं जो सभी लेयर प्रकारों को बनाए रखते हैं लेकिन कम कंप्यूटेशनल पावर की आवश्यकता होती है। प्रत्येक कॉन्ट्रैक्ट में एक उपयोग मार्ग शामिल होता है, जैसे कि टेक्स्ट जनरेशन या ट्रेनिंग स्टेप्स, और स्थिरता सुनिश्चित करने के लिए आउटपुट की तुलना मानव-समीक्षित बेलाइन से की जाती है। टीम ने मॉडल्स को सिकोड़ने के लिए एक चार-चरण वाली विधि विकसित की है, जिसमें प्रीप्रोसेसिंग फाइलों को बनाए रखा जाता है और यादृच्छिक इनिशियलाइजेशन या लक्षित ओवरफिटिंग के माध्यम से वेट्स की पुष्टि की जाती है। एक LLM-सहायक CLI टूल इन कॉन्ट्रैक्ट्स की ड्राफ्ट तैयार करने में मदद करता है, हालांकि बेलाइन अपेक्षाओं को अनुमोदित करने के लिए मानव समीक्षा आवश्यक रहती है। वर्तमान में यह CI में नॉन-ब्लॉकिंग है, लेकिन इस सिस्टम का उद्देश्य स्टैंडर्ड फॉरवर्ड पास द्वारा छूट सकते सूक्ष्म आर्किटेक्चरल बग को पकड़कर विश्वसनीयता में सुधार करना है।
huggingface