Runway AI वीडियो निर्माण को वास्तविक समय में नियंत्रित किए जा सकने वाले लाइव स्ट्रीम में बदलना चाहता है
decoder ·
रनवे वास्तविक समय में वीडियो जनरेशन पर शोध कर रही है, जिसमें उपयोगकर्ता किसी दृश्य का वर्णन करते हैं और तैयार क्लिप का इंतज़ार करने के बजाय स्ट्रीम किए जा रहे वीडियो को नियंत्रित करते हैं। इसका तरीका पहले से जनरेट किए गए सभी फ्रेमों के आधार पर हर नया सेगमेंट तैयार करता है और पहले फ्रेम तक पहुँचने में लगने वाले समय, संशोधन में होने वाली देरी तथा GPU लागत को कम करने का लक्ष्य रखता है। रनवे का कहना है कि एक प्रमुख चुनौती त्रुटियों का जमा होना है, इसलिए वह मॉडलों को उनके अपने अपूर्ण आउटपुट पर प्रशिक्षित करती है, ताकि वे विचलनों को ठीक करना सीख सकें। कंपनी को शिक्षा, गेमिंग, रोबोटिक्स और स्वायत्त-वाहन परीक्षण में इसके उपयोग दिखाई देते हैं, जहाँ जनरेट किए गए वातावरणों को तुरंत प्रतिक्रिया देनी होती है। यह काम रनवे के GWM-1, Runway Characters, Solaris, GWM Robotics और Nvidia के साथ उसके सहयोग से जुड़ा है, जिसका लक्ष्य Vera Rubin हार्डवेयर पर 100 मिलीसेकंड से कम समय में पहला फ्रेम तैयार करना है। रनवे ने यह घोषणा नहीं की है कि उसका वास्तविक समय वाला सिस्टम कब उपलब्ध होगा। संबंधित प्रयासों में Decart का MirageLSD, Google DeepMind का Genie 3 और Waymo का सड़क-केंद्रित वर्ल्ड मॉडल शामिल हैं।
decoder