PrismML को उम्मीद है कि उसका छोटा LLM हमारे AI इस्तेमाल करने का तरीका बदल देगा
techcrunch ·
PrismML का दांव है कि सक्षम तर्क करने वाले बड़े भाषा मॉडल का बड़ा होना जरूरी नहीं है। कैलटेक के शोधकर्ताओं द्वारा स्थापित और कंप्रेशन विशेषज्ञ Babak Hassibi के नेतृत्व वाले इस स्टार्टअप ने Bonsai 2 27B जारी किया है, जो Alibaba के Qwen3.8 27B मॉडल को 5.9 GB तक संपीड़ित करता है और इसकी मेमोरी आवश्यकता को लगभग नौ से दस गुना कम कर देता है। यह मॉडल इतना छोटा है कि PC पर और संभावित रूप से उच्च-स्तरीय स्मार्टफोन पर भी चल सकता है। PrismML का कहना है कि उसकी टर्नरी-वेट तकनीक मॉडल के वेट को +1, 0 या −1 के मानों तक सीमित कर देती है, जबकि Bonsai 2 ने Qwen के कुल बेंचमार्क प्रदर्शन का 98% बरकरार रखा है। कंपनी इस तरीके को कई सौ अरब पैरामीटर वाले मॉडलों पर लागू करने की योजना बना रही है। सलाहकार Ion Stoica का कहना है कि डिवाइस पर चलने वाली AI अधिक सुलभ और निजी हो सकती है, क्योंकि उसे डेटा क्लाउड पर भेजने की जरूरत नहीं होगी। PrismML ने 2.225 करोड़ डॉलर का सीड राउंड जुटाया है और उसे LLM कंप्रेशन तकनीक विकसित करने वाली अन्य कंपनियों से प्रतिस्पर्धा का सामना करना पड़ रहा है।
techcrunch