PrismML spera che il suo piccolo LLM cambi il modo in cui tutti usiamo l’IA
techcrunch ·
PrismML scommette sul fatto che i modelli linguistici di grandi dimensioni capaci di ragionare non debbano necessariamente essere grandi. Fondata da ricercatori del Caltech e guidata dall’esperto di compressione Babak Hassibi, la startup ha rilasciato Bonsai 2 27B, che comprime il modello Qwen3.8 27B di Alibaba a 5,9 GB, riducendo di circa nove-dieci volte i requisiti di memoria. Il modello è abbastanza piccolo da poter funzionare su un PC e potenzialmente su uno smartphone di fascia alta. PrismML afferma che la sua tecnica dei pesi ternari riduce i pesi del modello ai valori +1, 0 o −1, mentre Bonsai 2 conserva il 98% delle prestazioni complessive di Qwen nei benchmark. L’azienda intende applicare il metodo a modelli con diverse centinaia di miliardi di parametri, e il consulente Ion Stoica afferma che l’IA sul dispositivo potrebbe essere più accessibile e privata, perché non avrebbe bisogno di inviare i dati al cloud. PrismML ha raccolto un round seed da 22,25 milioni di dollari e deve affrontare la concorrenza di altre aziende che sviluppano tecnologie di compressione per LLM.
techcrunch