PrismML porta il suo LLM Bonsai a 1 bit sugli occhiali intelligenti AI alimentati da Qualcomm
aiinsider ·
PrismML, un laboratorio di intelligenza artificiale fondato da ricercatori del Caltech e con Ion Stoica dell'UC Berkeley come consulente, ha sviluppato una versione dei suoi modelli linguistici ridotti progettata per funzionare su occhiali intelligenti alimentati dai chip Snapdragon di Qualcomm. L'azienda ha presentato il suo modello Bonsai LLM a 1 bit durante il recente Snapdragon Summit, dimostrando che il modello può operare localmente sugli occhiali AI costruiti utilizzando la piattaforma Snapdragon AR1 Gen 1. Questa specifica iterazione è un modello da 2 miliardi di parametri ottimizzato sia per la visione che per il linguaggio, consentendo agli utenti di ricevere risposte in tempo reale sul loro ambiente visivo. PrismML è riconosciuta per aver ridotto le dimensioni dei modelli più grandi di quattro volte mantenendo quasi tutte le loro prestazioni nei benchmark standard. La startup mira a fornire intelligenza artificiale con pesi aperti che funzioni direttamente sui dispositivi, sfruttando così meglio la potenza di calcolo esistente senza dipendere da laboratori proprietari. Questo approccio si pone come alternativa alla dipendenza dalle promesse sulla privacy delle principali aziende di IA e dalla loro crescente richiesta di risorse di calcolo. Sebbene il rilascio da parte di Qualcomm rappresenti un progresso significativo verso questa visione, non sono ancora stati annunciati ufficialmente occhiali intelligenti che eseguono il modello di PrismML.
aiinsider