PrismML traz seu LLM Bonsai de 1 bit para óculos inteligentes com IA alimentados por Qualcomm
aiinsider ·
A PrismML, um laboratório de IA fundado por pesquisadores do Caltech e assessorado por Ion Stoica, da UC Berkeley, desenvolveu uma versão de seus pequenos modelos de linguagem projetada para rodar em óculos inteligentes alimentados pelos chips Snapdragon da Qualcomm. A empresa apresentou seu LLM Bonsai de 1 bit na recente Snapdragon Summit, demonstrando que o modelo pode operar localmente em óculos de IA construídos com a plataforma Snapdragon AR1 Gen 1. Esta iteração específica é um modelo de 2 bilhões de parâmetros ajustado tanto para visão quanto para linguagem, permitindo que os usuários recebam respostas em tempo real sobre seu entorno visual. A PrismML é reconhecida por reduzir significativamente modelos maiores em quatro vezes, mantendo quase todo o seu desempenho em benchmarks padrão. A startup visa fornecer IA de pesos abertos que funcione diretamente nos dispositivos, aproveitando melhor a capacidade computacional existente sem depender de laboratórios proprietários. Essa abordagem é posicionada como uma alternativa à dependência das promessas de privacidade das grandes empresas de IA e de sua crescente demanda por recursos de computação. Embora o lançamento da Qualcomm marque um progresso significativo nessa direção, nenhum óculos inteligente executando o modelo da PrismML foi anunciado oficialmente até o momento.
aiinsider