PrismML lleva su LLM Bonsai de 1 bit a las gafas inteligentes con IA impulsadas por Qualcomm
aiinsider ·
PrismML, un laboratorio de inteligencia artificial fundado por investigadores del Caltech y asesorado por Ion Stoica de la UC Berkeley, ha desarrollado una versión de sus pequeños modelos de lenguaje diseñada para funcionar en gafas inteligentes alimentadas por los chips Snapdragon de Qualcomm. La empresa presentó su LLM Bonsai de 1 bit en la reciente Cumbre Snapdragon, demostrando que el modelo puede operar localmente en gafas AI construidas con la plataforma Snapdragon AR1 Gen 1. Esta iteración específica es un modelo de 2 mil millones de parámetros ajustado tanto para visión como para lenguaje, lo que permite a los usuarios recibir respuestas en tiempo real sobre su entorno visual. PrismML es reconocida por reducir los modelos más grandes cuatro veces mientras retiene casi todo su rendimiento en las pruebas estándar. La startup tiene como objetivo proporcionar IA de pesos abiertos que se ejecute directamente en los dispositivos, aprovechando mejor la potencia de computación existente sin depender de laboratorios propietarios. Este enfoque se posiciona como una alternativa a depender de las promesas de privacidad de las grandes empresas de IA y su creciente demanda de recursos de computación. Aunque el lanzamiento de Qualcomm marca un progreso significativo hacia esta visión, aún no se han anunciado oficialmente ninguna gafas inteligentes que ejecuten el modelo de PrismML.
aiinsider