PrismML将其1位Bonsai大语言模型引入高通AI智能眼镜
aiinsider ·
由加州理工学院研究人员创立、并受加州大学伯克利分校Ion Stoica指导的AI实验室PrismML,开发了一款专为高通骁龙芯片驱动的AI智能眼镜设计的微型语言模型版本。该公司在最近的Snapdragon峰会上展示了其1-bit Bonsai LLM,证明该模型可以在基于Snapdragon AR1 Gen 1平台构建的AI眼镜上本地运行。这一特定版本是一个20亿参数的模型,经过视觉和语言双重优化,使用户能够实时获取关于其视觉环境的回答。PrismML因将大型模型规模缩小四倍的同时,在标准基准测试中几乎保留全部性能而受到认可。这家初创公司旨在提供直接在设备上运行的开放权重AI,从而更有效地利用现有计算能力,而不依赖专有实验室。这种方法被视为一种替代方案,以避免过度依赖大型AI公司的隐私承诺及其日益增长的计算资源需求。尽管高通的这一发布标志着朝着这一愿景取得了重大进展,但截至目前,尚未有官方宣布任何运行PrismML模型的智能眼镜产品。
aiinsider