PrismML希望其小型LLM改变我们使用AI的方式
techcrunch ·
PrismML押注于这样一种理念:具备强大推理能力的大型语言模型不一定非要很大。该初创公司由加州理工学院研究人员创立,由压缩技术专家Babak Hassibi领导,目前已发布Bonsai 2 27B,将阿里巴巴的Qwen3.8 27B模型压缩至5.9 GB,使其内存需求降低约9至10倍。该模型小到可以在个人电脑上运行,未来还有可能在高端智能手机上运行。PrismML表示,其三值权重技术将模型权重限制为+1、0或−1,而Bonsai 2保留了Qwen综合基准性能的98%。公司计划将这项方法应用于拥有数千亿参数的模型,顾问Ion Stoica表示,端侧人工智能可能更易普及,也更具隐私性,因为它不需要将数据发送到云端。PrismML已完成一轮2225万美元的种子融资,同时面临其他开发大语言模型压缩技术公司的竞争。
techcrunch