PrismML bringt seine kleinen LLMs auf Qualcomm-Smartbrillen
techcrunch ·
PrismML, ein KI-Labor, das von Caltech-Forschern gegründet und vom UC-Berkeley-Wissenschaftler Ion Stoica beraten wird, hat eine Version seiner kleinen Sprachmodelle für Smart Glasses entwickelt, die mit Qualcomm-Chips betrieben werden. Während des Snapdragon Summit der Firma präsentierte PrismML sein 1-Bit Bonsai LLM, das lokal auf Geräten mit der Snapdragon AR1 Gen 1 Platform ausgeführt werden kann. PrismML ist darauf spezialisiert, große Modelle erheblich zu verkleinern, während gleichzeitig hohe Leistung bei Standard-Benchmarks erzielt wird; dieses spezifische Modell enthält zwei Milliarden Parameter, die für Seh- und Sprachaufgaben optimiert sind. Diese Technologie ermöglicht es Nutzern, Echtzeit-Antworten auf das, was sie ansehen, direkt auf ihren Wearables zu erhalten. Das Startup zielt darauf ab, Open-Weight-KI zu fördern, die geräteintern läuft, und bietet damit eine Alternative zu proprietären Laboren, die massive Rechenressourcen erfordern. Durch die Veröffentlichung eines für Qualcomms Hardware optimierten Modells treibt PrismML seine Vision voran, die vorhandene Rechenleistung bestehender Geräte effektiver zu nutzen. Bis zur Ankündigung wurden jedoch noch keine spezifischen Smart-Glasses-Produkte mit PrismML-Technologie offiziell vorgestellt.
techcrunch