PrismML bringt sein 1-Bit-Bonsai-LLM auf Qualcomm-betriebene KI-Smartglasses
aiinsider ·
PrismML, ein KI-Labor, das von Caltech-Forschern gegründet und vom UC-Berkeley-Wissenschaftler Ion Stoica beraten wird, hat eine Version seiner winzigen Sprachmodelle entwickelt, die auf Smart Glasses mit Qualcomm-Snapdragon-Chips laufen. Das Unternehmen präsentierte sein 1-Bit Bonsai LLM auf dem jüngsten Snapdragon Summit und demonstrierte, dass das Modell lokal auf KI-Brillen betrieben werden kann, die auf der Snapdragon AR1 Gen 1 Plattform basieren. Diese spezifische Iteration ist ein Modell mit zwei Milliarden Parametern, das für sowohl Vision als auch Sprache optimiert ist und es Nutzern ermöglicht, Echtzeit-Antworten zu ihrer visuellen Umgebung zu erhalten. PrismML ist dafür bekannt, größere Modelle um das Vierfache zu verkleinern, während nahezu die gesamte Leistung in Standard-Benchmarks erhalten bleibt. Das Startup zielt darauf ab, Open-Weight-KI bereitzustellen, die direkt auf Geräten läuft, wodurch bestehende Rechenleistung besser genutzt wird, ohne sich auf proprietäre Labore zu verlassen. Dieser Ansatz wird als Alternative zur Abhängigkeit von den Datenschutzversprechen großer KI-Unternehmen und deren steigendem Bedarf an Rechenressourcen positioniert. Obwohl das Qualcomm-Release einen bedeutenden Fortschritt in Richtung dieser Vision darstellt, wurden noch keine Smart Glasses offiziell angekündigt, die PrismMLs Modell ausführen.
aiinsider