PrismML hofft, dass sein winziges LLM die Art und Weise verändert, wie wir alle KI nutzen
techcrunch ·
PrismML setzt darauf, dass leistungsfähige Large Language Models mit ausgeprägten Reasoning-Fähigkeiten nicht groß sein müssen. Das von Forschern des Caltech gegründete und vom Kompressionsexperten Babak Hassibi geleitete Start-up hat Bonsai 2 27B veröffentlicht, das Alibabas Modell Qwen3.8 27B auf 5,9 GB komprimiert und damit dessen Speicherbedarf ungefähr um das Neun- bis Zehnfache reduziert. Das Modell ist klein genug, um auf einem PC und möglicherweise auf einem leistungsstarken Smartphone zu laufen. PrismML zufolge reduziert seine Technik mit ternären Gewichten die Modellgewichte auf die Werte +1, 0 oder −1, während Bonsai 2 98 % der aggregierten Benchmark-Leistung von Qwen beibehält. Das Unternehmen plant, die Methode auf Modelle mit mehreren hundert Milliarden Parametern anzuwenden, und Berater Ion Stoica sagt, KI auf dem Gerät könnte zugänglicher und privater sein, weil dafür keine Daten an die Cloud gesendet werden müssten. PrismML hat eine Seed-Runde über 22,25 Millionen US-Dollar aufgenommen und steht im Wettbewerb mit anderen Unternehmen, die Technologien zur Komprimierung von Large Language Models entwickeln.
techcrunch