PrismML espère que son petit LLM changera la façon dont nous utilisons tous l’IA
techcrunch ·
PrismML parie sur le fait que les grands modèles de langage capables de raisonnement n’ont pas besoin d’être volumineux. Fondée par des chercheurs de Caltech et dirigée par l’expert en compression Babak Hassibi, la start-up a lancé Bonsai 2 27B, qui compresse le modèle Qwen3.8 27B d’Alibaba à 5,9 Go, réduisant ses besoins en mémoire d’environ neuf à dix fois. Le modèle est suffisamment petit pour fonctionner sur un PC et potentiellement sur un smartphone haut de gamme. PrismML affirme que sa technique de poids ternaires réduit les poids du modèle aux valeurs +1, 0 ou −1, tandis que Bonsai 2 conserve 98 % des performances globales de Qwen aux tests de référence. L’entreprise prévoit d’appliquer cette méthode à des modèles comptant plusieurs centaines de milliards de paramètres, et son conseiller Ion Stoica estime que l’IA exécutée sur l’appareil pourrait être plus accessible et plus privée, puisqu’elle n’aurait pas besoin d’envoyer les données vers le cloud. PrismML a levé 22,25 millions de dollars lors d’un tour de financement d’amorçage et doit faire face à la concurrence d’autres entreprises développant des technologies de compression des LLM.
techcrunch