PrismML espera que su pequeño LLM cambie la forma en que todos usamos la IA
techcrunch ·
PrismML apuesta a que los modelos de lenguaje grandes capaces de razonar no tienen por qué ser grandes. Fundada por investigadores de Caltech y dirigida por el experto en compresión Babak Hassibi, la startup ha lanzado Bonsai 2 27B, que comprime el modelo Qwen3.8 27B de Alibaba a 5,9 GB, reduciendo sus necesidades de memoria aproximadamente entre nueve y diez veces. El modelo es lo bastante pequeño como para ejecutarse en una PC y potencialmente en un teléfono inteligente de gama alta. PrismML afirma que su técnica de pesos ternarios reduce los pesos del modelo a los valores +1, 0 o −1, mientras que Bonsai 2 conserva el 98 % del rendimiento agregado de Qwen en las pruebas de referencia. La empresa planea aplicar el método a modelos con varios cientos de miles de millones de parámetros, y el asesor Ion Stoica afirma que la IA en el dispositivo podría ser más accesible y privada porque no necesitaría enviar datos a la nube. PrismML ha recaudado una ronda semilla de 22,25 millones de dólares y se enfrenta a la competencia de otras empresas que desarrollan tecnología de compresión de modelos de lenguaje grandes.
techcrunch