A PrismML espera que seu pequeno LLM mude a forma como todos usamos a IA
techcrunch ·
A PrismML aposta que grandes modelos de linguagem com capacidade de raciocínio não precisam ser grandes. Fundada por pesquisadores do Caltech e liderada pelo especialista em compressão Babak Hassibi, a startup lançou o Bonsai 2 27B, que comprime o modelo Qwen3.8 27B, da Alibaba, para 5,9 GB, reduzindo suas exigências de memória em cerca de nove a dez vezes. O modelo é pequeno o suficiente para rodar em um PC e potencialmente em um smartphone de alto desempenho. A PrismML afirma que sua técnica de pesos ternários reduz os pesos do modelo aos valores +1, 0 ou −1, enquanto o Bonsai 2 mantém 98% do desempenho agregado do Qwen em benchmarks. A empresa planeja aplicar o método a modelos com várias centenas de bilhões de parâmetros, e o conselheiro Ion Stoica afirma que a IA no dispositivo poderia ser mais acessível e privada, pois não precisaria enviar dados para a nuvem. A PrismML captou uma rodada seed de US$ 22,25 milhões e enfrenta a concorrência de outras empresas que desenvolvem tecnologia de compressão de LLMs.
techcrunch