PrismML надеется, что её крошечная LLM изменит то, как мы все используем ИИ
techcrunch ·
PrismML делает ставку на то, что способные к рассуждению большие языковые модели не обязательно должны быть большими. Стартап, основанный исследователями Калифорнийского технологического института и возглавляемый экспертом по сжатию Бабаком Хассиби, выпустил Bonsai 2 27B, который сжимает модель Qwen3.8 27B компании Alibaba до 5,9 ГБ, примерно в девять–десять раз сокращая требования к памяти. Модель достаточно мала, чтобы работать на ПК и потенциально на смартфоне высокого класса. PrismML заявляет, что её метод троичных весов сокращает веса модели до значений +1, 0 или −1, а Bonsai 2 сохраняет 98% совокупных показателей Qwen в бенчмарках. Компания планирует применить этот метод к моделям с несколькими сотнями миллиардов параметров, а советник Айон Стоика считает, что ИИ на устройстве может быть более доступным и конфиденциальным, поскольку ему не потребуется отправлять данные в облако. PrismML привлекла посевной раунд на 22,25 млн долларов и сталкивается с конкуренцией со стороны других компаний, разрабатывающих технологии сжатия LLM.
techcrunch