PrismML внедряет свою 1-битную языковую модель Bonsai в умные очки на базе Qualcomm
aiinsider ·
Лаборатория искусственного интеллекта PrismML, основанная исследователями Калифорнийского технологического института и получающая консультации от Иона Стойцы из Калифорнийского университета в Беркли, разработала версию своих компактных языковых моделей, предназначенных для работы на умных очках с чипами Qualcomm Snapdragon. Компания представила свою 1-битную модель Bonsai LLM на недавнем саммите Snapdragon, продемонстрировав возможность её локального выполнения на умных очках, построенных на базе платформы Snapdragon AR1 Gen 1. Данная специфическая версия представляет собой модель с двумя миллиардами параметров, оптимизированную как для обработки изображений, так и для языка, что позволяет пользователям получать ответы в реальном времени об их визуальном окружении. PrismML известна тем, что способна уменьшать размер более крупных моделей в четыре раза, сохраняя при этом почти всю их производительность по стандартным бенчмаркам. Стартап стремится предоставлять открытые модели ИИ, работающие непосредственно на устройствах, чтобы эффективнее использовать существующие вычислительные мощности без зависимости от проприетарных лабораторий. Этот подход позиционируется как альтернатива полагаться на заявления крупных компаний об ИИ о конфиденциальности данных и их растущих потребностях в вычислительных ресурсах. Хотя выпуск со стороны Qualcomm знаменует значительный прогресс в реализации этой идеи, пока не было официально анонсировано ни одной модели умных очков, работающих на базе технологии PrismML.
aiinsider