Google хочет, чтобы видео-ИИ понимал, что нужно людям во время работы
decoder ·
Исследователи Google в сотрудничестве со Стэнфордским и Оксфордским университетами представили StreamVibe — видеоагент на базе искусственного интеллекта, предназначенный для проактивной помощи пользователям путем определения момента, когда вмешательство необходимо. В отличие от традиционных ассистентов, требующих явных команд, StreamVibe способен интерпретировать размынные запросы, такие как «помоги, если у меня возникнут трудности», отслеживая прогресс выполнения задач и изменения намерений пользователя. Система использует компонент памяти для различения ожидающих и завершенных шагов, что направлено на сокращение ненужных прерываний и улучшение своевременности ответов. Тестирование на наборе данных из более чем 4100 примеров показало, что модель StreamVibe-VL превосходит другие модели примерно на 10,7% по качеству ответов. Однако исследование подчеркивает значительные проблемы современных ИИ-систем: производительность существенно снижается в видео длительностью более пяти минут из-за накопления ошибок. В специфических тестах с использованием обучающих программных руководств и кулинарных инструкций StreamVibe предоставлял актуальные следующие шаги, тогда как модели сравнения часто просто описывали визуальные действия или давали неверные советы. Несмотря на эти улучшения, исследователи признают, что реальная сложность выше, чем в их тестовой среде, и планируют далее изучать влияние окружающей среды.
decoder