Elorian的首个AI模型旨在与图像进行推理,而不仅仅是关于图像的推理
techcrunch ·
总部位于帕洛阿尔托的AI初创公司Elorian发布了其首款模型Glimpse,该模型旨在与图像进行推理,而不仅仅是描述它们。与传统多模态模型将视觉数据转换为文本令牌进行分析不同,Glimpse利用“视觉草稿空间”,在推理过程中主动缩放、裁剪并与视觉数据进行交互。这种方法解决了当前AI能力的局限性,例如在没有文本提示的情况下无法直观理解棋盘游戏符号或宜家说明书。由一个小团队在数百个GPU上训练而成的该系统,规模显著小于且成本低于GPT-6 Astra等前沿竞争对手。尽管比轻量级模型更昂贵,但据报道Glimpse在科学图表推理和视频字幕任务中表现优于更大的系统。Elorian最初瞄准重度使用视频的行业,包括机器人技术和科学实验室,并计划未来向面向行动的视觉控制方向发展。该公司在完成5500万美元种子轮融资后成立,估值为3亿美元,投资方包括英伟达和谷歌首席科学家杰夫·迪恩(Jeff Dean)。
techcrunch