新的开源基准测试显示，推理能力是AI在云操作中的最大瓶颈 | AI Archive

新的开源基准测试显示，推理能力是AI在云操作中的最大瓶颈

decoder · 2026-11-04T16:42:52+00:00

一项名为 CloudOpsBench 的新开源基准测试指出，推理能力是 AI 智能体执行云运维任务时的主要障碍。该基准由密歇根大学团队开发，1.0 版本评估了模型处理典型 DevOps 活动（如在 AWS 上修复服务和管理工作权限）的能力。基准测试包含在真实和模拟云环境中执行的 45 个现实世界任务。尽管具备一定能力，Claude Fable 5.1 和 GPT-6 Astra 等领先模型仅分别解决了 60% 和 53% 的任务。研究人员发现，约 80% 的失败源于推理能力不足，即智能体对任务范围的判断失误或过早停止。仅有约 20% 的错误涉及操作不当，其中部分错误会对基础设施造成不可逆的后果。该项目以 Apache 2.0 许可证在 GitHub 上发布，并计划扩展支持其他云提供商。