修复评估偏差以在Amazon Bedrock上解锁更好的模型 | AI Archive

修复评估偏差以在Amazon Bedrock上解锁更好的模型

aws · 2026-10-27T16:53:02+00:00

数字房地产应用Property Finder发现，其模型评估过程存在严重偏差，因为96.8%的标签直接继承自现有模型的预测结果，而非由人类专家核实。这种循环评估方法导致任何替代模型的表现看似不佳，阻碍了在迁移至Amazon Bedrock期间的客观比较。为解决这一问题，团队通过领域专家独立于先前模型输出手动标注356张图像，构建了无偏见的真实基准（ground truth）。他们实施了进化式提示词优化循环，基于错误分析不断优化指令，并切换至多标签分类以处理重叠的视觉属性。在Amazon Bedrock上使用经过优化的提示词的Llama 4 Maverick 17B Instruct模型，该公司将Micro F1分数从0.55提升至0.81。此次转型使处理成本降低了86%，推理延迟减少了40%–60%，同时在所有十一个质量属性上保持了更高的准确性。该案例研究强调了审计评估数据集以消除偏见、并使用专家标注的真实基准来确保模型比较有效性的关键重要性。