AI编程跑分又不准了，OpenAI发现SWE-Bench Pro约三成题目有问题

据动察 Beating 监测，OpenAI 发布编程评测审计报告，称 SWE-Bench Pro 约三成题目不适合作为有效评测。SWE-Bench Pro 原本用于测试 AI agent 的真实编程能力，也是 OpenAI 此前推荐替代 SWE-bench Verified 的评测集。 OpenAI 审计了 SWE-Bench Pro 的 731 道公开题。自动流程标出 200 道问题题目，占 27.4%；人工标注发现 249 道，占 34.1%。 主要问题包括：题目描述不完整、测试要求过严、隐藏测试检查了额外要求，以及测试覆盖不足。这会让模型跑分失真：失败不一定是模型不会，通过也不一定是真修好了问题。 OpenAI 称，前沿模型在这组公开题上的通过率，8 个月内从 23.3% 升到 80.3%。但在题目本身存在噪声的情况下，这类涨分需要更谨慎解读。 OpenAI 已撤回此前采用 SWE-Bench Pro 的建议，并呼吁社区重新构建更可信的编程评测。

「查看原文」