OpenAI公开挑战行业权威评测基准SWE-Bench Pro。该基准由Scale AI推出，用于评测大语言模型与AI智能体的编程能力。OpenAI指出，前沿模型在该基准上的通过率仅用8个月就从23.3%飙升至80.3%，认为这一"进步"速度异常，基准已无法有效评估真实软件开发能力。经数据点分析和人工标注两条路径交叉验证，SWE-Bench Pro包含的731个公开任务中约30%存在缺陷，涉及测试过严、提示不充分、测试范围过窄和误导提示四类问题。典型案例显示，一道题要求行首加1个空格，但隐藏测试却要求2个，导致模型完全按题面编写代码仍被判错。OpenAI已正式撤回对该基准的采用建议，并呼吁由资深软件开发者专门为AI评测设计新基准，强调从跑分竞赛回归真实工程能力评估。