现有 AI 编程评测多局限于简单算法，与真实 App 开发脱节。小红书联合顶尖高校发布 SWE-Bench Mobile 基准，首次用源自亿级用户 App 的真实任务进行评测。结果揭示，即便是最顶尖的 AI 代理，在处理工业级移动开发任务时，最高成功率也仅为 12%，为行业提供了冷静且务实的参考。
智能速览
小红书发布 SWE-Bench Mobile，首个工业级移动开发评测基准。
评测基于真实 App 需求，顶尖 AI 代理最高成功率仅 12%。
任务复杂度增加，AI 表现断崖式下跌，成功率最低至 2%。
Agent 的工程化框架（架构）比模型本身对成功率影响更大。
超 45% 的失败案例源于代码实现不完整，缺乏全局观。
精华内容
SWE-Bench Mobile 的评测揭示了 AI 编程代理在真实工业场景下的能力边界，其结果不仅是对现有技术的一次“摸底”，更指明了未来发展的关键方向。
真实世界的挑战
与传统基准不同，SWE-Bench Mobile 旨在还原端到端的工业级开发流程。它以小红书 App 的 50 个真实迭代任务为核心，输入包含标准的产品需求文档（PRD）、71% 任务中涉及的 Figma 视觉设计稿，以及一个高达 14GB、包含超 75 万行代码的生产级 iOS 代码库。
这种设计考验的不仅是模型的语言能力，更是其理解多模态需求（文字+视觉）和在庞大代码库中进行上下文推理的能力，这更接近真实程序员的日常工作。
12% 成功率的背后
在 14 种主流模型和代理配置的全面评估中，表现最好的组合（Cursor + Opus 4.5）任务成功率仅为 12%。这一数字远低于模型厂商在发布会中展示的高分，清晰地表明了 AI 在真实复杂任务中的局限性。
更值得关注的是，成功率与任务复杂度呈强烈的负相关。当任务需要修改 7 个以上文件时，所有配置的平均成功率从 18% 急剧下降至 2%，部分配置甚至归零，揭示了当前 AI 处理复杂系统性工作的脆弱性。
架构比模型更重要
一个出人意料的发现是，Agent 的架构设计对最终效果的影响，甚至超过了底层模型的能力。实验数据显示，同一个 Claude Opus 4.5 模型，在 Cursor 框架下能达到 12% 的成功率，而在 Codex 框架下仅为 4%。
这 3 倍的性能差距有力地证明，代理的工程化能力，包括工具调用、上下文管理、迭代策略等，是与模型本身同等重要的关键因素。
失败归因与启示
对失败案例的归因分析显示，45% 的失败源于“实现不完整”，即 Agent 只修改了部分必需文件，未能完成所有关联改动，暴露了其在大型代码库中跨文件推理和全局观上的核心短板。
此外，研究还发现了 Prompt 工程的“反直觉”现象：复杂的思维链提示并未带来更好效果，而简单的“防御性编程”策略，强调边缘情况处理，反而能将测试通过率提升 7.4%。这提示工程实践应更侧重代码质量本身。
