当前代码智能体评测多聚焦于结果正确性，忽略了其执行过程是否遵守多源、持久的约束规则。OCTOBENCH基准应运而生，它专门用于评测代码智能体在真实工程环境中的指令遵循能力，弥补了现有评测体系的空白，为评估模型可靠性提供了新维度。
智能速览
OCTOBENCH是首个面向真实Agentic Coding场景的指令遵循基准，基于真实代码仓库构建。
基准显式建模了来自系统提示、仓库规范、工具接口等多源异构指令。
通过Checklist驱动的过程级评测，将规则遵守与任务完成度解耦，实现精确定位。
引入CSR-CSR双指标体系，量化智能体的指令遵循率与长流程中的脆弱性。
包含专门的指令冲突评测集，用于分析模型的隐式指令优先级。
精华内容
为了让代码智能体真正可靠，仅看最终代码的好坏是远远不够的。一个全新的评测基准OCTOBENCH，正试图深入其工作过程，检验它们是否“守规矩”。
真实环境评测
OCTOBENCH的核心在于其真实性。它并非设计静态的问答题目，而是在包含34个可执行环境的真实代码仓库中，构建了217个任务实例。这种设计完整复现了代码智能体在实际工程中的工作方式，使其评测结果更贴近应用场景，有效评估了智能体在复杂环境下的综合表现。
多源指令建模
在真实开发中，代码智能体需要同时遵守来自不同渠道的指令。OCTOBENCH对此进行了显式建模，每个任务都综合评估模型对System Prompt、User Query、仓库规范文件（如CLAUDE.md）、Skill.md、Memory、Tool Schema以及System Reminder等多种指令来源的遵循情况。这确保了评测能够反映真实世界的指令优先级和长期约束。
Checklist驱动评测
评测的最大创新之一是采用Checklist驱动的过程级评测方法。为每个任务构建了原子化、二值可验证的Checklist，总计7,098项。这种设计成功地将“是否遵守规则”从“是否完成任务”中彻底解耦，使得评测不仅能判断成败，还能精确定位到具体的违规行为来源，为模型优化提供了明确方向。
双指标体系
为了全面衡量智能体的表现，OCTOBENCH引入了ISR-CSR双指标体系。CSR（Checklist Success Rate）代表细粒度的指令遵循率，反映了对各项规则的具体遵守情况。而ISR（Instance Success Rate）则要求所有约束全部满足才算任务成功。两者之间的差距，直观地刻画了智能体在长流程中的脆弱性，即是否因为某个环节的违规导致满盘皆输。
指令冲突测试
当系统指令、用户指令与项目规范发生冲突时，代码智能体会如何选择？为解答这一问题，OCTOBENCH专门构造了指令冲突评测集（OCTOBENCH-CONFLICT）。通过人为设置冲突场景，该评测集能够用于深入分析模型在面对矛盾指令时的隐式优先级偏好，这是评估其智能与鲁棒性的重要一环。
OCTOBENCH为代码智能体的可靠性评测带来了从结果到过程的深刻转变。它不仅是一个评测工具，更是推动智能体向更稳定、更可信赖方向发展的催化剂。未来，代码智能体能有多守规矩，或许将成为衡量其工程化应用能力的核心标准。
