现有编程智能体评测多关注最终成功率，忽略了其解决问题时的上下文检索过程。ContextBench 作为首个面向该过程的评测基准，通过精细的追踪与衡量，为理解智能体行为提供了全新视角，揭示了其在代码理解与利用上的深层挑战与潜力。
智能速览
ContextBench 是一个专注于评测编程智能体上下文检索过程的新基准。
该基准包含 66 个代码仓库的 1,136 个任务，覆盖八种编程语言。
自动化评测框架可追踪智能体轨迹，衡量上下文的召回率与精确率。
研究发现精细的智能体支架对上下文检索的提升效果有限。
LLM 在检索时普遍存在重召回率、轻精确率的倾向。
精华内容
为何 ContextBench 如此重要？它深入探究了智能体的“思考过程”，即如何查找和利用代码上下文，而不仅仅是看它最终是否解决了问题，这揭示了其内在机制和局限性。
基准构成
ContextBench 的核心是一个大规模、高质量的数据集。它精心挑选了来自 66 个真实代码仓库的 1,136 个问题解决任务，确保了评测的多样性和现实意义。这些任务广泛覆盖了 Python、JavaScript、Java 等八种主流编程语言。更重要的是，每个任务都由人工标注了“黄金上下文”，为评估智能体检索信息的准确性提供了可靠的参考标准。
自动评测
为实现高效、客观的评估，研究团队构建了一个自动化评测框架。该框架能够全程追踪编程智能体的操作轨迹，例如调用工具、检索代码、修改文件等。基于这些轨迹数据，框架可以在问题解决的每一个步骤中，量化计算上下文检索的召回率（找到多少相关信息）和精确率（找到的信息有多大比例是相关的），并评估上下文的最终使用效率。
核心发现
利用 ContextBench 对多个前沿模型和智能体进行评测后，研究得出几个重要结论。首先，即便采用更精细的智能体支架，对上下文检索能力的提升也相当有限，表明当前优化方向可能存在瓶颈。其次，大型语言模型（LLM）在信息检索时表现出明显的偏向性，倾向于召回更多上下文以保证信息完整，但这牺牲了精确率。
利用鸿沟
另一个关键发现是，智能体探索到的上下文与最终实际利用的上下文之间存在显著差距。这意味着智能体可能检索了大量信息，但未能有效地从中筛选并应用最关键的部分。这种“检索”与“利用”的脱节，是限制其性能的一个重要因素，也为后续研究指明了需要攻克的难点。
ContextBench 为编程智能体的评测打开了新的大门，使其评估从“结果导向”走向“过程洞察”。这不仅揭示了当前模型的不足，也为未来更强大的智能体研发指明了方向。如何引导智能体更精准地检索并高效利用上下文，将成为提升其代码理解与生成能力的关键。
