当前AI智能体评测多关注简单事实检索，忽略了深度研究能力。DeepSearchQA新基准应运而生，旨在通过复杂任务评估智能体整合碎片化信息的能力，弥补了现有评测体系的全面性差距。
智能速览
现有基准难以衡量智能体的复杂研究能力。
DeepSearchQA包含900个提示，旨在评估深度研究能力。
任务要求智能体整合碎片化信息并自主判断搜索终点。
先进模型在高召回与高精确率之间难以平衡。
过早停止和引入低置信度答案是常见缺陷。
精华内容
DeepSearchQA的推出，标志着对AI智能体能力评估的视角从精确性转向了全面性。
评测困境
当前主流的智能体评估基准，大多集中在单答案事实性检索任务上。这种评测方式无法有效衡量智能体在处理复杂、多步骤研究任务时的综合信息收集能力。
评测方法与用户实际的深度信息需求之间存在明显脱节，形成了一个“全面性差距”，这限制了智能体在需要深度整合信息的专业研究领域的应用潜力。
基准革新
为解决上述问题，研究团队构建了DeepSearchQA这一全新的评测基准。该基准的核心目标是评估智能体在开放网络环境中进行深度研究的能力，而非简单的事实核查。
DeepSearchQA包含900个精心设计的提示，覆盖了17个不同的知识领域，旨在系统性地、全面地考察智能体的研究水平。
任务设计
DeepSearchQA在评估范式上进行了创新，从追求单一精确答案的检索，转变为评估生成穷尽式答案集的能力。其任务被设计成因果链形式。
智能体必须主动搜索、整合来自不同来源的碎片化信息，并进行信息去重与实体消歧。最终，智能体还需要在开放的搜索空间中自主判断何时停止搜索，这考验了其信息检索的完整性判断力。
实验发现
研究团队利用DeepSearchQA对多个前沿智能体架构进行了全面评估。实验结果揭示了一个关键挑战：即使是最先进的模型，也难以在高召回率与高精确率之间取得理想的平衡。
常见的失败模式包括两种：一是过早停止搜索，导致信息检索不足；二是为了避免遗漏而引入大量低置信度的答案，即“对冲”行为，这反而损害了答案的精确性。
DeepSearchQA为AI智能体的深度研究能力提供了更具参考价值的评测标尺。未来，如何基于此发现优化智能体设计，将是学界和业界共同关注的焦点。
