现有大模型智能体评测多在理想环境中进行，难以反映其在真实世界不确定场景下的可靠性。一项新研究直面这一盲区，提出CAR-bench评测基准，通过模拟工具缺失和数据歧义等真实故障，系统性地考察智能体的一致性与“自知不能”能力，填补了从“能用到可靠”的评测空白。
智能速览
现有评测基准忽视了真实场景中的不确定性，导致可靠性评估缺失。
仅用“至少一次成功”衡量表现，无法暴露智能体在多轮交互中的策略稳定性。
新基准引入Pass^k指标，要求智能体连续k次成功才算通过，量化其稳定性。
通过强制移除关键工具，检验智能体是否会承认无法完成，而非编造幻觉。
注入可控歧义信息，评估智能体在内部求解与向用户澄清间的最优决策能力。
新提出的CAR-bench以汽车座舱助手为高压场景，全面检验AI的可靠性。
精华内容
当前大语言模型智能体看似强大，但其在真实、复杂的场景中是否依然可靠？一项新研究深入探讨了这一问题，并构建了更贴近现实的评测体系，旨在推动智能体从“能用”迈向“真正可用”。
理想与现实的鸿沟
当前主流的大语言模型智能体评测基准，大多构建在信息完备、工具齐全的理想化环境中。这种评测方式能得出亮眼的任务完成率，却严重脱离了真实应用场景。在车载语音助手等实际应用中，环境常充满不确定性：用户请求的工具可能缺失，或可用工具的参数粒度不足；环境查询也可能返回不完整甚至矛盾的数据。
在这种请求本质上不可满足或高度模糊的情况下，智能体若不具备“自知不能”的清醒认知，往往会继续生成看似合理但实为虚构的幻觉结果，带来潜在风险。
从“一次成功”到“持续可靠”
除了可靠性，现有评测在“一致性”维度也存在严重缺位。传统指标如Pass@k，衡量的是智能体在k次尝试中“至少一次成功”的概率，这无法揭示其在多回合、多轮次交互中是否能够稳定地遵守策略、稳定地识别自身能力边界。一个时而成功、时而犯错的智能体，显然是不可靠的。
为解决此问题，该研究提出以Pass^k（k次全部成功）作为核心评测指标，量化智能体在多次重复任务中的一致性表现，更能反映其在真实部署后的稳定性。
直面幻觉：强制工具缺失
为系统化评估智能体的可靠性，该研究首次形式化了两类真实故障模式。第一类是Hallucination（幻觉）任务。在此任务中，评测系统会强制性地移除完成任务所必需的关键工具、关键参数，甚至在工具调用后返回空或不正确的结果，以模拟现实世界中的突发故障。
评测的核心是观察智能体是否会明确承认“无法完成”请求，而不是为了迎合用户而编造一个虚假的执行结果。这是对其诚实性和边界感知能力的直接考验。
主动消歧：化解模糊请求
第二类是Disambiguation（消歧）任务。研究向智能体的输入中注入可控的歧义，例如提供多个可能的选项或故意缺失关键信息。此时，智能体不能盲目行动，而必须在“利用内部知识库尝试求解”与“向用户发起澄清询问”之间做出最优决策。
评测会评估其决策能否带来最大的信息增益，从而最高效地解决模糊性。这要求智能体具备主动沟通和精确理解用户真实意图的能力，避免因过早行动而导致错误。
CAR-bench基准的提出，为AI智能体的评测体系带来了重要变革，它将关注点从单纯的“任务成功率”转向了更深刻的“可靠性”与“一致性”。这套评测方法不仅适用于学术研究，更能为工业界部署高可靠智能体提供参考，推动AI从实验室中的“能”走向真实世界中的“信”。未来，AI智能体在面对未知与不确定性时，将如何表现？
