随着LLM多智能体系统进入真实场景，其可靠性成为关键挑战。不同于传统系统，它们面临的“语义软故障”更难察觉。中山大学提出的MAS-FIRE框架，首次从过程层面系统化评估和提升系统鲁棒性，为构建更可靠的AI系统提供了全新视角与实用工具。
智能速览
MAS-FIRE框架定义了7大类15种故障，全面覆盖多智能体系统失效模式。
它采用三种非侵入式方法注入故障，确保实验环境可控且不破坏原有架构。
提出系统级RS与过程级O/L/S双层指标体系，精细化度量鲁棒性。
实验揭示系统架构比模型能力更重要，迭代闭环结构可中和超40%故障。
大模型能力并非越强越安全，在某些攻击下，较弱模型反而表现更鲁棒。
精华内容
面对多智能体系统中潜藏的“语义软故障”，MAS-FIRE框架如何通过创新的设计进行系统性评估与优化？其核心发现又揭示了什么？
故障全景建模
MAS-FIRE将复杂故障划分为代理内部与代理间两大维度。内部涵盖规划、记忆、推理、行动环节的软故障；外部则涉及配置、指令、通信层面的协同失效。这种分类方法为精准定位问题根源提供了基础。
为注入这些故障，框架设计了三种非侵入式机制。通过修改Prompt、拦截并改写模型响应、操控消息路由，可以在不改动系统代码的前提下，模拟真实世界中的各类异常，构建出高度可控且可复现的测试环境。
双层评估体系
传统评测多关注最终结果，而MAS-FIRE引入了过程级评估。它提出系统级鲁棒性评分（RS），用于宏观度量系统整体表现。
更关键的是过程级的O/L/S三元指标，分别代表故障触发率、局部修复率和最终成功率。这套体系能清晰地区分一个系统是“未能检测到问题”，还是“检测到但无法修复”，或是“修复后仍无法恢复”，从而实现对鲁棒性的精细化诊断。
架构优于模型
实验数据表明，系统架构对鲁棒性的影响甚至超过了大模型自身的能力。在测试中，采用迭代闭环反馈架构的系统，能够有效中和超过40%足以导致线性架构系统崩溃的故障。
此外，引入共享消息池和Critic-Refine循环纠错机制的设计，也显著提升了系统的容错表现。这说明，在设计多智能体系统时，精巧的架构设计比单纯追求更强的模型更具实际价值。
模型能力悖论
一个反直觉的发现是，模型的能力并非与系统鲁棒性正相关。在模拟“盲目信任”攻击的实验中，能力更强的GPT-5因严格遵循被污染的指令而导致整个系统崩溃。
相比之下，一些能力较弱的模型反而因其“非完全服从”的特性，意外地规避了致命错误，恢复了系统正常。这揭示了模型能力、服从性与系统鲁棒性之间存在的复杂非线性关系，为系统安全设计提供了重要警示。
MAS-FIRE不仅是一个评测框架，更是一面镜子，映照出LLM多智能体系统在真实世界中的脆弱性与潜力。它推动了从关注结果到审视过程的范式转变，为构建下一代更可靠、更安全的AI系统奠定了理论基础。未来，如何将这些发现融入主流开发流程，将是值得持续探索的方向。
