在多智能体系统中，统一使用强大模型导致资源浪费严重。CASTER框架通过智能路由，根据任务难度动态分配模型，在保证任务成功率的同时，将推理成本最高降低了72.4%，为AI系统的高效低成本运行提供了新思路。
智能速览
传统多智能体系统因统一部署强模型而存在巨大的计算资源浪费。
CASTER框架的核心是根据子任务难度，动态选择最合适的模型执行。
系统采用冷启动到迭代演化的策略，能从失败中自我优化决策模型。
实验显示，CASTER在多项任务中将推理成本降低了72.4%，且不牺牲成功率。
精华内容
实现动态模型分配的关键，在于如何精准判断任务难度，以及在工作流中做出最优决策。
资源浪费困境
传统多智能体系统在处理复杂任务时，通常采用静态模型分配策略，即在所有节点上都部署最强大的大模型。这种“一刀切”的做法，虽然能保证任务完成，但造成了严重的计算资源浪费。实际上，许多简单的子任务并不需要GPT-4级别的模型能力，全程使用重型模型无异于用牛刀杀鸡，导致API调用等推理成本居高不下，限制了该技术的广泛应用。
双信号路由器
CASTER框架的创新之处在于其“双信号路由器”设计。为了准确判断任务难度，路由器同时分析两类信息：一是语义嵌入，用于理解任务本身的内容和意图；二是结构元特征，用于识别任务在整个工作流图中的位置和上下文关系。通过融合这两种信号，系统能够对每个子任务的复杂度进行更精准的评估，从而做出“量体裁衣”的模型分配决策。
自我进化机制
更值得一提的是CASTER的训练策略。系统并非一成不变，而是采用“冷启动到迭代演化”的范式。初期，系统通过启发式规则进行初始化，随后通过在线策略的负反馈机制不断学习。当一次路由决策导致任务失败时，系统会分析这次失败的原因，并据此调整和优化未来的路由策略。这种从失败中学习的能力，使得CASTER能够持续适应新的任务类型和环境变化。
实测效果显著
在软件工程、数据分析、科学发现和网络安全四个领域的综合测试中，CASTER的表现令人信服。研究团队采用LLM-as-a-Judge的方式进行评估。结果显示，与全程使用最强模型的基线方案相比，CASTER在保持相近任务成功率的前提下，将推理成本最高降低了72.4%。即便与FrugalGPT等其他优化方案相比，CASTER也在所有测试领域展现出了一致性的性能优势，证明了其策略的有效性和普适性。
CASTER的成功揭示了智能资源分配的巨大潜力。未来，这种动态优化思路是否能成为AI系统的标准配置，从而推动更高效、更经济的AI应用普及？
