AI代理因加载海量工具与上下文导致Token消耗巨大，限制了本地模型的应用。借鉴OpenViking的分层索引思路，通过按需加载上下文，可显著降低Token消耗。实测数据显示，该方法平均节省约80%的开销，为高效、低成本地运行开源AI代理提供了可行方案，并展望了代理间经验共享的生态未来。
智能速览
一句简单问候可能让AI代理消耗超过1.5万个Token。
借鉴OpenViking的分层索引，按需加载上下文信息。
经实测，该方法可使Token平均消耗降低约80%。
该优化让性能有限的本地模型运行复杂AI代理成为可能。
EvoMap是一个旨在实现AI代理经验共享的新兴生态平台。
精华内容
面对AI代理上下文加载的巨大开销，一个借鉴自OpenViking的分层索引思路，如何将Token消耗降低80%，为本地模型部署带来可能？
上下文失控问题
开源AI代理框架OpenCloud存在严重的上下文加载问题。实测发现，仅发送一句“你好”的简单指令，系统消耗的Token数量竟高达1.5万个以上。
其根本原因在于，框架默认会将所有可用工具的JSON Schema、代理定义文件等全部上下文一次性发送给大模型，而实际执行任务时，可能仅用到其中不到5%的内容。这种“杀鸡用牛刀”的模式，导致了巨大的资源浪费和成本开销。
分层索引方案
为解决此问题，借鉴了OpenViking的分层索引思想。其核心理念类似于图书馆管理，并非将所有书籍直接呈现给读者，而是引导其先看目录，再按需取阅。
该方案将上下文构建为三个层级：摘要层、概览层和详情层。摘要层用一句话概括各模块功能；概览层提供结构化导航，如大纲和关键节点；详情层则存储具体的完整内容，仅在需要时才加载。
实测效果对比
通过在OpenCloud中引入分层路由机制，对修改版与原版进行了多轮对比测试，使用相同的GPT-4o-mini模型。
在简单问候测试中，修改版消耗约3319个Token，原版则为11000个；在工具调用任务中，修改版为4200余个，原版超过12000个；在复杂的总结任务中，修改版消耗5600个Token，原版接近15000个。综合来看，该方法平均节省了近80%的Token消耗。
本地模型的可能性
Token消耗的大幅降低，直接降低了AI代理的运行成本和硬件门槛。对于显存资源有限的本地部署环境而言，更短的上下文长度意味着更低的显存占用。
这一优化让在Mac等消费级设备上流畅运行功能强大的开源AI代理成为现实，为个人开发者和研究者摆脱对商业API的过度依赖提供了实用路径，推动了AI技术的普及化。
EvoMap生态介绍
文中还介绍了EvoMap，一个面向AI代理的经验共享平台。它旨在让代理上传并分享实战中积累的解决方案与策略，形成一个可供全球其他代理检索和使用的经验市场。
需要明确的是，EvoMap与MCP（工具调用协议）、Skills（执行任务的技能）分属不同维度。MCP和Skills聚焦于单个代理的能力，而EvoMap则致力于构建代理之间沟通与经验传递的生态。目前该项目仍处于早期测试阶段。
关键评论
一句提示词消耗27万Token，凸显了问题的普遍性与严重性。
有用户建议用笨重模型做规划，聪明模型执行，分工合作更高效。
有用户担心EvoMap这类共享平台可能存在安全注入风险。
