如何让AI智能体成为系统专家？一项近万次实验的重磅研究，颠覆了开发者圈的普遍认知。它用数据揭示了影响性能的关键因素，并提供了一套全新的行动指南，帮助开发者跳出误区，做出更明智的架构与格式选择。
智能速览
顶尖闭源模型适合文件检索，开源模型则不然。
数据格式（YAML/JSON/Markdown）对AI准确率影响甚微。
模型自身能力是影响准确率的最关键因素。
大规模数据处理时，紧凑格式可能因“grap-shay”效应导致成本飙升。
开发者应基于模型实测表现，而非行业迷思做决策。
精华内容
一项近万次实验的权威研究，揭示了AI智能体开发的真相，许多行业普遍认知或将被颠覆。让我们直面这些发现，重新审视开发策略。
文件迷信的真相
让AI自己用工具在文件中搜索，还是把所有信息一次性喂给AI？研究给出的答案是：完全取决于你选择的模型。对于GPT-4、Claude这类顶尖闭源模型，采用文件智能体架构，准确率能提升2.7%。
但如果使用的是开源模型，同样的文件检索方案，准确率反而会下降7.7%。这个鲜明的反差说明，不存在最优的普适架构，决策必须与模型能力绑定。
格式执念该放下
YAML、JSON还是Markdown，哪个才是AI的最爱？开发者社区为此争论不休。研究数据显示，从最终准确率来看，选择哪种数据格式几乎没有差别，观察到的微弱差异在统计学上并无意义。
与其纠结于格式，不如将精力投入到更能影响结果的因素上。格式选择应基于实际需求，如成本、可读性或生成便利性，而非对准确率的虚无幻想。
真正的瓶颈是模型
当架构和格式不再是决定性因素时，性能瓶颈究竟在哪？研究指出了最核心的要素：模型本身的基础能力。顶尖模型与主流开源模型之间，存在高达21个百分点的准确率鸿沟。
这个差距，远超任何精巧的上下文工程技巧所能带来的提升。这提醒我们，投资一个更强大的基础模型，其回报远大于在工程细节上的反复优化。
成本陷阱grap-shay
直觉上，文件越紧凑，处理成本越低。在小规模数据下，确实如此，YAML格式的token消耗最低。但当数据量从几十个表扩展到一万张企业级表时，情况发生了惊天逆转。
一种为节省token设计的超紧凑格式，其消耗反而比最啰嗦的YAML多出748个token。这种因模型不熟悉格式而反复进行无效搜索，导致token指数级浪费的现象，被称为“grap-shay”效应，是大规模应用中的隐形成本杀手。
数据驱动的指南
基于以上发现，可以为AI智能体开发制定清晰的行动指南。架构选择上，若用顶尖闭源模型，可大胆采用文件智能体；若用开源模型，则提示词工程更为稳妥。
格式选择上，若追求大规模下的token效率，应选模型最熟悉的YAML以规避“grap-shay”；若要人可读，Markdown是佳选；若需程序生成，则YAML或JSON更合适。最终决策应源于数据，而非迷思。
这项研究为AI智能体开发提供了宝贵的科学依据，将决策从经验主义拉回到数据驱动。它揭示了一个朴素但重要的真理：选择强大的基础模型，并依据其特性进行工程实践，远比追逐行业流行技巧更为关键。你的下一个AI项目，会基于真实数据还是固有观念来构建？
