大型语言模型为供应链分析带来新机遇，但其知识滞后性限制了实时决策能力。MITRE的最新研究提出一种将检索增强生成（RAG）与网络爬虫技术相结合的创新方法，有效缩短信息延迟，实现对供应链脆弱性的近实时识别，为政策制定和行业分析提供了更高效的解决方案。
智能速览
传统LLM因知识更新滞后，难以应对依赖实时信息的供应链分析需求。
结合RAG技术与网络爬虫的创新方法，可显著缩短新信息融入分析模型的延迟。
实验证明，微调嵌入检索模型对提升分析准确性的效果最为显著。
相比固定迭代，自适应迭代检索能根据上下文动态调整，性能表现更优。
在查询词扩展中，向下抽象（分解问题）的效果远优于向上抽象（提炼概念）。
评估显示，该系统在特定场景下的分析能力已能超越传统人工审查模式。
精华内容
为了系统性地验证不同技术的实际效果，MITRE设计了一套严谨的实验方案。通过对比多种RAG优化技术的组合，研究揭示了提升实时供应链分析性能的关键因素。
实验设计与评估
研究构建了一套模块化的RAG系统，针对供应链脆弱性识别任务，系统性地测试了五大类技术：检索前（查询扩展）、检索中（检索优化）、检索后（迭代检索）、生成（模型微调）及其他增强技术。
实验共设计了30种技术组合配置，以评估不同策略的独立及叠加效果。数据源选用了富含供应链信息的SEC公开文件，并采用人工标注与GPT-4o合成的方式构建了问题-答案三元组评估数据集。
评估指标兼顾检索与生成两端，检索端采用nDCG、命中率等衡量信息质量，生成端则使用ROUGE、BLEU和语义相似度来衡量答案的准确性与相关性，同时记录总耗时以评估时效性。
性能关键发现
实验结果明确指出，在所有测试技术中，微调嵌入检索模型（FTR）带来的性能提升最为显著且稳定，是提升分析准确性的核心因素。高质量检索的优先级远高于其他优化手段。
对比之下，微调生成模型（FTG）虽然有效，但其改进幅度有限，且计算资源消耗和时间成本更高。在资源受限的场景下，优先投入优化检索系统是更具性价比的选择。
此外，在检索前处理中，向下抽象（分解问题）的效果显著优于向上抽象（提炼概念），因为前者能更精准地聚焦问题本质，减少噪声干扰。
迭代检索优劣
迭代检索技术通过多轮检索优化信息完备性。研究表明，自适应迭代检索（AIR）的性能始终优于固定迭代检索（FIR）。AIR能够根据上下文动态判断是否需要更多信息，避免了固定迭代可能带来的冗余或信息不足。
这一特性使其在处理复杂供应链查询时表现尤为出色。更重要的是，迭代检索技术，尤其是自适应检索，被证明可以作为生成模型微调的一种有效替代方案，能在不产生高昂微调成本的前提下，弥补部分性能差距。
超越人工的潜力
供应链领域专家的定性评估进一步验证了该技术的价值。在210个测试样本中，性能最佳的自适应迭代检索与检索器微调组合配置，答案准确率达到78%。
系统擅长从海量文件中“大海捞针”，能发现被人工忽略的关键信息，例如通过历史文件识破企业对国籍背景的掩饰。甚至在部分案例中，RAG系统生成的答案比人工标注的更准确，占比达到13%。
不过，系统也存在局限，如有时会过度依赖旧文件，难以识别竞争对手变化，且对风险程度的判断能力有限，这为未来优化指明了方向。
MITRE的研究有力证明了实时RAG技术在供应链脆弱性识别领域的巨大潜力，并确立了高质量检索作为核心基石的地位。这项技术不仅提升了分析的时效性和准确性，更展现出超越传统人工模式的可能。
未来的探索将聚焦于融合知识图谱、引入时间权重等方法，以克服当前局限，推动该技术在日益复杂的全球环境中发挥更大作用，这是否将重塑供应链风险管理的格局？
