什么值得买App下载 App ›
连续签到专享现金活动

RAG能回答却没法证明:企业落地卡在这三个字

先说说AI回答凭什么让人信
企业上了RAG系统,财务、法务、业务人员却不敢用。这种场景越来越常见。问题不是AI答得不够流畅,而是用户无法验证答案的依据在哪里。没有证据链的RAG,本质上只是一个更会组织语言的「复读机」——看起来有条有理,出问题时却说不出所以然。1
有个客户的法务团队直接拒绝使用这套系统。理由很直接:「AI说这个条款有风险,但我不知道它凭什么这么说,我怎么敢签字?」这句话戳中了大量企业RAG落地的核心困境——能回答,但没法证明。2
这不是法务同事保守。是企业级应用的基本要求:答案必须能回到证据现场。决策链条上的每一个环节,都需要知道结论的依据是什么、来源是否有效、过期没有。做不到这一点,RAG用得越广,风险积得越高。
再说说证据链到底是什么
很多系统会在答案末尾挂几个「来源链接」,但这不等于归因可靠。真正有用的引用要回答三个问题:这段话是哪份文件的、哪个位置的、哪个版本的。如果只显示一个文档名,用户无法知道答案里的哪一句来自哪里;如果只显示一个chunk id,用户无法判断来源是否可信、过期或越权。3
把引用拆开来看,它至少由三层构成:Source是原始资料单位,回答「这份材料是什么」;Evidence是能支撑某个结论的最小文本片段,回答「哪一段材料支持这个说法」;Claim是答案里的一个可判断真假的关键结论,回答「这句话在说什么」。三层对应不上,引用就是装饰,不是承诺。3
可信RAG的最小单位不是一段流畅文字,而是Claim—Evidence—Citation关系。每个关键Claim要有支持证据,冲突与不足要显式进入修订、部分回答或拒答状态;引用还要能回到当时版本和原始位置。4
证据链最容易断在哪里
假设企业上线了一个制度问答助手。用户问:供应商合同超过200万需要谁审批?系统召回了采购制度正文里一段「重大采购需审批」的内容,然后给出回答,并附上引用链接。表面看,这不是一次幻觉——它确实找到了相关制度,也确实给了出处。但业务人员很快发现问题:金额阈值和具体审批角色其实写在制度附件表里。系统召回了正文,却漏掉了附件。这种错误比「完全没引用」更危险。因为用户会误以为答案可信。5
这是「切块」阶段埋下的雷。Chunk策略真正要平衡的是三件事:召回精度、上下文完整性、引用精度。检索时可以用小chunk提高命中精度,但生成答案时,可能还需要把parent section、表头、相邻段落一起带回来。没有source span和邻接关系,所谓small-to-big很容易变成临时拼接。5
Embedding擅长语义相似,但企业知识检索里有大量东西不是靠「语义相似」解决的。比如字段名、合同编号、条款号、错误码、产品型号、组织缩写、内部系统名。这些内容经常需要关键词精确命中。只用向量检索时,用户问「销售额口径」,系统可能召回一堆语义相近的指标说明,却漏掉字段名net_sales_amount。5
金融RAG要查的五层证据账
金融RAG的核心资产不是向量库,而是「谁能看到什么、每个结论来自哪里、错误如何被发现」的证据链。真正决定它能不能进入流程的,是检索到的证据是否覆盖问题、引用是否能追溯、反证材料有没有出现,以及人工复核成本有没有下降。6
金融RAG可以拆成五层来查:数据层要看来源、发布日期、版本、更新时间和授权范围是否记录;切片层要看标题、章节、表格、脚注和报告期是否保留;检索层要测Recall;生成层要查每个关键判断能否落到原文片段、页码或文件版本,证据不足时系统是否允许回答「不确定」;审计层要看查询、召回片段、模型版本、提示词和人工修改是否留痕。7
金融Agent的竞争正在从「能否回答」转向「能否被复查」。这个趋势在医疗、法律、合规等领域同样适用。系统能回答问题是基础,能让审计人员追溯每一步推理,才是进入关键业务流程的门槛。7
怎样让RAG真正可核验
引用设计最常见的问题,是把source、evidence和claim混在一起。更好的方式是标出「关键断言」:这些地方必须有可核查证据。FActScore这类工作把长文本拆成atomic facts,再判断每个事实是否被可靠知识源支持。引用校验也应该尽量做到断言级,而不是段落级。3
模型输出引用之后,还需要后验校验。一个基础checker可以分四步:先把答案拆成claim;检查每个citation是否来自evidence pack;检查evidence pack里的证据是否真的支持claim;标记无法判定的部分。不要只把checker当日志。它应该影响产品行为:在高风险场景里,citation check失败不应该「带病上线」。3
  • 入库阶段:文档、图片、表格和元数据要一起进入索引。检查系统能不能按部门、年份、版本、作者、项目和权限过滤。没有过滤能力的知识库,很难进入严肃场景。8
  • 检索阶段:语义检索和关键词检索都要支持。语义检索适合找相近意思,关键词检索适合找精确术语、编号、条款和实验参数。对科研和法务场景来说,只靠语义检索会带来不必要的风险。8
  • 回答阶段:每个关键断言都应该附带来源。来源不应只是一个文件名,至少要尽量回到页码、章节、图表编号或段落位置。用户点击来源后,应当看到证据本身,而不是重新打开一个几百页的PDF自己搜索。8
  • 复核阶段:用户必须能标记错误和过期资料。RAG不是一次性工程,知识库会随着组织变化、制度更新和研究进展不断变旧。用户反馈如果不能进入下一轮维护,系统会越来越像一个堆满旧资料的仓库。8
证据链决定AI能不能进关键流程
有个省级医保智能审核系统在压力测试中发现,当用户提问「2025年糖尿病门诊特病报销比例」时,RAG返回了正确数值,但溯源显示其依据的是已废止的2023年文件。传统测试无法捕获此风险,而引入「时效性断言测试」后,系统自动拦截该响应并触发人工复核流程。9
这个案例说明:RAG的评测第一步不是看答案文采,而是看召回证据、引用覆盖、反证材料和复核成本。让Agent先拿到可追溯资料,再回答问题。比「能不能答」更根本的问题是:它能不能把某个投研问题需要看的材料召回来,并把答案里的每一句判断对应到来源?6
在某头部银行RAG风控助手的实践中,采用ADKG(原子化动态知识图谱)后,幻觉率下降67%,且平均问题诊断耗时从4.2小时压缩至18分钟。关键不在于让模型更聪明,而在于让证据更清晰——诊断时间压缩,是因为审计人员可以直接定位到原始证据,而不是在模糊的答案里猜。9
现在可以做一件事
如果现在正在评估或运维一个企业RAG系统,可以先查五个问题:数据有没有版本号、切片有没有留页码、检索能不能命中条款、生成有没有拒答机制、日志能不能复现查询。这五项过了,证据链才算真正立起来。
证据链不是RAG的附加功能,而是它从「能回答」升级到「能负责」的标志。能回答的系统很多,能被审计的系统很少。能负责的AI,才有机会进关键流程。

评论

评论区空态插画

当前文章无评论,是时候发表评论了