什么值得买App下载 App ›
连续签到专享现金活动

你的RAG分数挺好,用户为啥还是骂?答案藏在检索层

先问一个问题:你的评测到底在测什么?
很多团队上线RAG后,第一反应是“跑一下准确率”。结果出来一个数字——85%,看起来不错,上线后发现用户投诉不断。问题出在哪?他们测的根本不是RAG在真实业务里的表现。1
RAG不是普通的文本生成,它的核心是“检索+生成”两条链路。任何一条拉胯,最终答案都会翻车。靠一个总分判断系统好坏,就像只看总分选学生——你根本不知道他数学不行还是语文不行。系统化的评测,必须先拆开来看。
第一层:检索评测——别让噪声喂饱了模型
检索是RAG的入口。如果这一步出了问题,后面生成再强也是巧妇难为无米之炊。检索评测看两个核心指标:召回率和精确度。召回率回答的是“该找的有没有找到”;精确度回答的是“找到的东西有没有用”。2
召回率低,意味着答案缺依据。用户问的是2026年最新政策,系统检索到的全是旧文件,回答自然残缺。这类问题通常指向分块策略有缺陷——关键信息被切散在不同chunk里,或者向量模型对领域术语的语义理解不够精准。调整chunk大小、加入关键词检索做混合策略,往往能明显改善。
精确度低,则意味着噪声太多。检索结果里塞满了网页导航、页眉页脚、冗长表格,模型在垃圾堆里找答案。这类问题的根因往往是文档预处理不过关。表格没有保留表头和上下文,图片没有做OCR校验,导致检索到的内容“看起来相关,实际不顶用”。3
  • Hit Rate(前k命中率)
    Top-K结果里,有多少查询至少命中了一个正确答案。最基础的指标——搜不到答案,后面全白搭。
    4
  • MRR(平均倒数排名)
    第一个正确结果排在第几位。排名越靠前,分数越高。如果正确答案总在第8位以后,LLM根本看不到。
  • NDCG(归一化折损累计增益)
    适合有分级相关性的场景。比如直接回答问题的条款是2级,背景解释是1级,NDCG能区分权重。
第二层:生成评测——答案必须“听话”
检索过关了,接下来看生成。生成评测的本质是验证模型有没有“老实回答”——它有没有超出检索到的内容去编造,有没有遗漏关键信息,有没有答非所问。5
最危险的生成问题叫“幻觉”。用户问产品报价,系统检索到的文档没有价格,模型却自己编了一个“3-5个工作日送达”。这不是答案错了,是系统在撒谎。这种错误在金融、医疗场景里可能引发严重后果,必须作为红线指标来监控。
另一个常见问题是“答非所问”。用户问退货流程,答案讲的是换货步骤;用户问某型号保修期,答案给了另一个型号的参数。这类问题的根因往往是检索结果的相关性排序出了问题。正确答案就在Top-10里,但排在后面,没进上下文。
RAGAS四维指标:业界公认的评测框架
目前业界最主流的自动化评测框架是RAGAS,它用LLM当裁判,从检索和生成两个维度各拆出两个指标,构成2×2的评估矩阵。6
指标测什么低分意味着
Context Precision(上下文精确度)检索到的内容里有多少真正有用检索噪音大、垃圾内容多
Context Recall(上下文召回率)回答问题所需的全部信息被检索到的比例漏关键文档、检索深度不够
Faithfulness(忠实度)答案是否完全基于检索内容,无编造幻觉、张冠李戴、捏造事实
Answer Relevancy(答案相关性)答案是否直接切题回答用户问题答非所问、过度泛化、冗余

RAGAS四大核心指标速查

这四个指标不是简单平均,而是用调和平均数计算综合分。调和平均对低分更敏感——任何一个维度有明显缺陷,综合分都会被拉低。这正是它的设计逻辑:木桶效应,一个短板都不能放过。7
不过要注意,RAGAS打分是“哪个更好”,不是“这个系统到底达不达标”。真正决定能不能上线的,是业务部门的人工抽检。尤其在金融、医疗这类高合规场景,自动评测只能做横向对比,绝对分数必须由懂业务的人来判定。
评测必须分三层做,不能只测答案
一个RAG回答的质量,由检索、生成、业务三层共同决定。只看最终答案,你根本分不清问题是出在哪一层。检索召回错了?还是召回了但排序靠后?还是证据进了上下文但模型没用?这些需要拆开测才能定位。8
  • 检索层:测召回率和精确度,看有没有把正确答案捞回来、捞回来的东西干不干净。
  • 生成层:测忠实度和答案相关性,看答案有没有基于检索内容、有没有答非所问。
  • 业务层:测任务完成率和用户修改率,看用户能不能直接用答案完成操作。
业务层评测需要在真实环境里跑。开通10%-20%流量给新系统,跑一周,盯两个数字:任务完成率——用户问完之后有没有做你想让他做的事;用户修改率——用户是直接用了答案,还是改了再提交。改了,说明答案不够好。9
评测集怎么建?50条真实问题起步
评测集是整个评估体系的地基。测试集太干净,是最常见的坑。你的评测集全是标准问法——“怎么退货”“怎么退款”,但真实用户问的是“你们东西怎么退回去”“钱啥时候回来”。这种差距会让评测结果严重失真。10
正确的做法是从真实客服日志里挖问题。把过去三个月最常问的50个问题列出来,每条标注:用户这么问,我们期待答成什么样,什么算答错。这个标准一旦定下来,就不要轻易改动——因为它是你的标尺,标尺天天变,前后版本就没法比。
另外,评测集要覆盖不同难度和类型。低难度、中难度、高难度的比例要合理分布,不能全是简单题。同时要包含边界案例——同义异形(“心梗”和“急性心肌梗死”)、时间敏感(“当前最新”)、政策冲突(新旧条款并存)等。
评测不是一次性,是持续运营
很多团队以为RAG上线那一刻评估就结束了。实际上,准确率会随时间单调下降。业务在变,知识库没跟着变;用户问法在演化,系统接不住;模型版本升级,原本好用的Prompt突然失效。11
防衰减需要三个机制:知识库版本管理、定期抽检、Prompt回归测试。每周随机抽20个用户真实提问,自己去知识库找答案,和AI的回答对比。如果AI答错的题有规律——比如所有错误都是半截话、缺少主语或结论——说明系统有结构性缺陷,需要从根子上修复。
对于多系统、大规模评测的场景,建议引入平台化思路。把评测从手工流程变成可自动化、可持续运行的系统。触发器支持定时、新数据到达、系统更新等多种条件,执行层记录每一步的时长、成功状态、失败原因,呈现层输出综合评分和趋势图。规模化之后,效率能提升20-40倍。12
回到开头的问题:你的评测到底在测什么?测的不是分数,是证据链是否成立。RAG的目标不是让模型看起来引用了资料,而是让答案能够被外部证据支撑。如果证据链不成立,答案越流畅越危险。拆开测、分层测、持续测,这才是RAG评测的正确姿势。

评论

评论区空态插画

当前文章无评论,是时候发表评论了