评估RAG系统常因缺乏真实数据而变得困难。本文深入探讨了在没有标准答案时，如何通过多种有效策略、指标和现有框架，来全面衡量和提升RAG系统的检索与生成质量，为优化模型提供了清晰的路径。
智能速览
即使缺乏基准真实数据，依然有方法可以评估RAG系统的性能。
可以利用矢量相似度来对检索到的文档质量进行量化评估。
利用多个LLMs进行交叉评判，是衡量系统整体质量的一种有效方式。
通过主题拆分和综合生成，可以高效创建自定义的评估数据集。
评估需同时关注检索的上下文精确率与召回率，以及生成的忠实度与答案相关性。
RAGAS和ARES等专业框架能极大简化RAG系统的评估流程。
精华内容
评估RAG系统并非易事，尤其是在缺乏基准数据的场景下。但通过巧妙的策略，依然可以建立起一套有效的评估体系，精准衡量其性能。
无数据评估策略
在没有标准答案时，评估RAG可以采用多种策略。首先是利用矢量数据库提供的相似度分数，如余弦相似度，为检索到的文档设定一个通过/失败的阈值，例如0.8，通过反复试验找到最适合应用的平衡点。
其次，可以引入多个LLM作为“裁判”，让它们对同一问题的不同响应进行排序和比较。通过分析不同LLM的判断，可以从多个视角了解系统输出的整体质量。
最传统但有效的方法是获取人类专家的反馈。为确保反馈的可靠性，需要建立清晰的评级标准，如相关性、正确性和完整性，并使用皮尔逊相关性等指标检查不同评估者之间的一致性，以降低主观噪音。
自建评估数据集
创建评估数据集是提升评估准确性的关键。一种方法是寻找与自身用例相似的现有公共数据集，例如在Kaggle等平台进行搜寻。
如果找不到，可以手动创建。利用领域专家审核过的高质量问答对，构建一个最小化的真实数据集。在这个基础上，可以训练一个LLM作为裁判来评估更多数据，但首先需要确保该LLM评估的可靠性。
更高效的方法是将文档按主题或语义进行分割。例如，将一句话“推出产品ABC后，XYZ公司2024年Q1收入增长10%”拆分为两个独立信息点，并为每个信息点创建对应的查询和上下文，从而快速增加数据量并提升精确度。
此外，还可以通过数据增强技术，基于现有查询和上下文综合生成新的变体，快速扩充数据集规模。
核心评估指标
对RAG系统的评估需从检索和生成两个维度展开。检索环节的关键指标是上下文精确率和上下文召回率。精确率衡量检索到的内容中有多少是相关的，而召回率则衡量所有相关内容中有多少被成功检索到。
生成环节则主要评估忠实度和答案相关性。忠实度衡量生成的答案与提供的上下文信息在事实上的一致程度，确保回答不“胡编乱造”。答案相关性则评估生成的内容对用户问题的回应程度和完整度。
根据具体应用场景，可以为这些指标分配不同权重进行加权评估。例如，在法律或医疗等追求100%事实准确的场景，忠实度的权重应被设为最高。
高效评估框架
手动搭建评估系统可能复杂，现有的一些框架能极大简化工作。RAGAS是一个专为评估RAG模型设计的框架，它内置了评估检索和生成的多种指标，并采用进化生成范式来自动创建测试数据，让评估更全面。
另一个强大的工具是ARES，它结合了合成数据生成和LLM评判。ARES可以创建用于测试RAG系统的数据集，并提供一个LLM裁判来比较模型输出与参考数据，从而完成评估。利用这些框架，可以更高效、更系统地对RAG系统进行迭代优化。
掌握这些评估方法，意味着不再受困于数据缺失，能够主动、系统地优化RAG系统。无论是选择指标、自建数据集还是利用框架，核心目标都是构建更值得信赖的AI应用。未来，随着评估体系的成熟，RAG的潜力将得到更充分的释放。
