面对大模型在回答新问题时出现的“幻觉”，RAG技术提供了“先检索，后回答”的解决方案。这篇内容从核心架构、优化技巧到部署实战，系统性地梳理了构建高效RAG系统的完整路径，旨在帮助开发者避开常见陷阱，快速将理论转化为实际应用。
智能速览
RAG的核心思想是“检索增强生成”，解决大模型知识滞后和幻觉问题。
文档切分chunk_size建议在500-1000字符，中文场景推荐BAAI/bge系列embedding模型。
通过问题重写和混合检索（向量+关键词）能显著提升检索精准度。
优化提示词，明确告知模型“不知道就说不知道”，可大幅减少答案编造。
搭建RAG系统应遵循“先跑起来，再迭代优化”的原则，逐步完善。
精华内容
想解决大模型胡说八道的问题？RAG技术是关键。但如何从“能用”到“好用”，让检索更精准、回答更可靠？下面将从架构、优化到部署，逐步拆解其中的门道。
核心三要素
RAG系统可拆解为三个核心模块。首先是文档处理流水线，这是基础也是容易出错的环节。关键在于文档切分，chunk_size并非随意设定，过大会导致检索不精准，过小则损失上下文。实测显示，500-1000字符的片段大小对中文文档较为友好，通过重叠设置可避免信息截断。
其次是向量化与检索，即用embedding模型将文本转为向量，并在向量数据库中进行相似度计算。中文环境下，OpenAI的text-embedding-ada-002效果并非最佳，推荐选用BAAI/bge或m3e这类开源模型。向量数据库方面，小项目可用Chroma，生产环境则可考虑Qdrant或云服务Pinecone。
最后是增强生成，将检索到的相关文档片段与用户问题一同提交给大模型。这里需要调整大模型的temperature参数以降低答案的随机性，并设定检索返回的文档数量，比如k=3，以确保信息的相关性和简洁性。
检索与生成优化
基础RAG系统效果常不理想，需要针对性优化。检索阶段，可通过问题重写技术，将口语化问题（如“咋请假”）转化为文档中的标准表述（如“年假申请流程”），提升召回率。
此外，混合检索是提升精度的重要手段。它结合了向量检索（语义搜索）和关键词检索（如BM25算法）的优势，特别适用于包含“2024年Q2财报”这类精确关键词的查询。实践中，按0.4（关键词）与0.6（向量）的权重组合，效果通常不错。
生成阶段，提示词工程至关重要。直接将文档丢给模型可能使其抓不住重点。应在提示词中明确告知模型角色、回答格式，并加入“如果无法根据提供的文档回答，请直接说明”，这一指令能显著减少模型编造答案的情况。
评估与部署实战
构建RAG系统是一个持续迭代的过程，需要建立评估机制。最直接的方式是准备一组测试问题，人工核对答案的正确性与来源的相关性。虽然生产环境可借助GPT-4等模型进行自动化评估，但成本较高，初期手动评估更为实用。
部署层面，一个典型的公司知识库问答系统项目结构清晰。通过一个`ingest.py`脚本处理`docs`目录下的所有文档（PDF、Word、Markdown），统一生成向量数据库。然后使用`query.py`结合FastAPI构建Web服务，对外提供问答接口。这种分离设计便于独立更新和维护。
总而言之，RAG技术虽原理简单，但实践中的每个环节都充满细节。从文档切分到模型选型，再到提示词设计，都需要反复调试。它并非万能药，但在知识密集型问答场景中价值巨大。未来，随着检索技术和模型能力的融合，RAG系统将变得更加智能和可靠，值得持续投入探索。
