从 0 到 1 搭建 RAG 智能小说问答系统
大语言模型(LLM)在自然语言处理领域取得了突破,但在实际应用中面临幻觉问题、知识截止和领域知识缺失等局限。为解决这些问题,检索增强生成(RAG)技术应运而生。本文以金庸经典武侠小说《天龙八部》为例,详细拆解如何从零搭建一个完整的RAG智能问答系统,涵盖架构设计、环境搭建、文档处理及核心代码实现。
01RAG 原理与架构选型
RAG(Retrieval-Augmented Generation)的核心思想是在生成回答之前,先从外部知识库中检索相关信息,将检索结果作为上下文引导LLM生成更准确的回答。其工作流程分为索引阶段(离线)和查询阶段(在线)。
LLM优化方案对比
提示工程
引导模型输出
- 核心能力:引导模型输出格式和风格
- 适用场景:输出格式控制、任务指令化
- 知识更新:无法更新知识
- 部署成本:低
RAG
注入外部知识
- 核心能力:注入外部知识,增强事实准确性
- 适用场景:知识问答、文档分析、实时数据
- 知识更新:实时更新(更新知识库)
- 部署成本:中等
微调
改变模型行为
- 核心能力:改变模型行为模式和专业能力
- 适用场景:专业领域、特定任务、风格定制
- 知识更新:需要重新微调
- 部署成本:高
| 组件 | 技术选型 | 选型理由 |
|---|---|---|
| 开发框架 | LangChain | 模块化设计,生态丰富,统一抽象接口 |
| 向量数据库 | Chroma | 轻量级,支持本地持久化,与LangChain无缝对接 |
| Web框架 | FastAPI | 原生支持async/await,自动生成文档,性能优越 |
| LLM模型 | DeepSeek | 成本低,准确率高 |
| Embedding模型 | Qwen/Qwen3-Embedding-8B | 语义表征能力强 |
系统技术栈选型分析
02环境搭建与项目结构
- Python 环境准备
推荐使用 Python 3.9+,通过 venv 创建虚拟环境以隔离依赖。 - 核心依赖安装
包括 fastapi(Web框架)、langchain(AI应用框架)、chromadb(向量数据库)、pydantic-settings(配置管理)。 - 目录结构规划
app/ 目录存放核心代码(main.py, config.py, routers, services),books/ 存放原始书籍数据,chroma_db/ 用于向量数据持久化。
03构建文档处理管道
文档处理是RAG系统的第一道关卡,决定了知识库的质量。该环节主要包括文档加载、文本切分和向量化存储。
- 文档加载器
支持TXT、Markdown、PDF等多种格式。针对中文文档,使用 chardet 库自动检测文件编码(如 UTF-8, GBK),解决乱码问题;针对PDF,使用 PyPDFLoader 进行逐页解析。 - 文本切分策略
采用 RecursiveCharacterTextSplitter,优先按照段落(\n\n)、句子(。!?)进行切分,保持语义完整性。 - 参数调优
针对小说类文档,建议 chunk_size 设置为 500-800 字符,chunk_overlap 设置为 50-100(约占 chunk_size 的 10%),以平衡检索精度和上下文完整性。
| 切分参数 | 推荐值 | 参数作用与权衡 |
|---|---|---|
| chunk_size | 500-800 | 平衡检索精度与上下文完整性,适合通用RAG场景 |
| chunk_overlap | 50-100 | 保证跨边界语义的完整性,约占 chunk_size 的 10% |
文本切分关键参数配置
04构建向量存储与问答服务
向量存储服务负责将文本转化为向量并支持高效语义检索,问答服务则整合检索结果与LLM生成最终答案。
- Embedding 模型初始化
将文本映射到高维向量空间。配置时需注意 API 兼容性(如设置 tiktoken_enabled=False),并根据云服务商限制调整 chunk_size(如阿里云 API 限制每批 25 个文本)。 - 相似度检索
使用 Chroma 进行相似度搜索,默认采用余弦相似度。分数范围 0.0-1.0,数值越小表示越相似(0.0-0.3 为高度相关)。 - Prompt 设计与 LLM 调用
Prompt 需明确角色(如“小说内容分析专家”)、任务及边界约束(“严格基于提供的上下文内容”)。调用方式可选择 RetrievalQA 链或自定义 Prompt,并将 temperature 设置在 0.5-0.7 之间以控制创造性。
通过 FastAPI 暴露 /upload(上传文档)、/query(智能问答)等接口,实现系统的服务化封装。最终构建的RAG系统能够准确理解《天龙八部》中的人物关系与剧情发展,并返回带有引用来源的可追溯答案。
当前文章无评论,是时候发表评论了