从提示工程转向 上下文工程,6种让LLM在生产环境中稳定输出的技术
在构建RAG系统时,常出现检索到完美文本块、提示词撰写精良,但大语言模型(LLM)依然产生幻觉的现象,甚至文档越多回复质量越差。这通常并非提示词的问题,而是上下文管理的缺陷。提示工程关注“如何提问”,而上下文工程关注“提供什么”。上下文工程被视为在生产环境中控制模型注意力的手段,通过动态处理信息管道而非静态提示词,确保模型在运行时看到正确、相关且结构化的信息。
01选择性检索
将大量文档全量灌入上下文往往导致“Lost in the Middle”效应,即模型因注意力分布不均而忽略中间内容。正确的做法是采用评分、重排和裁剪策略,仅保留高相关且不重复的片段。
- 相关性重排:初始检索基于向量相似度或关键词匹配,但相似不等于相关。利用交叉编码器将查询和文档联合阅读重新排序,虽增加耗时但能大幅提升准确度,例如从50个结果中筛选出前5个。
- 冗余消除:同一概念常出现在营销材料、技术规格等不同文档中。通过Embedding对文本块做聚类,剔除余弦相似度超过0.9的重复内容,避免模型多次阅读同一事实。
- 任务感知过滤:利用元数据(如文档类型、更新日期、版本、地区)进行筛选。例如在查询“最新退款政策”时,过滤掉过时文档或内部备忘录,仅保留符合当前地区和时间的政策文本。
02上下文压缩
长篇原始文档容易撑破上下文限制并稀释注意力。上下文压缩通过在检索后生成面向特定任务的密集摘要,在保持或提升准确率的同时减少50%至75%的Token消耗。核心在于不是生成通用摘要,而是针对当前查询定制信息保留策略。
- 带约束的LLM摘要:明确指令仅保留特定时间段或主题的事实,将长文档压缩为几个关键要点。
- 句子级评分:利用BERT等小模型计算句子与查询的相关性分数,仅保留前20%的高分内容,即Context-Preserving Compression。
- 层次化摘要:针对超长文档,先生成各章节摘要,再归纳为元摘要,形成完整文档至章节摘要再到最终摘要的三级结构。
03层次化布局
结构化的分区布局能帮助模型区分指令、数据和示例,顺应其注意力偏好。在上下文内部设计固定的分区格式,比非结构化的文字墙更能提升准确率。以下是一种经过验证的布局结构:
| 分区 | 内容示例 | 作用 |
|---|---|---|
| System Rules | You are a precise assistant. Answer only from provided context. | 划定行为边界,优先级最高 |
| Task | Goal: Answer user question using context below. | 明确目标任务 |
| User Profile / Memory | Risk tolerance: Low, Region: India | 提供个性化信息和历史偏好 |
| Retrieved Context | DOC 1: Revenue data... | 标记为源材料,作为引用依据 |
| Tool Outputs | live_price(...): 1842.50 | 标记为实时数据,具有权威性 |
| Question | User: What's the latest? | 置于末尾,引导模型最终输出 |
层次化上下文布局示例
04动态查询重构
用户查询往往缺乏关键词、实体或时间范围。在检索前利用LLM重写或扩展查询,能显著提升检索精度。通过将模糊问题转化为包含具体时间、实体和指标的精确查询,确保上下文对齐用户意图而非字面内容。
查询重构的三种模式
澄清优先
- 适用于智能体场景
- 直接询问缺失信息(时间段、竞争对手等)
- 以多轮对话换取高准确度
HyDE (假设性文档嵌入)
- 先生成假答案作为检索依据
- 假答案的措辞与实际文档更一致
- 解决用户词汇与文档词汇不匹配问题
多查询扩展
- 生成3-5个改写版本
- 覆盖语义变体和不同表述习惯
- 分别检索后合并去重
05记忆与状态管理
记忆不同于检索,它保留的是用户关系和跨会话的上下文。正确的做法是将摘要、偏好和关键事实持久化存储,在每轮对话时重新注入,而不是依赖不断增长的历史字符串。
| 记忆类型 | 存储内容 | 应用价值 |
|---|---|---|
| 情景记忆 | 过去对话的摘要(如技术选型决策) | 保留关键上下文,避免重复沟通 |
| 语义记忆 | 过去交互记录的向量库 | 发现用户行为模式,主动推送信息 |
| 偏好记忆 | 稳定事实(如风险偏好、技术栈) | 影响每一次交互,提供个性化体验 |
三种记忆类型的分工
06工具感知上下文
通过函数调用或Model Context Protocol (MCP) 将工具、API和数据库的实时数据作为结构化上下文注入,能大幅降低幻觉率并保障时效性。工具输出不应是原始字符串,而应包含明确键(如price, timestamp, source)的JSON数据,并在布局中作为独立区块标记为权威事实。
07技术选型决策框架
| 适用技术 | 典型场景特征 | 不适用场景 |
|---|---|---|
| 选择性检索 | 文档庞大(1000+)、结果过多(20+块)、接近容量上限 | 文档量小且精准 |
| 上下文压缩 | 单文档超长(5000+ Token)、需成本优化、信息深埋 | 文档本身很短(<1000 Token) |
| 层次化布局 | 多智能体系统、多来源数据混杂、需分段调试 | 单轮问答且来源单一 |
| 查询重构 | 用户提问模糊、存在词汇鸿沟(如“退款”vs“退货授权”) | 用户查询本身非常专业精确 |
| 记忆与状态 | 对话式Agent、跨会话回访、对话轮次>20轮 | 无登录体系的单次问答 |
| 工具感知上下文 | 依赖实时数据(股价、天气)、需降低幻觉、Agent行动 | 纯静态知识问答 |
上下文工程技术选型指南
综上所述,上下文工程是在生产环境中将Demo系统转化为可靠产品的关键。每种技术都有其代价,如重排消耗算力、压缩增加延迟、记忆占用存储。在实际应用中,应根据具体场景权衡收益与成本,选择最合适的工程策略,而非盲目堆砌复杂度。
当前文章无评论,是时候发表评论了