什么值得买App下载 App ›
连续签到专享现金活动

从提示工程转向 上下文工程,6种让LLM在生产环境中稳定输出的技术

在构建RAG系统时,常出现检索到完美文本块、提示词撰写精良,但大语言模型(LLM)依然产生幻觉的现象,甚至文档越多回复质量越差。这通常并非提示词的问题,而是上下文管理的缺陷。提示工程关注“如何提问”,而上下文工程关注“提供什么”。上下文工程被视为在生产环境中控制模型注意力的手段,通过动态处理信息管道而非静态提示词,确保模型在运行时看到正确、相关且结构化的信息。
01选择性检索
将大量文档全量灌入上下文往往导致“Lost in the Middle”效应,即模型因注意力分布不均而忽略中间内容。正确的做法是采用评分、重排和裁剪策略,仅保留高相关且不重复的片段。
  1. 相关性重排:初始检索基于向量相似度或关键词匹配,但相似不等于相关。利用交叉编码器将查询和文档联合阅读重新排序,虽增加耗时但能大幅提升准确度,例如从50个结果中筛选出前5个。
  2. 冗余消除:同一概念常出现在营销材料、技术规格等不同文档中。通过Embedding对文本块做聚类,剔除余弦相似度超过0.9的重复内容,避免模型多次阅读同一事实。
  3. 任务感知过滤:利用元数据(如文档类型、更新日期、版本、地区)进行筛选。例如在查询“最新退款政策”时,过滤掉过时文档或内部备忘录,仅保留符合当前地区和时间的政策文本。
02上下文压缩
长篇原始文档容易撑破上下文限制并稀释注意力。上下文压缩通过在检索后生成面向特定任务的密集摘要,在保持或提升准确率的同时减少50%至75%的Token消耗。核心在于不是生成通用摘要,而是针对当前查询定制信息保留策略。
  • 带约束的LLM摘要:明确指令仅保留特定时间段或主题的事实,将长文档压缩为几个关键要点。
  • 句子级评分:利用BERT等小模型计算句子与查询的相关性分数,仅保留前20%的高分内容,即Context-Preserving Compression。
  • 层次化摘要:针对超长文档,先生成各章节摘要,再归纳为元摘要,形成完整文档至章节摘要再到最终摘要的三级结构。
03层次化布局
结构化的分区布局能帮助模型区分指令、数据和示例,顺应其注意力偏好。在上下文内部设计固定的分区格式,比非结构化的文字墙更能提升准确率。以下是一种经过验证的布局结构:
分区内容示例作用
System RulesYou are a precise assistant. Answer only from provided context.划定行为边界,优先级最高
TaskGoal: Answer user question using context below.明确目标任务
User Profile / MemoryRisk tolerance: Low, Region: India提供个性化信息和历史偏好
Retrieved ContextDOC 1: Revenue data...标记为源材料,作为引用依据
Tool Outputslive_price(...): 1842.50标记为实时数据,具有权威性
QuestionUser: What's the latest?置于末尾,引导模型最终输出

层次化上下文布局示例

04动态查询重构
用户查询往往缺乏关键词、实体或时间范围。在检索前利用LLM重写或扩展查询,能显著提升检索精度。通过将模糊问题转化为包含具体时间、实体和指标的精确查询,确保上下文对齐用户意图而非字面内容。

查询重构的三种模式

澄清优先
  • 适用于智能体场景
  • 直接询问缺失信息(时间段、竞争对手等)
  • 以多轮对话换取高准确度
HyDE (假设性文档嵌入)
  • 先生成假答案作为检索依据
  • 假答案的措辞与实际文档更一致
  • 解决用户词汇与文档词汇不匹配问题
多查询扩展
  • 生成3-5个改写版本
  • 覆盖语义变体和不同表述习惯
  • 分别检索后合并去重
05记忆与状态管理
记忆不同于检索,它保留的是用户关系和跨会话的上下文。正确的做法是将摘要、偏好和关键事实持久化存储,在每轮对话时重新注入,而不是依赖不断增长的历史字符串。
记忆类型存储内容应用价值
情景记忆过去对话的摘要(如技术选型决策)保留关键上下文,避免重复沟通
语义记忆过去交互记录的向量库发现用户行为模式,主动推送信息
偏好记忆稳定事实(如风险偏好、技术栈)影响每一次交互,提供个性化体验

三种记忆类型的分工

06工具感知上下文
通过函数调用或Model Context Protocol (MCP) 将工具、API和数据库的实时数据作为结构化上下文注入,能大幅降低幻觉率并保障时效性。工具输出不应是原始字符串,而应包含明确键(如price, timestamp, source)的JSON数据,并在布局中作为独立区块标记为权威事实。
07技术选型决策框架
适用技术典型场景特征不适用场景
选择性检索文档庞大(1000+)、结果过多(20+块)、接近容量上限文档量小且精准
上下文压缩单文档超长(5000+ Token)、需成本优化、信息深埋文档本身很短(<1000 Token)
层次化布局多智能体系统、多来源数据混杂、需分段调试单轮问答且来源单一
查询重构用户提问模糊、存在词汇鸿沟(如“退款”vs“退货授权”)用户查询本身非常专业精确
记忆与状态对话式Agent、跨会话回访、对话轮次>20轮无登录体系的单次问答
工具感知上下文依赖实时数据(股价、天气)、需降低幻觉、Agent行动纯静态知识问答

上下文工程技术选型指南

综上所述,上下文工程是在生产环境中将Demo系统转化为可靠产品的关键。每种技术都有其代价,如重排消耗算力、压缩增加延迟、记忆占用存储。在实际应用中,应根据具体场景权衡收益与成本,选择最合适的工程策略,而非盲目堆砌复杂度。

评论

评论区空态插画

当前文章无评论,是时候发表评论了