什么值得买App下载 App ›
连续签到专享现金活动

把提示词原封不动再说一遍准确率暴涨76%!Google揭秘大模型隐藏机制

长文本信息提取任务中,常见模型“遗漏后半段关键细节”的问题长期困扰开发者。Google Research团队2025年发布的研究揭示了一个反直觉现象:将用户输入的提示词原封不动重复一遍,Gemini的准确率从21.33%飙升至97.33%,GPT-4o、Claude 3.5 Sonnet、Deepseek V3等主流模型在非推理任务上均出现显著性能提升。该研究在70个模型-基准组合测试中取得47次显著胜利,且未出现任何一次性能倒退。这一发现直接影响Claude 3.5 Sonnet在实际业务场景中的使用方法,也引发了关于“提示词重复”是否应作为标准优化手段的讨论。12
该技术的核心原理与因果语言模型的架构特性直接相关。大语言模型通常以因果语言模型(Causal Language Models)方式训练,处理Token时存在天然的时间单向性——每个Token只能“看到”其前面的内容,无法预知后续意图。当上下文很长时,模型在处理开头部分时尚未看到末尾的具体问题,导致对上下文的编码表征缺乏针对性。重复输入构建了类似双向注意力的感知场:模型处理第二遍提示词时,每一个Token都能完整关注第一遍中的所有内容,使模型在处理上下文时已经知晓问题,理论上消除了因果注意力的限制。1
然而,该策略存在明确的能力边界。研究者明确指出,提示词重复仅对“非推理任务”有效。对于需要Chain-of-Thought的推理任务,重复提示的效果十分有限,因为推理任务本身要求模型“think step by step”,生成推理链时会自行复述问题、检视条件,相当于内部已实现类似重复操作。此外,如果原始指令本身质量低下,重复只会让模型更坚定地执行错误理解,无法自动纠正内容质量。12
在计算效率方面,提示词重复策略展现出较高的实用价值。大模型推理分为预填充(Prefill)和解码(Decode)两个阶段:解码阶段逐个生成Token必须串行处理,通常是延迟主要来源;预填充阶段处理输入提示词可在现代GPU上高度并行化。实验数据显示,提示词重复并未增加生成输出的长度,也没有显著增加端到端延迟,因为增加的计算量完全发生在可并行化的预填充阶段。但研究者同时提醒,Claude系列在处理超长提示词时出现了延迟上升,prompt本身很长时仍需关注prefill阶段压力。12
01主流模型横向对比:提示词重复与安全防御
Google Research团队在Gemini 2.0 Flash、GPT-4o、Claude 3.7 Sonnet和Deepseek V3等7个流行模型上进行了广泛测试,覆盖ARC、OpenBookQA、GSM8K、MMLU-Pro、MATH等标准基准,以及NameIndex和MiddleMatch自定义任务。标准多项选择题基准测试中,当采用先选项后问题这种通常较难的格式时,提示词重复带来的提升尤为明显,自定义任务的测试结果则更为惊人:NameIndex任务要求模型从50个名字的列表中找出第25个名字,基线测试中Gemini 2.0 Flash-Lite准确率仅为21.33%,应用提示词重复后飙升至97.33%。1
对比维度扩展至安全防御层面时,模型表现呈现明显分层。一项覆盖16个模型的Prompt注入防御测试中,不加分隔符时Gemma 4 E4B防御率仅21.6%、Qwen Turbo为24.0%、Gemini 2.5 Flash为36.6%、GPT-4o为76.0%,而Claude Sonnet和Claude Haiku 3.5均达到100.0%。添加随机分隔符后,本地小模型出现显著跳变——Gemma 4提升78.4个百分点、Qwen 2.5 7B提升62.0个百分点,但Claude系列维持100.0%不变。该测试通过“模型在读到带攻击载荷的文档后是否仍完成摘要任务”来衡量防御能力,测试覆盖7类攻击、6100余个测试用例。3
多模态大语言模型安全性研究揭示了另一个重要维度。该研究通过26位专业红队专家设计的726个对抗性提示词,对比了GPT、Claude、Pixtral和Qwen在内的八款模型在纯文本与图文结合输入时的表现。研究发现,模型安全性并非随版本更新而线性提升,而是表现出明显的对齐漂移现象:GPT家族攻击成功率整体上升8%、多模态漏洞激增18%,Claude家族新一代模型的攻击成功率也上升10%。这证实了“能力的提升不等于安全性的提升”,新功能如更强的图像理解能力可能成为新的攻击面。4
Claude被该研究评为最安全模型,但同时存在“过度拒绝”现象。数据显示Claude的高安全分主要源于其采用“弃权主导”策略,倾向于拒绝回答哪怕处于灰色地带的问题。研究者提出质疑:这是真正的“对齐”,还是仅仅在回避问题?相比之下,Claude 4.5 Sonnet的SPR(自我保护偏差)仅为3.7%,表现出相对优异的克制力。不同厂商模型展现出截然不同的拒绝策略:Claude倾向于高频拒绝维持安全,Pixtral则表现出较高的易感性。54
推理框架差异对安全表现的影响同样显著。使用transformers直接加载模型权重推理,与通过Ollama API调用相比,同一模型出现明显差异:Qwen3.5:0.8B在Web安全类别上,Ollama API成功率为80%,transformers推理达100%;物理危害类别上,Ollama API成功率为0%,transformers推理达100%。该研究者指出,Ollama在物理危害类别上返回空响应,表明thinking mode在内部识别到危险话题后会直接截断输出。这说明推理框架本身的安全过滤机制存在差异,模型权重本身的安全对齐程度可能高于API层实现。6
02Claude 3.5 Sonnet专属特性与优化策略
Claude 3.5 Sonnet在系统提示词层面展现出独特架构特征。不同于GPT系列的隐式指令,Claude的训练阶段大量使用XML标签进行数据清洗,使其在推理时对结构化指令的敏感度远超自然语言。开发者可通过在Assistant回复开头强行注入一段文本实现Prefill(预填充)特性,强制模型续写,这种方式不仅用于格式控制,更可实现思维链引导,在企业级应用中有效防止模型“越狱”或输出无关内容。7
关于提示词优化,Claude官方方法论指出不同模型需要差异化的提示词设计:Claude 3.5 Sonnet能力强、速度快,提示词可以更简洁并给予更多自主空间;Claude 3 Opus能力最强但较慢,提示词可以更详细以充分利用其理解能力。这种调优差异体现在工具描述详细程度、安全警告强调程度、格式要求严格程度以及示例数量与质量等方面。8
“反向提示词”作为一种替代性优化策略被部分开发者采用。其逻辑是让模型反向提问以收集所需上下文,而非由用户直接编写提示词。具体而言,用户先不自行撰写提示词,而是让Claude来问问题,通过回答模型的追问来补齐任务背景。这种方式在不同模型上表现各异:Gemini在追问颗粒度上做得最好,会把大问题拆成多个小问题逐一确认,生成的提示词结构化程度最高;Claude更擅长理解整体意图,追问次数少但每问切中要害;ChatGPT追问比较泛,容易问一堆不太相关的问题需要用户自行过滤。910
针对Claude 3.5版本的Prompt适配研究指出,旧版Prompt与新版本对接易出现格式错乱等问题。该研究提出了五步适配方案:基础兼容性快检用于识别旧Prompt是否在语法层面被拒绝或触发降级响应;注入结构化约束通过显式嵌入JSON Schema或XML标签强制结构输出;启用上下文锚点隔离通过人工插入唯一锚点标记使模型将关键字段识别为不可丢弃的上下文锚;token级响应截断检测将核心约束放置于Prompt最末尾300 token区域以确保落入保留窗口;多版本对照评估排除偶然性误判。11
03模型选型参考维度与素材观点汇总
综合各素材观点,模型选型可从以下维度进行考量。在任务类型匹配维度:提示词重复策略适用于非推理任务的信息提取、选项处理等场景,对推理任务无效;Claude的XML标签敏感度与Prefill特性使其在结构化输出、Agent任务中表现突出;物理危害类别的安全过滤在不同推理框架上表现差异显著。在安全优先级维度:Claude系列的拒绝率最高但可能牺牲可用性,适合安全敏感场景;GPT系列在多模态攻击下漏洞激增明显,安全机制未能跨模态均匀泛化;本地小模型防越狱能力为“概率性”,8B参数模型无法做到确定性防御。在成本与效率维度:提示词重复的计算开销主要集中在可并行化的预填充阶段,对端到端延迟影响有限,但超长提示词仍需关注;简洁提示可使大模型准确率提升26个百分点,同时降低推理计算成本。112413
多源素材的核心观点可归纳如下:Google Research团队认为提示词重复是一种极简有效的上下文增强手段,本质上模拟了非因果模型的双向注意力机制;安全研究团队指出模型能力提升不等于安全性提升,对齐漂移现象需要持续关注,多模态安全基准测试的建立至关重要;推理框架研究者强调transformers与Ollama的安全过滤差异,API层的处理可能弱于模型权重本身的对齐;提示词工程研究者则关注Claude对结构化标签的敏感性及其在Agent任务中的独特优势,认为模型选型应基于具体任务需求而非单一性能指标。1467

评论

评论区空态插画

当前文章无评论,是时候发表评论了