复制粘贴让Gemini准确率从21%到97%,大模型的免费午餐来了

源自15位全网作者

01-21 07:16

最近,一项来自 Google Research 的研究发现了一个简单到令人意外,却又极其有效的技巧:只要将输入给大语言模型的提示词“复制粘贴”一遍,就能显著提升其在特定任务上的准确率。最惊人的案例是,在一次测试中,谷歌 Gemini 模型的准确率因此从 21.33% 飙升至 97.33%。这一发现不仅为我们揭示了当前大模型的一个底层运作奥秘,也为所有 AI 用户提供了一份几乎没有成本的“免费午餐”。

一个简单操作带来的巨大飞跃

这个技巧的具体操作非常简单,就是将原始的输入内容 `` 变换为 ``,相当于把同样的话再说一遍。

为了验证其效果,研究人员在 Gemini、GPT-4o、Claude 3 等七种主流模型上进行了广泛测试。在一项名为“NameIndex”的自定义任务中,模型被要求从一个包含 50 个名字的列表中找出第 25 个名字。在常规测试中,轻量级的 Gemini 2.0 Flash-Lite 模型表现不佳,准确率仅有 21.33%。然而,当研究人员将包含名字列表和问题的提示词重复一遍输入后,它的准确率奇迹般地跃升至 97.33%。

复制粘贴让Gemini准确率从21%到97%,大模型的免费午餐来了

这一效果并非孤例。在涵盖多个标准基准的 70 组测试中,这种“提示词重复”策略在非推理任务上取得了 47 次显著的性能胜利,且没有出现任何一次性能下降。

为什么“再说一遍”如此神奇?

这个现象的背后,与大语言模型的核心架构——Transformer 的一个固有缺陷有关,即“因果盲点”(Causal Blind Spot)。

目前主流的大语言模型大多是“因果语言模型”(Causal Language Models),它们严格按照从左到右的顺序处理文本。这意味着,当模型处理文本开头部分时,它无法“看到”或“注意”到后面尚未出现的内容。这就好比一个人在阅读一篇长文时,如果问题在文章末尾,他在读开头时并不知道要重点关注哪些信息,导致对上下文的理解缺乏针对性。

而“提示词重复”这一技巧,巧妙地“欺骗”了模型的注意力机制。当模型开始处理第二遍重复的内容时,它的注意力机制已经可以回顾并关注到第一遍输入中的所有信息。这相当于给了模型一次“回头看”和“重新审视”整个输入序列的机会,在处理上下文时已经知道了问题,在处理问题时也已经预习了上下文,从而模拟出了一种类似“双向注意力”的效果,让模型能够更精准地定位和提取关键信息。

几乎零成本的性能提升

更令人兴奋的是,这种准确率的提升几乎不增加用户感知的延迟和成本。人们通常会认为,将输入内容加倍会导致处理时间加倍,但事实并非如此。

大模型处理信息分为两个阶段:预填充(Prefill)和解码(Decode)。解码阶段是逐字生成答案,必须串行处理,是延迟的主要来源。而预填充阶段负责处理用户输入的内容,这一过程在现代 GPU 上可以高度并行化。即使输入内容翻倍,对于强大的硬件来说,增加的计算时间也微乎其微。由于该技巧不改变模型最终输出的答案长度,因此解码阶段的耗时不增,用户几乎感觉不到等待时间的变长。

这对我们意味着什么?

这一发现为 AI 的使用者和开发者带来了多重启发:

它提供了一个立即可用的实用技巧。当你在处理长文档提取、信息分类或简单问答等任务,感觉模型“记性不好”或抓不住重点时,不妨试试把你的问题和上下文再说一遍。

它揭示了提升模型表现的新路径。开发者不再需要仅仅依赖升级到更大、更昂贵的模型来追求高准确率。通过这个简单的策略,一些更小、更快的模型在特定任务上的表现,甚至可以媲美未经优化的顶级模型,这为开发高性价比的 AI 应用提供了可能。

当然,这个技巧并非万能。研究表明,它主要适用于非推理任务。对于需要模型进行一步步逻辑推导的复杂任务(如数学题),传统的“思维链”(Chain of Thought)等方法依然是更好的选择。因为在推理过程中,模型自身往往会先复述和分解问题,额外的重复输入反而可能显得多余。

这一机制也带来了新的安全思考。更强的注意力可能是一把双刃剑。攻击者或许能通过重复恶意指令来提高“越狱”的成功率;反之,防御者也可以通过重复安全规则来加固模型的“护栏”。

这个看似“笨拙”的“复制粘贴”技巧,不仅为我们提供了一种打破现阶段大模型内在局限的低成本钥匙,也深刻地提醒我们,在通往更强人工智能的道路上,有时最简单的改进反而蕴藏着最大的潜力。

内容由AI生成

精选参考来源

1. 重复一下提示词,Gemini准确率竟从21%飙升至97%!

重复一下提示词,Gemini准确率竟从21%飙升至97%! 重复一下提示词,Gemini准确率竟从21%飙升至97%!不秃头程序员1768785720 Google Research团队的一项最新研究

2. 谷歌发现了一个极其简单,但效果夸张的prompt 技巧:把同一句 prompt 再重复一次。结果很离谱:Gemini 的...

谷歌发现了一个极其简单,但效果夸张的prompt 技巧:把同一句 prompt 再重复一次。结果很离谱:Gemini 的... 谷歌发现了一个极其简单,但效果夸张的prompt 技巧:把同一句 pro

3. 重新定义人机交互?谷歌Gemini 3炸场发布! 新一代大模型Gemini 3因其在前端开发与多模态理解上的卓越表现,迅速成为人工智能领域的新焦点。#Gemini3 #人工智能 #AI技术 #科技改变

嘿 大家好最近科技圈又炸出了一个王炸那么谷歌也是甩出了它的最新产品Gemini 3现在整个科技圈都在呐喊那个熟悉的谷歌它又回来了那么我们先看硬核数据这次谷歌它可不是闹着玩的在号称人类终极考试的HLE测

4. Gemini准确率从21%飙到97%!谷歌只用了这一招:复制粘贴

Gemini准确率从21%飙到97%!谷歌只用了这一招:复制粘贴 Gemini准确率从21%飙到97%!谷歌只用了这一招:复制粘贴新智元1768879604 编辑:元宇【新智元导读】简单到难以置信!近

5. AI的世界|终于进化成了普通人能玩的样子了…… 很久没跟大家聊最新的AI技术与发展了。 最近我的主页被谷歌的Gemini刷屏,深度体验了2周,真的太惊艳了, 我自己也尝试了很多案例,终于来交作业了!

大家看这是我用谷歌教的Gemini 3一分钟做出来的一张真假难辨的SCI期刊封面图一个能自动根据天气推荐传达的小程序一个能点能赚的生物细胞3D模型图还有帮我家猫咪做的九宫格发型图这些以前要么我要花钱找

6. 别再花几十万养技术团队了!谷歌Gemini 3.0发布,老板一句话就能造APP#谷歌Gemini3 #AI开发 #降本增效 #老板思维

30秒就能做出微信一分钟呢可以复刻一个淘宝别再花几十万去养技术团队了谷歌最新的Gemini 3.0发布后软件开发的行业规则将彻底变天我昨天玩了一整天根本停不下来这不是在画图也不是在写文案这是在直接造产

7. 谷歌Gemini 3 Pro杀疯了!普通人也能轻松上手,零代码搓出商业级应用,再不看就晚了! #Gemini3 #零代码开发 #AI红利

谷歌发布的Gemini 3.0 Pro赶紧用起来否则你将错过AI时代最大的一次红利这次的升级更新简直是一次对技术霸权的降维打击网上都在吹他写代码很厉害但这跟我们普通人到底有什么关系呢关系太大了兄弟 昨

8. Gemini3.0深度实测!玩法大全来啦~编程3D唾手可得#gemini3.0 #Ai应用 #谷歌 #人工智能 #ai新星计划

你有想过吗一个编程零基础的小白也可以一句话复刻抖音网页依然网页甚至可以零基础手搓一个可交互的微信页面它的出现真正做到了一句话创造一个世界Gemini 3.0的发布绝对是人类AI史上的一个里程碑 他究竟

9. 让 AI 根据一张图做一个应用 谷歌新推出的 Gemini 3.0 又进化了,让它根据一张图做一个应用,现在已经可以做得很好了#人工智能 #ai #编程

好的录个视频来简单聊一下谷歌今天刚出的这个GM9 III的一个性能的一个情况因为它是一个多模态模型所以说我们今天展示的是它做前端的一些能力然后我们这里用的是它的一个叫Brain Aniston to

10. 看到好多人在那里白嫖谷歌 Gemini3 Pro,其实… 白嫖的是降智版。最好用的G3P 要在企业版应用 AI Studio 使用。目前imini.ai可以免费无门槛用 #ai #gemini #谷歌

看到好多人在那里白嫖谷歌 Gemini3 Pro,其实… 白嫖的是降智版。最好用的G3P 要在企业版应用 AI Studio 使用。目前imini.ai可以免费无门槛用 #ai #gemini #谷歌

11. Gemini准确率从21%飙到97%!谷歌只用了这一招:复制粘贴

Gemini准确率从21%飙到97%!谷歌只用了这一招:复制粘贴 Gemini准确率从21%飙到97%!谷歌只用了这一招:复制粘贴新浪财经1768714298 来源:市场资讯(来源:新智元)新智元报道

12. Gemini准确率从21%飙到97%,谷歌只用了这一招:复制粘贴

Gemini准确率从21%飙到97%,谷歌只用了这一招:复制粘贴 Gemini准确率从21%飙到97%,谷歌只用了这一招:复制粘贴36氪1768826142 简单到难以置信!近日,Google Res

13. Gemini如何逆风翻盘?谷歌首席AI架构师:从承认落后开始,找回自己的节奏

Gemini如何逆风翻盘?谷歌首席AI架构师:从承认落后开始,找回自己的节奏 Gemini如何逆风翻盘?谷歌首席AI架构师:从承认落后开始,找回自己的节奏华尔街见闻1764249402 “在很长一段时

14. 1.ge­m­i­ni3确认是tpu训练而非英伟达GPU2.可以确认互联网数据已经被吃完了,在数据上的扩张到头了。现在的...

1.ge­m­i­ni3确认是tpu训练而非英伟达GPU2.可以确认互联网数据已经被吃完了,在数据上的扩张到头了。现在的... 1.ge­m­i­ni3确认是tpu训练而非英伟达GPU2.可以确认互联

15. Google Research 团队提出了一种极其简单却有效的提示词优化技术:重要的事说三遍!arxiv上的论文题目为...

Google Research 团队提出了一种极其简单却有效的提示词优化技术:重要的事说三遍!arxiv上的论文题目为... Google Research 团队提出了一种极其简单却有效的提示词优
2
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章