Gemini 3.8 Flash 炸了,美国大豆包开智了

Gemini 3.8 Flash 炸了,美国大豆包开智了

2026-11-12 22:11:33 0点赞 0收藏 0评论

点击上方蓝字关注我,加个🌟标不迷路。

各位小伙伴们大家好,我是 cxuan。

刚刚,Gemini 3.8 Flash 发布了。

image-20260903071226044image-20260903071226044

这是我第一次写 Gemini 的模型发布文,因为之前的美国大豆包确实挺一般的。

但是最近几次包括 Gemini 3.7 Flash 我就对他有了一些奇妙的改观。

而这次的 Gemini 3.8 Flash 发布,这个美国大豆包,终于开始开智了。

image-20260902235614552image-20260902235614552

详细来看看。

这是继三周前 Gemini 3.7 Flash 之后的又一个全新版本,这也是 Gemini 六周内发布的第三个模型版本。同时 Gemini 3.8 Flash 也是 Gemini 迄今为止最好的推理和编码模型,同时保持了与 3.7 Flash 相同的速度和低成本。

(我之前实测下来体感就感觉 Gemini 3.7 Flash 速度效果不错的。)

这次 Google 一共发布了两个版本。

一个是面向普通开发者的 Gemini 3.8 Flash,主要强化长程软件工程、Agent 任务和专业领域的多步推理。

另一个是 Gemini 3.8 Flash Cyber,专门做漏洞发现、漏洞修复和安全研究,但是不会向所有用户直接开放,只会通过 Fairwind 计划提供给经过审核的防御者。

Gemini 3.8 Flash 已经是 GA 状态,模型 ID 是 gemini-3.8-flash,支持 100 万 token 上下文、最高 64K 输出,以及 low、medium、high 三档思考等级,默认是 medium。

这里得跟大家说一个细节,Gemini 3.8 Flash ,它知道 works harder 了,也就是它会更卖力地干活。

复杂任务里,它会执行更多推理步骤,反复调用工具,并且在输出之前继续验证自己的结果。

测评数据image-20260902235857856image-20260902235857856

从官方发的评测图可以看出,虽然 Gemini 3.8 Flash 并不是每一项都第一,但是它在长程编码、终端 Agent、金融、法律、图表理解、长视频和科研推理上,已经能够和价格更高的旗舰模型坐在一张桌子上了。

比较亮眼的是,Gemini 3.8 Flash 竟然能够在某些领域上超过了 Opus 5 和 GPT-5.6 Sol 。。。

• DeepSWE v1.1 达到 73.7%,和 Claude Opus 5 的 74.0% 基本齐平;

• Terminal-Bench 2.1 达到 89.4%,超过了图中其他几个旗舰模型;

• Vals Finance Agent v2 达到 61.4%,高于 Gemini 3.7 Flash 的 59.0%;

• CharXiv Reasoning 达到 86.2%,长视频理解 LVBench 达到 87.8%;

• HLE-Verified 达到 54.9%,略高于 Claude Opus 5 和 GPT-5.6 Sol。

GDPVal-AA v2 上,Gemini 3.8 Flash 是 1545 Elo,和 Claude Opus 5 的 1824 还有明显差距。

Terminal-Bench 4.0 上更明显,Gemini 3.8 Flash 只有 19.1%,Claude Opus 5 是 51.8%,GPT-5.6 Sol 是 37.3%。

OSWorld 2.0 这种电脑操作任务里,Gemini 3.8 Flash 是 59.0%,也低于 Claude Opus 5 的 75.4%。

所以这次 Gemini 3.8 Flash 它最明显的进步,还是发生在 长程编码、工具调用和专业 Agent 工作流 里面。

需要说明的是,这张大表也不是所有模型都在同一个 Harness、同一套参数里重新跑出来的。

Google 的测评方法说明标注了:其中一部分来自公开榜单,一部分是 Google 自测,还有一部分竞争模型数据来自厂商自报。

长程编码

DeepSWE v1.1 是这次最显眼的数据。

image-20260903000344927image-20260903000344927

这个 Benchmark 一共有 113 个长程软件工程任务,覆盖 91 个代码仓库和 5 种语言,而且题目是从零编写的,不是直接从已有 PR 和 Commit 里找的答案,所以更难靠训练数据记忆命中。

Gemini 3.8 Flash 在发布图里的成绩是 73.7%,上一代 Gemini 3.7 Flash 是 65.3%,提升了 8.4 个百分点,已经追到了 Claude Opus 5 的 74.0%。

公开榜单里,它四舍五入之后同样是 74%,平均每个任务成本是 2.36 美元。

作为对比,Claude Opus 5 同样是 74%,平均任务成本是 11.84 美元,差不多是 Gemini 3.8 Flash 的 5 倍。

Gemini 3.8 Flash 平均输出 14.3 万 token,执行 166 个 Agent 步骤;Gemini 3.7 Flash 平均输出 10.7 万 token,执行 125 个步骤。

也就是说,3.8 Flash 的提升确实有一部分来自它更愿意思考、更愿意调用工具、更愿意反复验证。

这正好对应了 Google 说的 works harder。

它开始知道自己的地位并且愿意把脏活累活做完了。

金融 Agentimage-20260903000400407image-20260903000400407

Vals Finance Agent v2 上,Gemini 3.8 Flash 是 61.4%,超过 Gemini 3.7 Flash 的 59.0%、Claude Opus 5 的 58.6% 和 GPT-5.6 Sol 的 53.8%。

这个测评可不仅仅问几道金融常识题这么简单,而是让 Agent 去处理公司公告、财报、估值、可比公司、并购案例和财务建模等真实分析任务。

Gemini 3.8 Flash 在 Earnings Analysis、Market Analysis 和 Comparables 等分类里表现尤其好。

不过整个榜单最强模型也就六成左右,这也说明现在的大模型可以帮金融分析师干活,但还远远没有到把结果直接闭眼交付的程度。

法律 Agentimage-20260903000416110image-20260903000416110

Harvey 的 Legal Agent Benchmark 上,Gemini 3.8 Flash 的完整任务通过率是 10.0%,上一代是 8.8%,Claude Opus 5 是 6.7%。

10% 看上去是不是有点低?

因为这个测评的规则非常严格,一个法律任务里只要有一条关键标准没有满足,整个任务就不算完整通过。

Gemini 3.8 Flash 实际满足了 90.2% 的单项标准,但最终完整任务通过率只有 10.0%。

这说明它经常能把大部分事情做对,但是距离可以稳定交付完整法律工作,还有很长一段路。

而且 Google 的图只选择了几个模型进行比较,放到 Vals 的完整榜单里,Gemini 3.8 Flash 也不是第一,Muse Spark 1.2、Grok 4.6 等模型的完整任务得分更高。

综合推理image-20260903000427443image-20260903000427443

HLE-Verified 上,Gemini 3.8 Flash 是 54.9%,Gemini 3.7 Flash 是 53.6%,Claude Opus 5 是 54.4%,GPT-5.6 Sol 是 54.5%。

这项覆盖 STEM、人文和专业领域的多步推理。

Gemini 3.8 Flash 确实拿了图中的第一,但领先幅度只有 0.4 到 1.3 个百分点。

所以更准确的说法应该是一个 Flash 价格的模型,已经挤进了旗舰模型最前面。

官方还给了几个使用 Gemini 3.8 Flash 做的游戏和交互式 Demo,大家一起来鉴赏一下。

第一个是一个第一视角的 3D 魔法城堡游戏,玩家要在城堡里解谜,场景纹理由 Nano Banana 生成,Gemini 3.8 Flash 在 Antigravity 里通过循环指令把整个关卡做了出来。

第二个更抽象,它做了一个 DOS 版本的 Google Maps,不只是复刻一个黑底绿字的界面,而是真的可以搜索地点、规划路线,甚至进入 Street View。

第三个是一个地理地形可视化工具,接入了美国地质调查局的真实数据,可以实时查看著名地理区域的剖面、二维投影和科学解释。

第四个叫 Hardware Anatomy,是一个 Three.js 硬件拆解可视化工具。输入一个硬件设备,它会生成按真实比例拆分的 3D 结构,还可以通过滑块把零部件逐层炸开查看。

这几个 Demo 的共同点是它们都需要模型持续写代码、调用工具、修正结果,最后交付一个真的可以操作的东西。

现在开发者可以在 Google AI Studio、Antigravity、Android Studio 和 Stitch 中使用 Gemini 3.8 Flash。

我在 Antigravity 上已经看到有新鲜的 Gemini 3.8 Flash 可用了。

image-20260903005417054image-20260903005417054Gemini 3.8 Flash Cyber :专家级网络安全性能

Gemini 3.8 Flash Cyber 通过 Fairwind 计划提供给一组值得信赖的防御者,凭借 Flash 的速度和成本优势,能够在当今复杂的网络安全环境中实现快速迭代,从而提供决定性的优势。

这个模型和普通 3.8 Flash 使用的是同一套基础智能,但是针对漏洞发现、修复和安全研究做了更专门的强化。

因为它拥有更宽松的网络安全能力限制,所以目前只向政府安全机构、关键基础设施运营商、核心软件维护者和经过审核的安全团队开放。

自主漏洞发现

在用于查找漏洞的标准行业基准 CyberGym 上,Gemini 3.8 Flash Cyber 在自主漏洞发现方面展现了前沿性能。

image-20260903002115696image-20260903002115696

Gemini 3.8 Flash Cyber 的 Pass@1 是 86.2%,高于 Gemini 3.5 Flash Cyber 的 77.5%、GPT-5.6 Sol 的 83.6% 和 GPT-5.5-Cyber 的 85.6%。

这个第一也不是断层领先,它比 GPT-5.5-Cyber 高 0.6 个百分点。

但是一个 Flash 级别的模型,能在 C/C++ 漏洞发现上追平甚至略超更大的安全模型,还是挺有意思的。

Google 还用一个内部 Benchmark 测了 20 种编程语言里的真实漏洞发现能力。

image-20260903002134886image-20260903002134886

Gemini 3.8 Flash Cyber 达到 71.0%,Gemini 3.7 Flash 是 58.9%,Gemini 3.5 Flash Cyber 是 46.6%。

这组提升非常明显,但需要注意,它使用的是 Google 内部的 1200 个历史确认漏洞数据集,外界无法直接复现,所以更适合看代际提升,不适合当成完全独立的第三方结论。

自动漏洞修复

Gemini 3.8 Flash Cyber 不只是负责找洞,Google 这次更强调的是修洞。

image-20260903002149716image-20260903002149716

在 Collinear AI 的 CWE-Bench 上,Gemini 3.8 Flash Cyber 的 Pass@1 是 47.2%,只比第一名 Claude Fable 5 的 47.8% 低 0.6 个百分点,高于 GPT-5.6 Sol 的 44.2% 和 Gemini 3.7 Flash 的 44.0%。

这个测评包含 100 个保密的审计和补丁任务,覆盖 54 类 CWE,以及 C/C++、Go、Java、JavaScript/TypeScript、Python 和 Rust。

模型拿到的是一个真实代码仓库,但不会有人提前告诉它漏洞在哪里、属于什么类型。它必须自己定位问题、写补丁,并且保证攻击失效、原有测试继续通过。

这也是为什么榜单第一也只有 47.8%。

简单说,现在最强的安全 Agent,面对这种真实修复任务,仍然有一半以上不能一次解决。

所以 Gemini 3.8 Flash Cyber 已经站在了这项测评的帕累托前沿,但离自动接管所有安全修复还早得很。

Google 还公布了几组实际使用数据:

• Chrome 安全团队称,Gemini 3.8 Flash Cyber 生成的正确补丁数量,是最佳大型商业模型的 2.6 倍;

• Wiz 的内部渗透测试测评里,它的召回率高出其他领先模型 7.5% 到 9.7%,成本低 2.3 到 5.2 倍;

• Google Cloud 漏洞研究团队使用它,在不到 2 小时内发现了一个关键基础漏洞,而同类研究通常需要数月。

不过这几项都是 Google 和合作伙伴的内部数据,目前没有完整公开测试集,大家看结论的时候还是要区分官方案例和独立 Benchmark。

提示词注入防御image-20260903002240089image-20260903002240089

Gray Swan 的 IPI Benchmark 测的是间接提示词注入攻击,数字越低越好。

在 15 次攻击机会下,Gemini 3.8 Flash 的攻击成功率是 5.5%,Gemini 3.8 Flash Cyber 是 6.0%,上一代 Gemini 3.7 Flash 是 9.2%。

提升确实很明显,但图里最低的是 Claude Opus 5 的 4.8%。

所以 Gemini 3.8 的提示词注入防御已经进入第一梯队,但仍然不是绝对第一。

这次 Gemini 终于有一种让人感觉它要开智的倾向了。

以前 Flash 给人的感觉就是快、便宜、能用,但是复杂任务最好还是交给更大的旗舰模型。

现在的 Gemini 3.8 Flash 已经开始改观了:

价格还是 Flash 的价格,但长程编码和 Agent 能力,已经能够摸到旗舰模型的上沿。

它当然还有短板,Terminal-Bench 4.0、OSWorld 和通用知识工作都说明,它还没有全面超过 Claude Opus 5、GPT-5.6 Sol 这些模型。

所以我开头说这个美国大豆包好像开智了,这一次,它确实有点像一个可以长期用的主力模型了。

如果这篇文章你觉得还不错,谢谢你的三连,也希望可以转发给同样关注 AI / 科技 / 开发效率的朋友。 我是 cxuan,我们下期再见。

相关资料

• Google:Introducing Gemini 3.8 Flash and 3.8 Flash Cyber

• Gemini API:What's new in Gemini 3.8 Flash

• Gemini 3.8 Flash 测评方法

• DeepSWE v1.1 公开榜单

• Vals Finance Agent v2

• Harvey's Legal Agent Benchmark

• CWE-Bench 公开榜单

• Google DeepMind Fairwind Program

展开 收起
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
京东京享红包
距结束::
领京东现金红包 天天领3次 最高26888元
红包按钮
最新文章 热门文章
0
扫一下,分享更方便,购买更轻松