腾讯混元Hy4 preview升级,Agent任务Token消耗大幅压缩
腾讯混元Hy4 preview刚打了个补丁,专治大模型跑Agent时「想太多」的毛病。9月7日,腾讯混元联合WorkBuddy宣布Hy4 preview升级全量上线,针对复杂任务下的过度自我验证和长思考做了专项优化。最实在的结果是:活干得一样好,但任务轮次和输入输出Token消耗显著降下来了。对开发者来说,这就等于API账单直接打折。
专治「内耗」:不牺牲效果,但少绕圈子
之前用大模型跑长链条任务,很容易碰到一种情况:模型得出了正确结论,但出于「谨慎」,它非要一遍遍自我验证,反复调用工具检查。这在Hy4 preview里表现得比较集中。用户等半天看它在那转圈,实际上大量Token都烧在了无意义的反复推演上。这次升级,联合团队用Bench指标加人工评测双重卡着,确保模型变果断的同时不犯懒。效果很明显,原本要跑好几轮的复杂任务,现在步子迈得更大,省掉了那些多余的验证步骤。
之前用大模型跑长链条任务,很容易碰到一种情况:模型得出了正确结论,但出于「谨慎」,它非要一遍遍自我验证,反复调用工具检查。这在Hy4 preview里表现得比较集中。用户等半天看它在那转圈,实际上大量Token都烧在了无意义的反复推演上。这次升级,联合团队用Bench指标加人工评测双重卡着,确保模型变果断的同时不犯懒。效果很明显,原本要跑好几轮的复杂任务,现在步子迈得更大,省掉了那些多余的验证步骤。
省下的Token就是真金白银
Hy4 preview本身走的就是高性价比路线。8月底首发时,它的定价是输入6元、输出18元每百万Token,缓存命中更是只要0.3元。这个价格已经是很多海外旗舰模型报价的十几分之一。但光单价便宜不够,如果模型动不动就陷入长思考死循环,单次任务消耗的Token总量降不下来,用起来依然肉疼。这次优化直接掐断了这种无效消耗,配合它原本770B总参数、49B激活的MoE架构和1M超长上下文,在做端到端复杂开发、批量长文档处理这些重负载场景时,实际调用成本会变得非常可控。
Hy4 preview本身走的就是高性价比路线。8月底首发时,它的定价是输入6元、输出18元每百万Token,缓存命中更是只要0.3元。这个价格已经是很多海外旗舰模型报价的十几分之一。但光单价便宜不够,如果模型动不动就陷入长思考死循环,单次任务消耗的Token总量降不下来,用起来依然肉疼。这次优化直接掐断了这种无效消耗,配合它原本770B总参数、49B激活的MoE架构和1M超长上下文,在做端到端复杂开发、批量长文档处理这些重负载场景时,实际调用成本会变得非常可控。
跑Agent的开发者,值得切过去试试
这次升级是跟办公场景产品WorkBuddy一起发的,针对性很强。如果日常只是做简单问答,对轮次消耗可能不敏感;但如果是跑自动化编程、多步骤Agent或者长流程工程任务,这次优化就是实打实的成本红利。模型现在已经在腾讯云TokenHub、OpenRouter以及CodeBuddy等产品全量上线,还在用旧版或者受困于高额Token消耗的开发者,可以直接把流量切过来实测一下,看看账单能不能如期缩水。
这次升级是跟办公场景产品WorkBuddy一起发的,针对性很强。如果日常只是做简单问答,对轮次消耗可能不敏感;但如果是跑自动化编程、多步骤Agent或者长流程工程任务,这次优化就是实打实的成本红利。模型现在已经在腾讯云TokenHub、OpenRouter以及CodeBuddy等产品全量上线,还在用旧版或者受困于高额Token消耗的开发者,可以直接把流量切过来实测一下,看看账单能不能如期缩水。
历史事件回溯
当前事件
混元Hy4preview升级降Token耗
- 版本迭代:迭代至混元Hy4-preview版本
- 成本降幅:Token消耗显著降低
- 性能表现:模型基础能力全面升级
2024年5月
GPT-4o发布且API成本减半
- 版本迭代:迭代至GPT-4o多模态版本
- 成本降幅:价格较GPT-4 Turbo降低50%
- 性能表现:速度提升2倍,多模态实时交互
2023年11月
GPT-4 Turbo发布且价格大降
- 版本迭代:迭代至GPT-4 Turbo版本
- 成本降幅:价格较GPT-4下降约67%
- 性能表现:上下文窗口扩至128K


当前文章无评论,是时候发表评论了