混元Hy4幻觉率下降,做金融分析靠谱吗

源自30位全网作者

11-04 22:09

11月4日,腾讯混元正式发布新一代大语言模型Hy4,770B参数、首次加入视觉理解和电脑操作,官方发布要点里被热榜盯上的两句话挨在一起:幻觉率大幅下降,金融分析做到开源第一。 先说结论:下降是真的——信息不足时硬编答案的“猜测错误率”从23.1%压到5.6%;但“靠谱”更准确的读法是“能当投研助手,还不能当免核验的决策依据”。微博

幻觉率确实降了,只是官方给了两套数

先看这组数:官网研究页写的是从15.76%降到5.45%,技术公众号写的是从12.95%降到7.2%,两个数出自不同的自建测试集,口径都没写全,没法互相换算。 两套口径完全一致的反而是另一个指标:因猜测导致的错误率,从23.1%降到5.6%。 它管的是信息不足时硬编答案,这恰恰是金融业务里最要命的失误。官方给出的路径,是针对时效检索与事实一致性校验做搜索优化。 也要把另一半说清楚:降了不等于归零,在错一个数字就是真金白银的场景里,剩余风险仍然要由人来付。知乎微博知乎

金融“开源第一”是真的,但要带着限定读

这个第一,来自混元联合腾讯金融科技 FiT 组织的专家盲测:213位专家里153位来自外部头部金融机构,七成有五年以上经验,579个真实金融任务按4分制打分,Hy4得3.04分,DeepSeek-V4.1-Flash-1017得2.97分,Kimi K3.1 Pro和GLM-5.3均为2.68分。 打分人过半来自腾讯体系之外,题目是真实业务,这是官方材料里最硬的一组证据。但它终究是厂商组织的评测,独立性不能外推,Hy4与第二名只差0.07分,这个“第一”只能在这次众测、表中四款模型的范围内成立。 合作机构给出的专项数字口径同样无法互相对齐:讯兔科技基于101道真实投研任务的IRAB评测给Hy4打出61.63分,较preview提升12.03分——改善属实,绝对水平谈不上高。知乎知乎

第三方验证还没跟上

“第一”目前只是腾讯自己的口径:截至发布当天,SuperCLUE、Vals AI等主流第三方评测还没有Hy4正式版的入榜记录,发布太新,谁都还没来得及测。 上一代preview在第三方综合榜上仍排在国产第一梯队之外,不构成背书。官方也没有回避差距:Hy4已是开源最强之一,但和顶尖闭源模型仍有差距,要继续追。 另外,发布看板上部分自测项标注了“internal”、部分带星号,意味着这些数字缺少公开复现材料,横向比较时要单独打折。知乎微博

实测有亮点,但一个案例不算数

雷科技实测了一个特意埋坑的任务:给一张清晰度一般的苹果Q4财报截图,要求计算iPhone平均售价。Hy4准确提取出营收金额,并联网检索到IDC提供的当季iPhone出货量,算出了iPhone的ASP为1005美元。 更值得注意的不是这个数,而是它主动指出了算法本身的口径缺陷——统计周期错位、iPhone类目营收包含配件。“有几分材料说几分话”,正是金融场景最需要的行为特征。但一次演示代表不了任务分布:换成真实杂乱的表格、被遮挡的图片,成功率需要自己重测。知乎

金融用户现在该怎么判断

综合所有能核实的证据,Hy4现阶段在金融分析里是“能减少核对工作、不能替代核对”:读财报、整理多源材料、写投研初稿值得一试,而进入决策的数字、它引用的来源和支撑结论的推导链条,仍要人工抽查。眼下有三个可操作的观察点。第一,趁免费期做自己的验收:11月4日到15日WorkBuddy、CodeBuddy每日赠送额度,API价格与上一代一致,输入6元、输出18元、缓存命中0.3元每百万tokens。 拿自己的真实材料跑一遍,重点记录它看不清时会不会标注待确认,而不是硬编。第二,打算私有化部署的还要再等:正式版权重截至发布日并未开放下载,官方开源列表里与Hy4对应的仍是preview。 等权重、许可证和系统卡片齐了再做评估。第三,看接下来几周独立评测的收录结果——“第一”能否变成“靠谱”,最终由第三方榜单和你自己的业务复测说了算。微博知乎

从“幻觉率下降”到“做金融分析靠谱”,Hy4走出了一段能被核验的进步,但剩下的路要靠独立评测和人工核验来填:它值得进入试用和选型名单,别急着把结论签字权交给它。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章