Kimi K3.1 Pro来了别急着冲,实测这3个使用短板先看清

源自89位全网作者

10-24 13:05

10月24日凌晨,月之暗面正式发布新一代开源大模型Kimi K3.1 Pro。 它仍基于K3底座,2.8万亿总参数、1040亿激活,支持100万token上下文窗口。 在第三方机构Artificial Analysis的全球大模型智能指数榜单中,它以55分杀入全球前四,较上一代K3大幅提升11分。 好评与争议同时涌来,但发布24小时后陆续放出的多路实测指向同一个结论:跑分是真的,上手使用却有三个短板必须先看清——成本预估不了、交付过不了工程验收、宣称的"开源"和网安能力都还打了折扣。急着升级套餐或接入生产流程之前,这三个坑值得先绕一遍。微博哔哩哔哩知乎

同一道题,思考量能差到两倍:额度和账单没法预估

独立测评"赛博老胡"在知乎公布的逐项数据最能说明问题:同一道写脚本的题连跑三次,模型的思考量分别是31,477、25,587、50,569个字符,同样的输入,思考长度翻了近两倍;而一道从30万字里找验证码的难题它只想了331个字,一道197个token输入的简单脚本题却想了5万字符,相差153倍。 思考量直接计费,这意味着按token付费的用户无法预估一次调用花多少钱:难的任务可能很便宜,简单的任务可能很贵。知乎

订阅端的体感更直接。有海外博主画了一段霸王龙骑车的3D动画,用掉了199元月档5小时用量的85%。 49元档的coding plan被开发者吐槽一轮都跑不完。 Kimi套餐额度长期不透明的问题,在这代模型的消耗量级上被进一步放大。小红书哔哩哔哩知乎

官方同步推出的Highspeed高速版同智能水平下速度约2~3倍,但快不等于省。

跑分能打,交付却会栽在细节里:别把演示当生产

官方成绩确实硬:Terminal-Bench 4.0得分65.7%,支持Unity、Unreal等游戏开发;3D建模基准BenchCAD达92.7%。 但多路真机实测呈现了另一面。微博

"能跑"和"能用"之间隔着验收。上面那道PowerShell脚本,模型算法逐项核对是对的,却错了两处各自足以让代码报废的细节:把Markdown代码围栏直接写进了脚本文件,第一行就是语法错误;编码用了中文Windows上等于GBK的默认值,读UTF-8的中文文件会整片乱码错位。 测评者的建议很实际:用之前一定要自己跑一遍。知乎

更系统性的缺口在物理世界。拿到提前14小时接口的海外博主Bijan Bowen通宵跑完六项实测,3D打印发动机表现惊艳,机械臂抓取却失败。 一组同题真机任务里,K3.1 Pro只拿到9%,而Opus 5.5和Gemini 4Argon各48%、GPT-6 Astra 47%,差了一个数量级。 另一组四模型同台对比中,四版里有两版在任务理解上明显跑偏,不是渲染差一点,是没读懂要什么。哔哩哔哩哔哩哔哩哔哩哔哩

知乎上也有开发者声称公开题集表现不错、私测的题集则明显拉胯。 这些大多来自单一博主自测,尚未获得独立复现,但方向一致:纸面成绩和用户亲手跑出来的结果之间,这代模型还存在一段要靠反复验收去填的差距。知乎

"开源"还没交付,网安攻防能力也被刻意压低

这条开源路线目前只走了一半。现在可用的是网页端、App、Kimi Work、Kimi Code和API,完整模型权重按官方口径要在发布后两周内放出,多方信息指向11月4日前后,参数细节也要等权重发布才正式披露。知乎

等权重放出时,还有一项官方主动披露的能力削减需要预期:官方博客和中文文档写明,开源权重在中期训练和强化学习两个阶段识别并移除网络攻防相关数据,通用编程任务保留;在自研的漏洞发现与利用基准xdev-bench-hard上,未过滤版pass@3是90.5%,最终版是81.0%。 对照原文核验的结论是"部分属实":砍掉的是训练侧语料和强化环境,产品并非一问网络安全就完全空白,官方也承认攻防很难拆干净、通用编程变强后安全能力还会泛化回来,并表示计划逐步提高开放权重里的网络能力。但对红队、漏洞研究这类用户,这代开源权重不是满血版。微博

短板之外,什么情况仍然值得冲

三个短板不等于模型不行。100万上下文全程统一每token计价,官方定价输入每百万token13元、输出68元、缓存命中仅1.3元,长文档没有价格翻倍陷阱。 缓存命中只有输入价的十分之一,同一份长文档反复提问几乎免费——这恰好对冲了思考量不稳定的问题:重复查询走缓存,一次性任务先小样跑。长文档处理、3D创作(可直连Blender、Godot,新上线的3D Make支持导出GLB、3MF等格式直接打印)与深度研究是实测中的强项;官方披露金融任务事实错误率从23.4%降到8.3%,有测评者用10道虚构题实测编造率为0,样本太小只能算好倾向。微博知乎

按短板对号入座最稳妥:按量付费用户先建立自己的成本测试流程,再谈接入生产;重交付的工程团队把人工验收写进流水线;安全研究和需要本地部署的用户,等11月初权重发布后再评估。别急着冲的不是模型能力,是账单和验收标准还没对齐的那部分。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章