科大讯飞把大模型压进4B:六成本地跑是目标,41.9%才是现在

源自12位全网作者

08:15

乌镇“互联网之光”博览会的科大讯飞展台上,灵机N9000的说明牌写着一行字:160 TOPS本地AI算力。工作人员主打的不是跑分,是“隐私数据不出机”。

同一套说法,在10月22日的1024开发者节上被概括成一组比例。刘庆峰判断,未来可能有60%的应用会在手机、电脑端侧独立完成,30%端云协同,只有10%留在云端。眼镜财经

但发布会后被反复引用的另一个数字,是41.9%。它是端侧4B模型能独立完成的智能体任务比例。按科大讯飞的说法,业界此前约12.8%。 60%和41.9%经常被放进同一句话,听起来像同一件事。其实不是。界面新闻

41.9%量的是现在的能力边界。它来自一套智能体任务测试,说的是端侧模型能接住多少类活,不是所有工作里已经有41.9%搬到了本地。

60%说的是未来应用跑在哪,是刘庆峰对端云分工的预判。一个是测试集里的覆盖率,一个是几年后的使用分布。

把41.9%当成“六成工作已本地化”,会高估现在。把60%当成纯营销话术,又会低估方向。

先看4B这一档。上一代X2.5-4B在9月开源时,官方放出的对比图已经把它放在同级开源模型前面。
科大讯飞把大模型压进4B:六成本地跑是目标,41.9%才是现在

星火X2.6这次的做法,是云端293B-A30B,配端侧4B和1.7B。端侧4B模型原生支持100万Token上下文,官方称是首个做到这一点的端侧模型。 这是端侧模型第一次把上下文拉到百万级。界面新闻

端云路由准确率96.1%,先由端侧判断:这个任务留在本地,还是交给云端。 路由错了,省下的Token会以另一种方式还回去。新华网

训练侧,长程任务动态并行把超长上下文训练效率提升约4倍;推理侧,自适应存算协同把效率提升4.5倍,KVCache命中率从63%提高到95.7%。

这些数字先解决“能不能在国产算力上训得动”。刘庆峰说,同一个算法在英伟达集群上一个月能验证完,迁到国产平台,三个月才到六成,半年才到八成。雪豹财经社

落到具体任务,端侧现在能接住的是邮件汇总、周报整理、本地表格、日程管理这一类。合同审查这种要多轮推理、要查外部资料的活,仍然要上云。

所以端云一体不是“全都本地”,而是“能本地的先本地”。刘庆峰自己也说,端侧做得达不达标,还要云端大模型来判断。只做端侧、没有云端能力的厂商,指导不了端,也不知道哪些任务该上云。

第三季度营收65.64亿元,同比增长7.99%;归母净利润2.26亿元,同比增长31.05%。 但扣非净利润亏损1.26亿元,前三季度扣非亏损7.63亿元。 同期研发投入超过17亿元,占营收25%以上。界面新闻钛媒体

Token成本是另一头。Gartner在8月的报告里说,多步骤工作流吃掉了API降价省下的钱,推理成本管理成了管理者的首要任务之一。 端侧每完成一个任务,就少一次云端调用。界面新闻

AIPC、AI眼镜、办公本被推到前台,不只是因为它们是端侧模型的载体,也因为它们是把AI能力卖出去的货架。
科大讯飞把大模型压进4B:六成本地跑是目标,41.9%才是现在

展台上,科大讯飞还摆了AI眼镜、AI录音环和办公本。AI眼镜重约40克,支持122种语言,其中13种外语可以离线互译。 这些产品比云端模型更容易被普通人看见,也更容易被拿来判断“端侧AI到底有没有用”。东方财富网
科大讯飞把大模型压进4B:六成本地跑是目标,41.9%才是现在

这场开发者节同期办了AI开发者大赛,15个国家、351座城市、52120支团队参赛。 开发者这边,星火X2.6-4B在10月持续排进Hugging Face模型趋势榜前三。新华网

截至11月2日,相关模型和社区衍生版本累计下载超过400万次,其中58%来自第三方衍生模型。上海证券报

资本市场没那么买账。10月30日收盘,科大讯飞报36.24元,今年以来跌了27.94%。

前三季度归母净利润只有2188.72万元,第三季度单季却赚了2.26亿元。利润高度集中在Q3,教育硬件和消费硬件本来就有季节性,Q4还有双11。

技术故事要变成收入,最后还得落到具体产品上。

对普通买家,端侧AI现在最值得问的不是“模型多大”,而是三件事。

第一,断网还能不能用。把Wi-Fi关掉,现场试你要用的那个功能;有些“本地AI”只把唤醒放在端侧,复杂一步还是上云。

第二,本地算力够不够。4B是能塞进PC、汽车、机器人的门槛尺寸,但同样叫4B,量化精度、内存带宽、NPU调度不同,体验差很多。AIPC的160 TOPS是一个参考,不是所有设备都能跑出同样的速度。

第三,数据在哪处理。有没有本地开关、脱敏、上传前确认;端云协同本身没问题,问题是厂商有没有把边界说清楚。

41.9%不是坏消息。它说明端侧AI已经从“断网能聊两句”,走到“能接一部分活”,但离60%还有一段路。

对科大讯飞,真正的考验不是把60%喊得多响,而是双11之后,用户关掉网络,发现哪些功能真的还能用。端侧AI的第一轮竞争,不是参数表,是断网后的那几分钟。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章