当前位置:
AIGC文章详情

张大妈

AI能帮忙厨房看火了!面壁智能开源全模态模型MiniCPM-o4.5,边看边听还能主动抢答

源自公众号:量子位

02-08 13:47

AI的交互方式正在被重塑。面壁智能开源的全模态模型MiniCPM-o4.5,突破了传统“一问一答”的限制,实现了边看、边听、主动说的即时自由对话。这种全双工能力,让AI从一个被动应答的工具,转变为能持续感知环境并主动介入的在场助手,为端侧AI的应用打开了全新想象空间。

AI能帮忙厨房看火了!面壁智能开源全模态模型MiniCPM-o4.5,边看边听还能主动抢答智能速览

  • 面壁智能开源全模态模型MiniCPM-o4.5,支持边看边听主动说。

  • 通过全双工技术,实现音视频输入与文本语音输出并行不阻塞。

  • 模型能基于场景理解主动发起提醒或评论,不再依赖VAD静音检测。

  • 面壁坚持端侧路线,强调软硬一体协同,将与松果派硬件配套。

  • 该模型是AI进入现实连续世界的分水岭,旨在赋能各类终端形态。

AI能帮忙厨房看火了!面壁智能开源全模态模型MiniCPM-o4.5,边看边听还能主动抢答精华内容

从问答机到在场助手,AI的交互正经历一场范式革命。面壁智能的MiniCPM-o4.5,正是通过全双工技术,让AI真正融入了连续的现实世界,开启了全新的可能。

告别回合制问答

传统AI交互是串行的,你说完它才听,它一开口世界就暂停。MiniCPM-o4.5彻底改变了这一点。它能一边与你聊天,一边持续观察变化的环境。比如逛超市时,它能紧随你的步伐和视线,实时回答关于商品价格的问题;在电梯里,它能全程监控楼层变化,在你该下时主动提醒,无需你再次询问。

更关键的是,它能“抢答”。当厨房的空气炸锅完成加热发出“叮”声,不等你开口,AI便会主动告知“好了,它已经叮了”。这种基于持续感知的主动交互,让AI不再是简单的问答机器。

全双工技术核心

实现这一切的核心,是面壁智能首创的“全双工多模态实时流”机制。该机制让模型可以一边持续接收视频和音频输入,一边同步生成语音或文本输出,两条信息流并行运行,彻底解决了以往AI的I/O阻塞问题。

技术上,MiniCPM-o4.5将离线的编解码器升级为支持流式处理的在线版本,并通过时分复用对毫秒级的多模态输入输出进行统一建模。此外,它摒弃了依赖“静音检测”的传统VAD机制,转而以1Hz的频率进行语义层面的持续判断,从而实现更自然的打断与应答。

端侧AI的战略

面壁智能自2022年成立以来,便坚定地押注端侧AI。CEO李大海强调,端侧模型的目标就是赋能终端,这必然要求与端侧芯片进行深度结合。过去近两年,面壁与多家芯片厂商形成了高度协同的工作模式,在芯片设计阶段就反向输入模型需求,实现软硬一体。

其策略分为三步:训练“端原生模型”,让模型生来就能跑在端上;构建软硬协同的基础设施层,解决量化压缩后的精度保持问题;最终产品化交付。即将上市的AI硬件“松果派”开发板,便是这一路线的体现,旨在打通端侧模型到应用的最后一公里。

新AI的分水岭

全双工并非简单的体验升级,而是AI能否真正进入现实连续世界的分水岭。对于具身智能、车载助手或复杂系统而言,“等一下再想”本身就是一种失效。AI需要的是在感知、决策、动作上的连贯性,而非在节点式的“提问/回复”间来回倒腾。

MiniCPM-o4.5的出现,标志着AI从“对讲机”模式进化为“一直在场”的伙伴。它让AI的参与不再是离散的节点,而是融入背景、持续进行的连续过程,这是AI赋能现实世界的真正起点。

MiniCPM-o4.5的出现,标志着AI交互从节点式问答迈向了连续性感知。这不仅是技术升级,更是AI深入现实生活的关键一步,它将重塑人机关系。一个更懂场景、更主动的AI时代,将如何改变我们的日常?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章