商汤发布多模态“效率怪兽”,开源即SOTA!最小仅8B,比肩商用
随着多模态大模型的发展,业界关注点正从单纯的“画得好”向“速度快、效率高、成本低”转变。传统多模态模型常将视觉理解与图像生成分离为两套体系,这种底层逻辑的割裂限制了整体效率的提升。商汤科技近日开源了原生理解生成统一模型SenseNova U1,该模型基于自研NEO-unify架构,将图像与文本的理解、生成能力统一到同一体系中,旨在消除中间环节带来的信息损耗,实现高效的多模态处理。
01技术架构:NEO-unify原生统一范式
SenseNova U1的核心优势源于其底层的NEO-unify架构。该架构摒弃了传统“视觉编码器理解图像+变分自编码器生成图像”的分离式设计,不再将语言和视觉视为需要中间转换的两种信号,而是从一开始就将它们当作同一类信息进行建模。通过MoT(Mixture-of-Transformer)无编码器设计,模型直接在像素与语言上进行思考,实现了语义理解与细节保留的平衡,使理解与生成在同一表征空间中协同工作。
02性能表现:8B参数实现SOTA与低延迟
本次开源包含SenseNova-U1-8B-MoT与SenseNova-U1-A3B-MoT两个版本。在多项基准测试中,8B参数规模的SenseNova U1展现了“以小搏大”的能力,在理解与生成侧均取得领先成绩,并在生成质量与响应速度上实现了良好的平衡。
| 测试维度 | 基准/指标 | SenseNova U1 表现 |
|---|---|---|
| 图像理解 | AI2D、IFBench等 | AI2D得分91.7,在复杂结构与关系判断任务中表现稳定 |
| 信息图生成 | GenEval、OneIG、IGenBench | 平均得分50.7,开源SOTA,媲美部分闭源商业模型 |
| 视觉推理与编辑 | WISE、VBVR、OpenING、GEdit-Bench | OpenING任务得分91,视觉推理能力明显优于传统图像生成模型 |
| 响应效率 | Infographic等综合任务 | 约15秒延迟下接近60分平均成绩,具备高性能、低延迟特性 |
SenseNova U1 多维度性能表现
03实测场景:高密度信息与连贯图文创作
在实际应用测试中,SenseNova U1展现了处理复杂排版和连贯内容生成的能力。在高密度信息图生成方面,模型能够自动提炼关键信息并进行立体分层排版,如在“苏超出圈之路”案例中,文字随结构自然分布,未出现错位或遮挡。面对“龙虾使用指南”等包含中英文混排和情绪化表达的复杂指令,模型能匹配对应图标和画面,布局合理。此外,模型还具备语义对齐能力,能准确理解如“奥特曼”等昵称并生成对应形象。其生成速度较快,图像生成基本在十几秒内完成,接近“言出法随”的体验。
04行业意义:空间智能与具身大脑的探索
SenseNova U1不仅是生成工具,更是业内首个能在单一模型上进行连贯图文交错生成的模型。它能够在推理过程中引入对空间结构的理解,一边解释逻辑一边生成对应的示意图或流程图,保持文字与视觉内容的上下文一致性。这种“带图思考”的能力与空间智能紧密相关,为未来具身智能的发展提供了技术储备。机器人需要在真实环境中理解物体关系并做出决策,SenseNova U1所探索的统一架构,为打通理解、推理和视觉表达提供了一条更接近多模态闭环的路径。
当前文章无评论,是时候发表评论了