去掉 VAE 之后,商汤用 8B 参数重新定义了开源生图的上限
商汤近日开源了SenseNova U1系列模型,包括基于稠密骨干网络的8B-MoT和基于混合专家(MoE)骨干网络的A3B-MoT两个版本。该模型采用自主研发的NEO-unify架构,完全摒弃了传统扩散模型依赖的变分自编码器(VAE)和视觉编码器(VE),实现了在单一模型架构上对多模态理解、推理与生成的原生统一。目前,该项目以Apache 2.0协议完全开源,支持商用,并已适配ComfyUI工作流。
01NEO-unify架构:打破模态壁垒
长期以来,多模态理解与生成被视为两条独立的技术路线,分别由视觉语言模型(VLM)和扩散模型主导。SenseNova U1的NEO-unify架构核心突破在于,直接在像素层面进行端到端建模,消除了传统架构中跨模块传递带来的信息损耗。
技术架构演进对比
传统集成架构
如GPT-4o及Stable Diffusion等主流方案
- 依赖VAE将图像压缩至潜空间,存在有损压缩
- 理解与生成模块独立演进,特征表示割裂
- 多模块接力导致模型冗余和交互障碍
NEO-unify原生统一
SenseNova U1采用的创新方案
- 完全移除VAE和视觉编码器,直接处理像素
- 语言与视觉在同一表征空间参与每一层计算
- 采用混合Transformer(MoT)解决理解与生成协同问题
02性能评测:8B参数达成SOTA
在多项基准测试中,SenseNova U1 8B-MoT模型展现了均衡的能力谱系,其在理解、生成、编辑及视觉推理等任务上均达到同量级开源模型SOTA水平,并在部分指标上超越大型闭源模型。
| 测试基准 | 任务类型 | SenseNova U1 8B-MoT 表现 | 行业意义 |
|---|---|---|---|
| GenEval | 图像生成 | 总分约 0.91-0.92 | 达到开源模型领先水平 |
| MMMU | 多模态理解 | 80.55 | 体现复杂场景下的理解能力 |
| OneIG | 文字渲染 | 0.977 | 解决中文生图扭曲难题 |
SenseNova U1 核心数据表现
技术报告指出,原生像素-文本接口减少了跨模块对齐成本,配合MoT架构,使得该模型在更少训练Token下即可取得优于类似统一模型BAGEL的表现。在推理响应速度方面,U1 Lite在保证图像生成质量比肩Qwen-Image 2.0 Pro等大型闭源模型的同时,展现出显著的速度优势。
03实测场景:高密度信息图表生成
在生产级任务中,SenseNova U1展现了异构素材知识合并与逻辑自洽的叙事能力。实测显示,模型在处理“院线电影观影指南”及《甄嬛传》剧情信息图制作时,能够根据内容密度自适应排版,字体、颜色及元素比例协调,且文字渲染准确率达到落地级别。
04部署方案:ComfyUI快速上手
商汤已上线ComfyUI部署支持,开发者可将U1作为自定义节点嵌入工作流,实现全链路可视化操作。环境推荐Python ≥ 3.10及16GB显存(8B-MoT标准版),低显存用户可使用GGUF量化版。
- 安装依赖
进入ComfyUI的custom_nodes目录,克隆官方仓库并使用uv安装requirements.txt中的依赖。 - 配置环境
配置API Key(本地推理可跳过),启动ComfyUI并拖入workflow_demo.json即可运行。 - 核心节点
支持“带图思考”的交错生成节点,提供8步推理加速版、LoRA微调版及GGUF量化版选项。
当前文章无评论,是时候发表评论了