什么值得买App下载 App ›
连续签到专享现金活动

去掉 VAE 之后,商汤用 8B 参数重新定义了开源生图的上限

商汤近日开源了SenseNova U1系列模型,包括基于稠密骨干网络的8B-MoT和基于混合专家(MoE)骨干网络的A3B-MoT两个版本。该模型采用自主研发的NEO-unify架构,完全摒弃了传统扩散模型依赖的变分自编码器(VAE)和视觉编码器(VE),实现了在单一模型架构上对多模态理解、推理与生成的原生统一。目前,该项目以Apache 2.0协议完全开源,支持商用,并已适配ComfyUI工作流。
01NEO-unify架构:打破模态壁垒
长期以来,多模态理解与生成被视为两条独立的技术路线,分别由视觉语言模型(VLM)和扩散模型主导。SenseNova U1的NEO-unify架构核心突破在于,直接在像素层面进行端到端建模,消除了传统架构中跨模块传递带来的信息损耗。

技术架构演进对比

传统集成架构

如GPT-4o及Stable Diffusion等主流方案

  • 依赖VAE将图像压缩至潜空间,存在有损压缩
  • 理解与生成模块独立演进,特征表示割裂
  • 多模块接力导致模型冗余和交互障碍
NEO-unify原生统一

SenseNova U1采用的创新方案

  • 完全移除VAE和视觉编码器,直接处理像素
  • 语言与视觉在同一表征空间参与每一层计算
  • 采用混合Transformer(MoT)解决理解与生成协同问题
02性能评测:8B参数达成SOTA
在多项基准测试中,SenseNova U1 8B-MoT模型展现了均衡的能力谱系,其在理解、生成、编辑及视觉推理等任务上均达到同量级开源模型SOTA水平,并在部分指标上超越大型闭源模型。
测试基准任务类型SenseNova U1 8B-MoT 表现行业意义
GenEval图像生成总分约 0.91-0.92达到开源模型领先水平
MMMU多模态理解80.55体现复杂场景下的理解能力
OneIG文字渲染0.977解决中文生图扭曲难题

SenseNova U1 核心数据表现

技术报告指出,原生像素-文本接口减少了跨模块对齐成本,配合MoT架构,使得该模型在更少训练Token下即可取得优于类似统一模型BAGEL的表现。在推理响应速度方面,U1 Lite在保证图像生成质量比肩Qwen-Image 2.0 Pro等大型闭源模型的同时,展现出显著的速度优势。
03实测场景:高密度信息图表生成
在生产级任务中,SenseNova U1展现了异构素材知识合并与逻辑自洽的叙事能力。实测显示,模型在处理“院线电影观影指南”及《甄嬛传》剧情信息图制作时,能够根据内容密度自适应排版,字体、颜色及元素比例协调,且文字渲染准确率达到落地级别。
04部署方案:ComfyUI快速上手
商汤已上线ComfyUI部署支持,开发者可将U1作为自定义节点嵌入工作流,实现全链路可视化操作。环境推荐Python ≥ 3.10及16GB显存(8B-MoT标准版),低显存用户可使用GGUF量化版。
  1. 安装依赖
    进入ComfyUI的custom_nodes目录,克隆官方仓库并使用uv安装requirements.txt中的依赖。
  2. 配置环境
    配置API Key(本地推理可跳过),启动ComfyUI并拖入workflow_demo.json即可运行。
  3. 核心节点
    支持“带图思考”的交错生成节点,提供8步推理加速版、LoRA微调版及GGUF量化版选项。

评论

评论区空态插画

当前文章无评论,是时候发表评论了