仅用4B参数打通全栈多模态!轻量级一体化模型 InternVL-U 正式开源
上海人工智能实验室联合多所高校正式开源了多模态一体化模型 InternVL-U。该模型参数量仅为 4B,通过架构创新与数据范式革新,突破了现有统一多模态模型训练成本高昂、能力不均衡的瓶颈,在文本渲染、科学推理、空间建模等复杂场景中实现了对 14B 级模型的超越,为多模态技术落地提供了高效选择。
01背景痛点与架构创新
- 现有模型痛点
全原生模型训练成本高昂,全集成模型能力失衡,难以兼顾效率与性能。 - 三大核心设计
采用“统一语境建模 + 模态专用模块化 + 解耦视觉表征”架构,在 4B 参数规模下实现能力最大化。 - 视觉生成头创新
采用双流 MMDiT 设计,包含双流注意力、双流 FFN,以及面向 VAE 图像潜变量和多模态上下文嵌入的统一 MSRoPE 位置编码,支持 512-1024px 多分辨率生成。 - 不对称视觉表征
在理解任务中使用预训练 ViT 提取高语义特征,在生成任务中通过独立 VAE 将图像压缩至 latent 空间,避免语义与重建的优化冲突。
02数据策略与训练流程
InternVL-U 构建了覆盖 6 大场景的高质量数据合成管线,总数据量达千万级。其核心的“推理中心”范式通过思维链 CoT 将抽象指令转化为可执行步骤,模型采用“预训练 - 持续预训练 - 微调”的三级训练策略,确保能力稳步提升。
- 2025年03月11日
- 2025年03月11日
- 2025年03月11日
- 查看全部进展
03多场景实测表现
| 评测场景 | 基准/任务 | InternVL-U (4B) 表现 | 对比/优势 |
|---|---|---|---|
| 文本渲染与编辑 | CVTG-2k / LongText-Bench | 支持中英文、数学符号精准渲染,无拼写错误,完美保留背景纹理 | 表现领先,支持多区域文本同步编辑 |
| 科学推理 | GenExam (含 CoT) | 综合得分 22.9 | 领先所有开源统一模型;物理 24.2,化学 23.5,接近专业工具水平 |
| 复杂逻辑推理 | RISEBench (启用 CoT) | 综合得分 9.4 | 超越 Qwen-Image-Edit (8.9) 等专用编辑模型 |
| 空间与三维理解 | 立体几何 / CAD 设计 | 支持旋转体生成、多视角转换、物体旋转 | 生成结果严格符合数学规范,保持结构一致性 |
InternVL-U 在多场景下的性能数据对比
04部署价值与资源
InternVL-U 以 4B 参数实现了以往 10B+ 参数模型的全栈能力,证明了端到端的多模态能力并不绝对依赖庞大算力。该模型可在消费级显卡上灵活部署,极大降低了 AI 技术融入实际业务的门槛。目前,模型的完整推理代码、模型权重与评测工具已全面开源。
- GitHub 代码仓库
github.com/OpenGVLab/In... - HuggingFace 模型
huggingface.co/InternVL... - 技术报告
arxiv.org/pdf/2603.0987...
当前文章无评论,是时候发表评论了