什么值得买App下载 App ›
连续签到专享现金活动

仅用4B参数打通全栈多模态!轻量级一体化模型 InternVL-U 正式开源

上海人工智能实验室联合多所高校正式开源了多模态一体化模型 InternVL-U。该模型参数量仅为 4B,通过架构创新与数据范式革新,突破了现有统一多模态模型训练成本高昂、能力不均衡的瓶颈,在文本渲染、科学推理、空间建模等复杂场景中实现了对 14B 级模型的超越,为多模态技术落地提供了高效选择。
01背景痛点与架构创新
  • 现有模型痛点
    全原生模型训练成本高昂,全集成模型能力失衡,难以兼顾效率与性能。
  • 三大核心设计
    采用“统一语境建模 + 模态专用模块化 + 解耦视觉表征”架构,在 4B 参数规模下实现能力最大化。
  • 视觉生成头创新
    采用双流 MMDiT 设计,包含双流注意力、双流 FFN,以及面向 VAE 图像潜变量和多模态上下文嵌入的统一 MSRoPE 位置编码,支持 512-1024px 多分辨率生成。
  • 不对称视觉表征
    在理解任务中使用预训练 ViT 提取高语义特征,在生成任务中通过独立 VAE 将图像压缩至 latent 空间,避免语义与重建的优化冲突。
02数据策略与训练流程
InternVL-U 构建了覆盖 6 大场景的高质量数据合成管线,总数据量达千万级。其核心的“推理中心”范式通过思维链 CoT 将抽象指令转化为可执行步骤,模型采用“预训练 - 持续预训练 - 微调”的三级训练策略,确保能力稳步提升。
  • 2025年03月11日
  • 2025年03月11日
  • 2025年03月11日
  • 查看全部进展
03多场景实测表现
评测场景基准/任务InternVL-U (4B) 表现对比/优势
文本渲染与编辑CVTG-2k / LongText-Bench支持中英文、数学符号精准渲染,无拼写错误,完美保留背景纹理表现领先,支持多区域文本同步编辑
科学推理GenExam (含 CoT)综合得分 22.9领先所有开源统一模型;物理 24.2,化学 23.5,接近专业工具水平
复杂逻辑推理RISEBench (启用 CoT)综合得分 9.4超越 Qwen-Image-Edit (8.9) 等专用编辑模型
空间与三维理解立体几何 / CAD 设计支持旋转体生成、多视角转换、物体旋转生成结果严格符合数学规范,保持结构一致性

InternVL-U 在多场景下的性能数据对比

04部署价值与资源
InternVL-U 以 4B 参数实现了以往 10B+ 参数模型的全栈能力,证明了端到端的多模态能力并不绝对依赖庞大算力。该模型可在消费级显卡上灵活部署,极大降低了 AI 技术融入实际业务的门槛。目前,模型的完整推理代码、模型权重与评测工具已全面开源。
  • GitHub 代码仓库
    github.com/OpenGVLab/In...
  • HuggingFace 模型
    huggingface.co/InternVL...
  • 技术报告
    arxiv.org/pdf/2603.0987...

评论

评论区空态插画

当前文章无评论,是时候发表评论了