针对当前多模态大模型架构复杂、模态割裂等痛点，NEO提出了一种端到端的原生多模态框架。通过创新的注意力机制和位置编码设计，仅用390M图文对从头训练就超越了InternVL3等主流模型，为多模态统一建模提供了新思路。
智能速览
NEO采用端到端原生设计，突破了传统模块化架构限制
创新性扩展Attention层维度，保留空间信息
针对不同维度优化ROPE，解决视觉任务分辨率问题
390M图文对训练超越InternVL3和Qwen2.5 VL
在知识密集型任务上仍有提升空间
精华内容
传统多模态大模型面临着架构复杂、模态割裂的困境。NEO通过端到端的原生设计，在保持语言能力的同时实现了视觉和语言的深度融合。
架构创新
NEO采用了简化的两层conv+GELU作为编码器，每个token对应32×32的图像patch。与传统将视觉Token简单压扁成1D序列不同，NEO在Attention层中创新性地扩展了Query和Key的头维度。
通过保留原本的时间维度T，并新增独立的H（高）和W（宽）维度，模型能够更好地处理视觉信息的空间结构。新增的H和W维度权重被初始化为0，这种设计巧妙地保护了预训练的语言能力，避免了视觉信息的干扰。
位置编码优化
NEO对ROPE进行了重要改进，针对T、H、W三个维度分别设定不同的旋转频率。T维度关注长距离依赖，适合处理语言信息；而H/W维度则关注局部依赖，更适合捕捉视觉纹理特征。
这种差异化设计有效解决了传统LLM位置编码在视觉任务上分辨率不足的问题，让模型能够同时兼顾语言的连贯性和视觉的细节。
训练效率
令人惊讶的是，NEO仅使用390M图文对进行从头训练，就在性能上超越了InternVL3和Qwen2.5 VL同等规模的模型。这一成绩充分证明了原生多模态架构的优越性。
相比需要大量后训练的传统模型，NEO的训练效率显著提升，为资源受限的研究团队提供了可行方案。
性能局限
实验结果显示，NEO在重知识、重OCR的任务上（MMMU、InfoVQA、TextVQA）稍有落后。这表明345M训练数据中的世界知识和中文OCR内容仍然偏少。
另一个有趣的发现是，9B模型相比2B模型在某些文档理解任务上不仅没有提升，甚至出现了轻微下降。这说明当前的语料规模对大模型来说还不够充分，模型尚未完全饱和。
NEO的出现为多模态大模型的发展指明了新方向。通过端到端的原生设计和创新的注意力机制，证明了统一建模的可行性。虽然在知识密集型任务上仍有不足，但随着数据规模的扩大，这类原生多模态模型有望成为未来的主流。多模态AI是否真的能够实现真正的理解，还是仅仅停留在表面关联？
