多模态大模型普遍存在一个深层缺陷：它们能理解文字指令，却常常忽略图片中的关键信息。VC-IFEval框架的提出，正是为了系统性地解决这一“文本合规但视觉不合规”的难题。它通过构建视觉中心的评测与训练体系，首次让模型对视觉约束的真实遵循能力得到量化与提升，为更可靠的视觉交互应用铺平了道路。
智能速览
当前多模态模型评测存在“文本合规≠视觉合规”的核心盲区。
VC-IFEval是首个视觉中心的指令跟随评测与训练体系。
VC-IFEngine流水线可系统产出高质量、强视觉依赖的指令样本。
结合SFT与DPO双数据集协同训练，显著提升模型视觉遵循能力。
在多个基准测试中，模型视觉遵循能力平均提升约9.45%。
精华内容
如何确保多模态模型真正“看到”并理解图像，而非仅凭语言先验作答？VC-IFEval框架通过一套严谨的评测与训练体系，直面这一挑战，给出了系统性的解决方案。
评测盲区
多模态大模型在指令跟随任务中存在一个普遍漏洞：模型生成的回复往往在语言上符合指令要求，但实际上并未利用图像中的关键视觉信息。例如，当被要求“描述图中右上角的红色物体”时，模型可能仅根据“红色物体”这一文本线索，在训练数据中找到一个常见的红色物体进行描述，而完全忽略图片的真实内容。这种依赖语言先验的“蒙对”行为，构成了当前评测体系的根本性缺陷。
数据构建
为构建能真正考验模型视觉能力的评测数据，VC-IFEval配套开发了VC-IFEngine数据构建流水线。该流程分为三个阶段：首先是图像过滤，筛选出信息量丰富的图片；其次是任务生成，基于图像内容生成多样化的任务；最后是关键的约束生成，围绕空间、属性、计数、OCR等10大类视觉约束，创建出“不看图就无法完成”的指令样本。这一系统化流程保证了数据的高质量与强视觉依赖性。
协同训练
该体系采用了双数据集协同训练策略。首先是VC-IFInstruct-10k数据集，用于模型的监督微调（SFT），让模型初步学会遵循视觉约束。更进一步，研究者推出了VC-IFDPO-10k数据集，通过“约束消融”和“图像编辑”技术构造正负偏好对，用于直接偏好优化（DPO）。实验证明，DPO训练效果优于SFT，说明在视觉对齐上，让模型学会“分辨好坏”比单纯的“好答案模仿”更为有效。
实证提升
VC-IFEval的成效在多个基准上得到了验证。在VC-IFEval和MM-IFEval等评测中，仅使用SFT进行微调就能让模型的视觉遵循能力平均提升约4.45%。而引入DPO对齐后，提升幅度进一步扩大至约9.45%。值得注意的是，这种专项能力的提升并未损害模型在VQA（视觉问答）等通用任务上的表现。此外，评测框架的可靠性也得到确认，其自动评测结果与人工判断的一致性（IAA）高达0.86。
VC-IFEval不仅是一个评测工具，更是一套推动多模态模型走向“真诚”的完整方法论。它迫使我们重新审视模型能力的评估标准，将视觉信息的重要性提升到新高度。未来，随着模型在更多需要精细视觉理解的场景中落地，这种以视觉为中心的训练与评测体系，将成为构建更可靠、更值得信赖AI的关键一步。下一个挑战会是什么？
