多模态大模型虽然能看懂图表，但能否直接根据指令进行精准修改？复旦提出的ChartE3基准跳过代码生成环节，直接测试端到端编辑能力，发现模型在处理数据结构变更时仍存在显著短板，为未来研究指明了方向。
智能速览
提出ChartE3基准，采用直接图像到图像的编辑评测范式。
涵盖12类编辑任务，包含外观修改和结构级数据变更。
构建包含808张图表和1211条指令的高质量可验证数据集。
实验发现模型擅长局部编辑，但难以处理全局数据操作。
闭源模型整体优于开源模型，结构理解仍是核心瓶颈。
精华内容
多模态大模型在视觉理解上表现强劲，但在直接对图表进行端到端编辑时，能力究竟如何？
端到端评测
ChartE3基准打破了以往依赖中间代码的“图表-代码-渲染”范式，直接采用图像到图像的编辑设定。这种设计旨在真实衡量模型的视觉理解与执行能力，填补了图表理解与代码生成评测之间的关键空白。
通过五阶段流水线构建，该基准最终形成了包含808张图表和1211条指令的高质量数据集，确保了评测的可靠性与多样性。
任务全覆盖
基准系统覆盖了局部与全局编辑任务，共计12类编辑类型。不仅包含颜色、字体等外观级修改，还深入到数据排序、过滤、图表类型转换等结构级编辑。
这种从易到难的清晰梯度设计，能够全方位测试模型在不同复杂度下的表现，准确识别出模型在理解图表深层逻辑时的不足。
结构理解弱
实验结果显示，当前多模态模型在局部图表编辑上表现良好，但在涉及数据驱动的全局编辑任务（如排序、过滤）上显著失效。闭源模型整体表现优于开源模型。
即便对比强大的代码中介方法，端到端图像编辑在视觉一致性上仍具优势。然而，结构理解能力不足仍是当前多模态模型面临的核心瓶颈。
ChartE3基准的推出，不仅暴露了多模态模型在结构理解上的软肋，也为后续研究提供了坚实的评估基础。面对复杂的图表编辑需求，模型如何跨越视觉感知与逻辑推理的鸿沟？这值得每一位从业者深思。
