大型语言模型能否真正理解复杂的化学反应？RxnBench基准测试给出了答案。它通过多层次的评估任务，揭示了当前顶尖AI在化学逻辑推理和长文档理解上的显著短板，为构建更强大的AI化学家指明了关键路径。
智能速览
RxnBench是首个评估AI化学反应理解能力的多模态基准。
它包含单图问答和全文档问答两大核心任务，共覆盖上千个问题。
评估显示，当前AI模型在深度化学逻辑和精确结构识别上存在巨大差距。
顶尖模型在全文档问答任务中的准确率仍未达到50%。
该基准为未来开发更精确的“AI化学家”提供了方向。
精华内容
RxnBench的出现，为衡量AI在化学领域的真实水平提供了精准标尺。它究竟如何设计的，又暴露了哪些模型的根本性问题？
基准的诞生
RxnBench是由DP Technology与清华大学等机构联合开发的多模态基准测试。其核心目标是超越简单的文本提取，去评估大型语言模型在科学文献中理解化学反应的真实能力。它通过模拟化学家阅读文献的认知过程，为“AI化学家”的能力划定了一个清晰的评估起点。
双层任务设计
该基准设计了两大核心任务来挑战模型。首先是单图问答（SF-QA），包含1525个问题，聚焦于反应图的细粒度视觉感知和机制推理，考验模型对化学结构的精准识别能力。其次是全文档问答（FD-QA），要求模型整合108篇文献中的文本、图表和表格信息，挑战其跨模态长文档理解能力。
能力差距显现
评估结果揭示了当前模型的局限性。尽管在提取显式文本信息方面表现出色，但模型在深度化学逻辑推理和精确结构识别上存在显著能力差距。一个关键的量化结论是，即使在推理时进行优化的顶尖模型，其在FD-QA任务中的准确率也未达到50%，这凸显了模型处理复杂科学叙事时的巨大挑战。
未来研究方向
基于评估结果，未来的研究路径变得清晰。首要任务是开发专门针对化学领域的视觉编码器，以实现像素级的分子图精准识别。同时，集成RDKit等外部化学工具来验证模型输出的化学合理性，以解决“幻觉”问题。最终，目标是让模型从被动问答转向主动代理，实现自主导航和验证文献数据。
RxnBench不仅是一份评估报告，更是一张通往‘AI化学家’时代的蓝图。它客观地指出了当前技术的边界，也为未来的突破点提供了明确指引。真正的AI化学家，离我们还有多远？
