张大妈

NTU&阿里:高难度真实ESG审计的智能体基准

源自小红薯:每日ComputerScience

01-26 19:50

当前ESG分析面临数据碎片化、跨文档跨标准流程、真实合规要求三大痛点。传统LLM难以胜任高风险强约束场景。南洋理工大学与阿里巴巴联合提出的ESGBenchmark与ESGAgent,首次基于真实企业披露材料系统评测智能体在ESG任务中的综合能力,填补了高复杂度ESG Agent评测空白。

NTU&阿里:高难度真实ESG审计的智能体基准智能速览

  • 基于真实上市公司ESG报告构建基准测试

  • 设计三层难度体系精准拉开模型差距

  • 多维度评估指标关注专业可信度

  • 采用分层多智能体架构ESGAgent

  • 在246个任务上显著领先主流模型

NTU&阿里:高难度真实ESG审计的智能体基准精华内容

面对ESG审计的复杂性与合规性挑战,这一突破性基准测试为智能体能力评估提供了全新视角,推动行业向更专业、更可信的方向发展。

真实企业级任务

基准测试直接来源于Intel、Apple、Boeing等真实上市公司的ESG报告、财务披露与监管标准。涵盖碳核算、能源审计、生物多样性、合规对齐等高风险场景,确保评测任务的真实性与实用性。这种基于真实企业数据的评测方式,能够更准确地反映智能体在实际ESG审计场景中的表现。

三层难度体系

构建了Level 1-3分级任务体系,其中Level 1为基础任务,Level 2为中等复杂度任务,Level 3要求跨年度、跨机构、跨标准综合审计。这种分级设计能够精准识别不同模型的能力差异,特别是Level 3覆盖了现有ESG/Agent Benchmarks尚未触及的’深水区’领域。

多维度评测指标

不仅评估答案正确性,还系统量化分析丰富度、完整性、深度、专业性与表达质量。这种多维度的评测方法直击’能不能写给董事会/监管机构看’的关键问题,确保生成内容的专业可信度。评测指标设计充分考虑了ESG报告的实际应用场景和受众需求。

分层智能体架构

ESGAgent采用中央规划器 + 专业子Agent的架构,包含研究、分析、工具、报告四个专业模块。结合LightRAG与知识图谱技术,专为长文档、标准密集型任务设计。这种分层架构能够有效处理ESG审计中的复杂信息整合与合规要求。

显著性能优势

在246个真实任务测试中,ESGAgent在Level 1/2任务准确率最高达84.15%。在Level 3综合评分上显著优于GPT-5.2、Gemini-3-Flash、DeepSeek-R1等主流模型。这些数据充分证明了该架构在处理复杂ESG审计任务时的优势。

这项研究为ESG智能体评测建立了新标准,推动了行业向更专业、更可信的方向发展。未来随着更多企业加入ESG披露行列,此类基准测试将为AI在可持续发展领域的应用提供重要参考。如何在保证专业性的同时提升效率,仍是值得探索的方向。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章