什么值得买App下载 App ›
连续签到专享现金活动

PaperOrchestra全解析:多智能体框架实现AI自动写作顶会论文

PaperOrchestra 是一款能够将零散研究材料转化为可投稿 LaTeX 论文的自动化工具。与以往依赖特定实验流水线或生成浅薄文献综述的 AI 写作系统不同,PaperOrchestra 采用多智能体架构,专注于解决从原始材料到严谨学术文稿的全流程自动化问题。其核心优势在于不依赖特定实验流程,能够生成高质量的文献综述及全面的引用,并通过迭代精炼机制提升稿件质量。
01多智能体协作架构
PaperOrchester 通过五个专门的 Agent 分工协作,将输入的原始材料转化为完整论文。其输入包含想法摘要、实验日志、LaTeX 模板及可选图表,支持 SPARTS(高层概念)和 DANCE(含数学公式的详细草稿)两种想法设置模式。
  1. 大纲生成 Agent
    整合输入材料生成 JSON 格式大纲,包含可视化计划、文献搜索策略及章节写作计划。
  2. 绘图 Agent
    执行可视化计划,利用 PaperBanana 生成概念图,并通过 VRM Critic 反复优化图表质量。
  3. 文献综述 Agent
    结合 LLM 与网络搜索识别候选论文,通过 Semantic Scholar API 验证论文存在性并自动生成 BibTeX 文件。
  4. 章节写作 Agent
    依据大纲生成摘要、方法、实验及结论等剩余章节内容。
  5. 内容精炼 Agent
    模拟同行评审反馈,对论文进行迭代优化,确保严谨性。
02评估基准与测试方法
为验证工具效果,研究团队推出了首个标准化 AI 论文写作基准数据集 Paper Writing Bench。该数据集选取了 CVPR 2025 和 ICLR 2025 各 100 篇已发表论文,通过逆向工程去除作者、标题、引用 URL 及图表上下文,仅保留核心研究内容和实验数据,模拟真实写作环境。
评估体系包含引用 F1 值(对比生成引用与真实引用,区分 P0 核心文献与 P1 相关文献)、文献综述质量(覆盖度、相关性、批判分析等六个维度)以及整体质量(利用 AI Scientist、DBR Reviewer 和 ScholarPeer 模拟专家评审)。
03性能数据对比
评估指标PaperOrchestra基线系统人类表现
文献综述质量胜率50% - 68% (绝对胜率优势)--
整体稿件质量胜率14% - 38% (绝对胜率优势)-43% (与人类对比胜率)
引用生成数量45 - 48 篇9 - 14 篇平均 59 篇
P0 引用召回率提升+2.13% - 6.07%--
P1 引用召回率提升+12.59% - 13.75%--
ScholarPeer 模拟接受率 (CVPR)84%71% (最强基线)-
ScholarPeer 模拟接受率 (ICLR)81%72% (最强基线)-

PaperOrchestra 与基线及人类表现对比

04迭代精炼机制
内容精炼 Agent 是提升稿件质量的关键环节。数据显示,经过精炼的稿件相比未精炼稿件,胜率高达 79% 至 81%,败率为 0%。模拟接受率分别提升 19%(CVPR)和 22%(ICLR),整体评分提升 0.88 和 1.61。
该机制使用 Agent Review 生成模拟同行评审反馈,并设有智能回退策略:仅在接受修改能提升整体分数,或分数平局但子维度增益非负时才执行更新,确保每次修改有效,避免质量下降。
05应用场景与伦理规范
PaperOrchester 定位为研究辅助工具,旨在将研究者从繁琐的排版和文献整理中解放出来,使其专注于核心研究内容。其标准化基准为未来同类工具提供了统一的评估标准。在伦理层面,工具强调研究者需对内容的事实准确性、原创性和有效性负责,并通过 API 验证引用真实性以减少幻觉。

评论

评论区空态插画

当前文章无评论,是时候发表评论了