当前大模型在金融领域的评测多停留在知识问答层面，无法衡量其在量化研究中的核心能力。北大与清华联合推出的QuantEval评测基准，首次将量化策略的代码编写与CTA回测执行纳入统一体系，用真实交易结果来评估模型能力，为金融AI的实战应用提供了更科学的衡量标准。
智能速览
QuantEval旨在填补金融量化评测断层，衡量多步推导与策略开发能力。
该基准覆盖金融知识、数学推理和策略编码三大真实工作流维度。
首次引入“执行级”评测，通过CTA回测系统用实际收益等指标衡量策略优劣。
评测采用严格开源的回测配置，确保结果公平且可复现。
评测揭示当前大模型在数学推理和策略编码上存在显著短板。
实证证明，针对性的数据与奖励设计能有效提升模型量化任务表现。
精华内容
QuantEval的出现，不仅是对现有评测体系的革新，更深刻揭示了当前大模型在金融量化领域的真实水平。它如何构建评测体系，又得出了哪些关键发现？
评测体系革新
传统的大模型金融评测大多围绕知识问答展开，这无法真实反映量化研究中最关键的多步数值推导与可执行策略开发能力。QuantEval正是为了解决这一核心痛点而设计。
它不再局限于考查模型是否“懂”金融概念，而是构建了一个系统性的评测框架，全面覆盖了三类核心能力：金融知识型QA、定量数学推理以及量化策略编码。
这种设计确保了评测更贴近真实量化工作的完整流程，从理论理解到数学计算，再到最终的策略实现，形成了一个完整的闭环。
引入执行级评测
QuantEval最具突破性的创新在于首次引入了“执行级”的量化策略评测。这区别于传统代码评测仅检查代码能否通过编译的表面工作。
它将模型生成的量化策略代码，直接接入一个确定性的CTA（商品交易顾问）回测系统中进行模拟运行。评测的最终得分，取决于策略的年化收益、最大回撤、夏普比率（Sharpe）、收益回撤比等一系列专业金融指标，并与专家设定的基准进行对齐。
这种“以结果论英雄”的方式，有效避免了模型生成“语法正确但金融逻辑上毫无意义”的伪成功代码，极大地提升了评测的科学性和严谨性。
评测结果与短板
基于QuantEval基准，对13个主流的开源与闭源大模型进行了全面评测，结果清晰地揭示了当前模型的真实短板。
评测发现，这些模型在金融知识问答方面表现尚可，但与人类专家的水平仍存在明显差距。在更复杂的定量数学推理任务上，模型的准确率则出现显著下滑。
最大的瓶颈在于量化策略编码。评测结果显示，大多数开源模型生成的策略代码可执行率为0%，完全无法投入实际应用，凸显了其在将金融逻辑转化为可执行代码方面的巨大挑战。
验证有效路径
面对评测中暴露出的问题，研究团队也通过实证探索出了一条有效的模型改进路径。
实验中，研究人员在DianJin-R1-7B模型上，先进行了针对量化领域的监督微调（SFT），再采用基于人类反馈的强化学习（GRPO）进行进一步优化。
结果显示，经过这两步训练后，该模型在QuantEval的数学推理和策略编码指标上均获得了持续且显著的提升。这有力地证明了，“对齐量化任务特点的数据与奖励机制设计”是提升大模型量化实战能力的有效方向。
QuantEval不仅是金融量化领域一个重要的评测工具，也为大模型在特定专业领域的深度应用指明了方向。它以结果为导向的评测理念，或将推动更多AI工具从“纸上谈兵”走向“实战应用”。未来，我们能否看到真正具备自主盈利能力的AI交易员？
