量化公司iQuest推出的40B参数大模型iQuest Coder，其性能表现令人瞩目。该模型在多项代码能力评估中，竟与参数量远超自己的顶级模型不相上下，甚至实现反超。其核心创新在于独特的循环架构和训练方式，为提升中小参数模型的效能提供了新的思路。
智能速览
iQuest Coder是一款40B参数的代码大模型。
其性能在多项基准测试中媲美甚至超越千亿参数模型。
训练数据首次引入代码仓库的完整版本历史。
首创循环架构，模拟人类先看结构再看细节的编码习惯。
虽然计算效率降低，但实现了性能的大幅飞跃。
精华内容
iQuest Coder的突破并非偶然，其背后是两项关键的技术创新，重新定义了模型的训练与推理方式。
性能越级挑战
iQuest Coder的核心亮点在于其卓越的性能表现。在多项编程能力基准测试中，这个仅拥有400亿参数的模型，表现出了惊人的竞争力。它不仅全面超越了同级别的32B、72B模型，甚至与参数量超过600亿的DeepSeek V3以及300多亿参数的GLM4等模型不相上下，部分指标还实现了反超。
这种以小博大的能力，即便考虑到可能存在的过拟合现象，其在同等参数规模下的性能提升依然非常显著，几乎是翻倍的优势。
训练数据革新
模型的成功首先源于其独特的训练数据处理方式。传统方法通常仅使用代码的最终版本进行训练，而iQuest Coder则引入了代码仓库从初始版本到最终版本的所有提交记录。这种做法让模型不仅学会了“是什么代码”，更理解了“代码是如何演进的”，从而掌握了更深层次的编程逻辑和思想。
循环架构设计
另一项关键创新是其“循环架构”。该模型在注意力机制计算中引入了两次迭代。第一轮计算让模型进行全局扫描，快速把握整体函数结构和文件组织。第二轮计算则基于第一轮的信息，深入到每个细节进行精细分析。
这种“先看森林，再看树木”的设计，高度模拟了资深开发者审阅代码的真实流程，使得模型在理解复杂代码结构时更为高效和准确。
效率与性能权衡
性能的飞跃并非没有代价。由于采用了循环计算，模型的推理效率有所下降，其计算量相比传统单次计算增加了大约1.3到1.7倍。这意味着其生成速度会慢于同等参数规模的常规模型。然而，对于追求代码质量和准确性的场景而言，用一定的速度换取显著的性能提升，这种权衡被认为是非常值得的。
iQuest Coder的出现，为AI大模型的发展提供了新方向：通过创新的训练方法和架构，小参数模型也能实现性能越级。这种思路或将推动更多高效能模型的诞生，值得期待。当一个40B模型具备如此实力时，模型竞赛的下一步会走向何方？
