从零训练一个大语言模型充满挑战。本文以SmolLM3的训练为例，深入探讨了预训练、后训练及基础设施构建中的核心问题。它不仅系统梳理了决策流程，更分享了在迭代速度、数据筛选、框架选择上的宝贵经验，旨在为从业者提供一份可落地的实战手册，避开常见陷阱，高效推进模型训练。
智能速览
快速迭代是顶尖训练团队脱颖而出的关键。
高质量数据筛选对模型性能的影响超越架构选择。
自建训练框架能获得完全灵活性，但伴随高昂成本。
小规模消融实验的结论向大规模场景迁移存在不确定性。
启动训练前，必须先想清楚“为什么训”和“训什么”的问题。
精华内容
成功的模型训练并非一蹴而就，它建立在对核心原则的深刻理解和无数次试错之上。接下来，将深入分享那些从实践中得出的宝贵经验与具体策略。
迭代速度与数据
顶尖团队如Qwen和DeepSeek的实践表明，快速迭代能力是训练成功的关键。相较于一年发布一个模型，季度发布新模型的团队进步速度显著更快。训练本质上是一门“在训练中学习”的学问，训练次数越多，团队就越强。
另一个决定性因素是数据筛选。团队常急于通过优化架构提升性能，但真正的团队都对高质量数据有极致追求。例如，看似高质量的arXiv科学论文数据，因其狭窄的学术文体，反而可能损害小型模型的通用性能。这说明，数据的质量和多样性，远比单纯的知识密度更重要。
决策的优先级
在投入计算资源前，必须回答两个核心问题：“为什么训”和“训什么”。没有清晰的目标，只会浪费数月时间做出一个无人需要或早已存在的模型。
这个决策过程分为两个阶段。首先是规划阶段，将应用场景的约束（如部署环境、项目时间线、目标能力）转化为模型的具体规格。其次是验证阶段，通过系统性的消融实验来测试初始方案和潜在修改，重点关注能显著提升性能或优化训练过程的改动。
训练框架选择
选择训练框架是重要决策，需平衡成熟度、灵活性和开发成本。英伟达的Megatron-LM和微软的DeepSpeed久经考验，吞吐量稳定，但代码库庞大复杂，对新手不友好。
PyTorch的TorchTitan库轻便易上手，适合快速实验，但尚未经过充分实战检验。本文团队选择自建框架nanotron，获得了完全的灵活性，但也付出了高昂的调试和维护成本。一个更优的替代方案可能是基于现有框架（如TorchTitan）进行分叉和定制，以平衡灵活性与稳定性。
消融实验方法论
消融实验旨在通过小规模实验，得出能外推到生产级训练的结论。主要有两种方式：一是用目标模型规模但减少训练Token数量（如SmolLM3用3B模型训练100B Tokens）；二是训练一个更小的代理模型（如Kimi K2用3B MoE模型替代1T模型）。
实验结论的迁移性是关键。经验表明，若改动在小规模下损害性能，则在大规模下也可放心排除。若在小规模下有效，则需训练足够多的Token，且实验模型与最终模型越接近，结论的可靠性越高。
大模型训练是一场融合了科学、工程与艺术的马拉松。本文分享了从战略决策到技术细节的实战经验，希望能为同行提供清晰的路线图。随着技术演进，未来的训练方法论还会有哪些新的突破？如何在效率与成本之间找到更优的平衡点，将是所有从业者共同探索的课题。
