Mini-LLM 更新！从零手撕 Qwen3-Next

这篇内容详述了在有限算力下，从零构建一个160M参数的Qwen3模型的过程。其价值在于不仅展示了具体的技术实现，还针对MoE架构的负载均衡问题提出了有效的改进方案，对大模型入门者极具参考意义。

智能速览

• 项目目标是在有限算力下复现100-200M参数的迷你LLM。

• 本次更新推出Linear架构的mini_qwen3_next，总参数量约160M。

• 核心技术实现了Gated DeltaNet，与此前Dense和MoE架构有所不同。

• 项目针对MoE专家负载不均衡问题，提出了分层计算的优化方案。

精华内容

深入模型构建细节，探究其架构选择与优化策略，理解其背后的技术思考。

模型架构选择

本次更新的模型是一个基于Linear架构的mini_qwen3_next，总参数量约为160M，激活参数约98M。该项目此前还实现了Dense架构的mini_llama3与MoE架构的mini_deepseekv3，本次实现的核心区别在于采用了Gated DeltaNet。

负载均衡挑战

在MoE（Mixture of Experts）架构中，负载均衡是影响模型效果的关键。理想的负载均衡状态是每层的专家激活次数都相等，即比值为1。但常规的负载均衡方法是针对整个模型计算的，容易导致个别层的专家负载出现严重不均衡。

分层均衡优化

为解决该问题，项目对负载均衡的计算方法进行了改进，将其修改为分层计算。此外，还将模型的前几层设置为普通的MLP层，而非MoE层。这一改动使得专家的激活变得更加均衡，负载均衡效果显著优于原始方案。

项目开源意义

该项目已在GitHub和Hugging Face上开源，为希望在有限算力下学习和实践大模型技术的开发者提供了宝贵的参考。它不仅复现了先进模型架构，还解决了实际训练中遇到的工程难题，降低了技术探索的门槛。

这个项目为在有限算力下探索大模型提供了宝贵的实践案例。它不仅复现了先进架构，还针对性地解决了工程难题，为社区贡献了有价值的参考。在资源受限的条件下，如何更高效地进行模型创新？

关键评论

• 有网友建议项目可以增加一个关于数据管线构建的演示案例。

• 有读者关心项目代码库是否开源了训练所用数据，希望能进一步跟进学习。