这份为期8周的学习路线图，为希望掌握AI大模型技术的人提供了一条清晰路径。它从文本处理、注意力机制等基础理论出发，逐步深入到预训练、微调、推理优化及RAG、Agent等前沿应用，强调动手实践，旨在帮助学习者体系化地构建核心技能。
智能速览
学习路径分为基础筑基（4周）和进阶实战（4周）两个核心阶段。
基础阶段要求亲手推导BPE算法、精读Word2Vec论文并手写Self-Attention矩阵。
进阶阶段涵盖预训练全流程、LoRA微调、PPO/DPO对齐及FlashAttention推理优化。
路线图紧密贴合面试高频考点，如RoPE推导、LayerNorm与RMSNorm对比等。
最终通过搭建RAG系统和开发Agent等项目，将理论知识转化为实战经验。
精华内容
这份路线图的价值在于其系统性和实践性。它将复杂的大模型知识体系拆解为清晰的周度任务，让学习者能稳步前行，从理论走向实战，最终获得解决实际问题的能力。
基础筑基：核心理论
前四周聚焦于大模型的理论根基，不容忽视。学习者需亲手推导BPE分词算法，通过精读Word2Vec论文搞懂Skip-gram和负采样，并手写Self-Attention矩阵以掌握其计算复杂度。周末的实战任务是使用PyTorch实现一个Transformer Encoder。随后，学习重点转向RoPE旋转位置编码的推导，对比LayerNorm和RMSNorm的梯度差异，并拆解FFN（前馈神经网络）结构，理解知识在其中如何存储与流动，为后续学习打下坚实基础。
进阶实战：训练对齐
第五周开始进入真刀真枪的实战环节，重点拆解预训练全流程。核心任务包括动手实现MinHash算法进行数据去重，掌握ZeRO-3分布式训练策略并配置DeepSpeed，以及学习梯度累积与混合精度训练技术。第六周则聚焦于模型微调与对齐，核心是对比LoRA和P-Tuning的原理，探究其参数量减少90%的秘密。同时，需要用图解方式搞懂PPO/DPO算法，并吃透监督微调（SFT）与预训练在损失函数上的区别，这些都是工业界的关键技能和面试高频考点。
前沿应用：优化落地
最后两周瞄准技术前沿与应用落地。第七周学习推理优化技术，手撕FlashAttention-2优化代码，实现显存占用降低70%的目标，深入解析KV Cache机制（建议阅读vLLM源码），并对比MoE（混合专家）架构与传统Transformer的区别，理解谷歌Gemini等模型的设计思路。第八周则转向应用层突破，任务是搭建一套完整的RAG系统，包含HNSW索引构建和Query重排；使用ReAct框架开发Agent，实现工具调用链；并设计一套特定领域的知识微调方案，这些项目经验将为个人履历大大加分。
遵循这份路线图，学习者可以在八周内建立起对大模型技术栈的全面认知。从理论推导到项目落地，每个环节都经过精心设计，旨在培养扎实的技术功底和解决实际问题的能力。准备好开启这段高效的学习之旅，迎接AI时代的挑战了吗？
