90%的模型不收敛，问题都出在你忽略的这3个排查步骤_服务软件

1. 如果明天算力不再决定胜负，你觉得你手里的哪张牌能赢？ #大咖观察 #红衣聊AI #ChatGPT #算力 #AI

2. 理想同学 MindDR 1.5 发布：多智能体强化学习加持，深度研究更可靠

3. Memento-Skills：让 AI agent 在部署中自己进化，不用重新训练。绝大多数 agent 框架面对一个根本性的问题：模型一旦部署，参数就冻住了。遇到新任务失败了，要么手动调 prompt，要么回炉微调。Memento-Skills 想解决的就是这个问题——让 agent 在真实运行中持续学习、自我修复，模型权重一行都不动。1. 它解决什么问题现有 agent 的学习方式只有两条路：预训练（成本极高）、微调（需要标注数据）。两条都依赖离线流程，部署之后就固定了。但现实是，agent 在生产环境里会持续遇到新情况、新失败，没有一种低成本的机制让它从这些经验里真正学到东西。Memento-Skills 提出了第三条路：部署时学习（deployment-time learning）。模型参数不变，经验积累在一个持续演化的外部技能库里。2. 技术特点核心是一个四步循环：Read → Execute → Reflect → Write。具体是这样工作的：1）接到任务，用 skill router 从技能库里找最合适的技能，或者临时生成一个新技能2）执行，拿结果3）反思执行轨迹——成功了就提升这个技能的有效性评分；失败了就直接改技能文件里的代码或 prompt4）改完写回技能库，下次直接生效技能以结构化 markdown 文件存储，既能被检索，也能被改写。skill router 不是按语义相似度召回，而是按「行为效用」——学的是哪个技能在当前任务上下文里实际有效，而不是哪个在文本上最相似。v0.3.0 还加了一个「Dream Daemon」：在两次会话间隙，后台进程会自动整合近期执行经验，提炼新的技能候选。名字灵感来自人类睡眠中的记忆巩固机制。3. 应用场景最直接的场景是需要长期稳定运行的 agent：1）企业内部自动化流程（它原生支持飞书、钉钉、企业微信接入）2）代码生成和调试 agent——每次修复失败的写法后，下次遇到同类问题直接用改好的技能3）需要跨任务复用经验的研究 agent——技能库越用越大，通用能力越来越强已在 HLE 和 GAIA 两个 benchmark 上验证：随着学习轮数增加，性能持续提升，不是一次性的。4. 跟其他框架最不一样的地方大多数框架把工具当「固定工具箱」——工具是什么就是什么，agent 只是选用。Memento-Skills 把技能当「可写内存」——agent 不只是调用技能，还能修改技能、创建技能、淘汰技能。这个差别很根本：失败在这里不是触发重试，而是触发重写。另一个不同：它是完全自研框架（不依赖 LangChain），支持国内开源模型（Kimi/MiniMax/GLM），有本地沙箱执行，不只是 paper demo，可以真实部署。GitHub: github.com/Memento-Teams/Memento-Skills#how i ai##程序员#

4. Transformer架构是否已触及天花板？光靠Transformer能走通AGI吗？

5. 如何从浅入深理解 Transformer？

6. 五种主流且高效的微调技术，助你用有限资源实现定制化：1. 传统微调对LLM不现实，因模型参数量庞大，算力成本极高。参数高效微调（PEFT）因此诞生，核心是对权重矩阵做低秩近似，显著降低训练开销。2. LoRA：在大模型权重矩阵旁添加两个低秩矩阵A和B，只训练这两个小矩阵，节省存储和计算，适合超大模型。3. LoRA-FA：冻结矩阵A，仅更新B，进一步降低显存需求，保障训练稳定。4. VeRA：将A、B设为随机且共享，改为学习层特有的缩放向量，实现更轻量的层间适配。5. Delta-LoRA：在LoRA基础上，动态将A×B的增量“叠加”到原权重W，提升微调灵活性。6. LoRA+：发现矩阵B比A更需高学习率，调整学习率策略，改善收敛效率。这些方法不仅降低算力门槛，更是微调方法论的变革——不再盲目调整全部参数，而是精准塑造“关键方向”。未来趋势是结合模型结构智能选点，支持多任务与持续学习，打造可组合、可扩展的“微调语言”。PEFT不是简单的工程优化，而是智能塑造大模型知识的设计语言，开启了人人可控大模型定制的新时代。原文链接：x.com/_avichawla/status/1996467023334039646

7. 入门深度学习，怎样快速提升深度学习方向的coding能力（看、写）？

8. 从「模型」到「部署」，如何理解 AI 技术进步背后的基础设施挑战？

9. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称KL散度在强化学习中的作用知识点讲解KL散度（Kullback-Leibler divergence）是一种非对称度量，用于衡量两个概率分布P和Q之间的差异。在强化学习中，特别是在信任区域策略优化（TRPO）和近端策略优化（PPO）等算法中，KL散度被用来约束新策略πθ与旧策略πold之间的变化幅度，避免策略更新过大导致性能剧烈震荡或崩溃（如训练崩溃）。实际应用场景：如游戏AI训练中，防止代理突然“忘记”旧策略导致分数暴跌。通常通过在目标函数中添加KL惩罚项或设置KL约束实现训练稳定性，例如PPO 及其变体在Atari游戏或机器人控制中广泛使用。例题（单选题）在PPO及其变体中，KL散度常被用来做什么？A选项：加快收敛速度B选项：限制新旧策略的差异幅度C选项：增大价值函数D选项：消除奖励函数答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：fyt #AI创造营# #科技风向标# 网页链接

10. 麻省理工学霸AI学习法，2天学完一门课，还能顺利通过考试！别再把AI当搜索引擎，快来学一学MIT学霸的AI学习法！ #ai #教育 #NotebookLM

11. LLM强化学习不稳定之谜，被Qwen团队从「一阶近似」视角解开

12. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称学习率预热策略知识点讲解学习率预热（Learning Rate Warmup）是一种训练技巧，在模型训练的初始阶段使用较小的学习率，然后在若干步（或 epoch）内线性或非线性地逐渐增加到预设的最大学习率。这种策略特别在大规模模型（如Transformer、LLM）训练中广泛使用。预热可以在模型参数尚未适应数据分布时，避免过大的梯度更新，从而提高训练的稳定性和最终性能。例题（单选题）学习率预热主要用于缓解训练初期的哪类问题？A选项：早期训练不稳定（如发散或剧烈震荡）B选项：过拟合严重C选项：梯度消失D选项：数据不足答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：fyt #AI创造营# #科技风向标# 网页链接

13. AI的未来，也许不在于模型规模的无限扩大。 #大咖观察 #红衣聊AI #transformer神经网络架构 #人工智能

14. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称深度学习中的过拟合与欠拟合的判断依据知识点讲解过拟合和欠拟合是深度学习训练中最常见的两种问题，判断依据来自训练集和验证集的误差对比。欠拟合是指模型在训练集上误差就很大，说明模型学习能力不足，没有充分学到数据规律。表现为训练误差高、验证误差也高。解决方法是增加模型复杂度、增加训练轮数或减少正则化强度。过拟合是指模型在训练集上误差很小，但在验证集上误差很大，说明模型把训练数据的噪声也记住了，泛化能力差。表现为训练误差低、验证误差高，两者差距明显。解决方法是增加数据量、使用Dropout、增加正则化或减小模型复杂度。举例说明：一个模型训练准确率99%，验证准确率65%，两者差距巨大，这就是典型的过拟合。另一个模型训练准确率55%，验证准确率54%，两者都很低，这就是典型的欠拟合。正常拟合的模型训练和验证误差都较低且接近。例题（单选题）以下哪种表现是过拟合的典型特征？A选项：训练误差高，验证误差也高B选项：训练误差低，验证误差高C选项：训练误差高，验证误差低D选项：训练误差低，验证误差也低答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：jpf#AI创造营# #科技风向标# 网页链接

15. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称学习率过大的影响知识点讲解学习率是模型每次更新参数时迈出的“步子大小”。如果学习率合适，模型会比较稳地朝着更好的方向前进；如果学习率过大，步子迈得太大，就容易一下跨过最优点，导致训练来回震荡，甚至损失变得更大，模型难以稳定收敛。举个最简单的理解例子：假设你下山找最低点，正常情况下小步走更容易接近谷底；但如果每次都跨很大一步，就可能从谷底一侧直接跳到另一侧，反复来回，始终停不下来。这就是深度学习里“学习率过大容易震荡”的直观含义。例题（单选题）学习率过大会产生什么影响？A选项：训练容易震荡B选项：参数自动归零C选项：收敛速度一定更快D选项：数据自动增多答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：lry#AI创造营# #科技风向标# 网页链接

16. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称AI中梯度爆炸问题知识点讲解梯度爆炸（Gradient Explosion）是深度神经网络训练过程中常见的数值不稳定现象。具体表现为：反向传播时，由于链式法则中梯度连续相乘，若每层梯度的绝对值大于1，则经过多层传播后梯度将呈指数级迅速放大，导致参数更新步长过大，权重剧烈震荡，甚至溢出为 NaN（Not a Number，即“非数值”），此时损失函数值（loss）会显示为 nan，训练过程彻底崩溃。根本原因是梯度连乘效应导致的指数发散。最常用且有效的解决方案为梯度裁剪：对梯度的整体范数设置上限，超出时按比例缩放。PyTorch 中仅需一行代码即可实现：torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)。该语句将模型所有参数梯度的 L2 范数限制在 1.0 以内，确保每次更新步长保持在可控范围，从根本上杜绝梯度爆炸风险。例题（单选题）梯度爆炸会导致什么问题？A选项：权重更新过小B选项：模型收敛加快C选项：权重更新不稳定D选项：计算速度提升答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：fyt #AI创造营# #科技风向标# 网页链接

17. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称Batch Normalization 的作用知识点讲解Batch Normalization（BN）是一种加速训练并提升模型稳定性的关键技术。它通过在每一层对激活值进行标准化，使数据分布更稳定，从而减少梯度消失或梯度爆炸问题。BN 会对每个批次计算均值与方差，并将其标准化，然后再通过可学习参数 γ 和 β 恢复缩放与偏移能力。例如：import torch.nn as nnbn = nn.BatchNorm1d(64)表示对 64 维特征进行批标准化，使模型在训练过程中更快收敛并稳定。例题（单选题）Batch Normalization 的主要目的是什么？A选项：增加网络的训练数据量B选项：加速训练并稳定模型C选项：减少模型层数D选项：替代所有激活函数答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：lry #AI创造营# #科技风向标# 网页链接

18. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称AI中的参数Parameter与超参数Hyperparameter区别知识点讲解在机器学习中，参数（Parameter）是模型在训练过程中自动学习得到的数值，例如神经网络中的权重和偏置；而超参数（Hyperparameter）是训练前由人设定的配置，例如学习率、batch size、网络层数等。参数通过优化算法不断更新，而超参数通常不会在训练中自动改变。举例来说，在训练一个神经网络时，权重矩阵属于参数，而学习率属于超参数。理解两者的区别对于调参和模型优化非常重要，也是AI基础概念之一。例题（单选题）下列哪一项属于超参数？A选项：学习率learning rateB选项：神经网络权重值C选项：模型输出结果D选项：训练后的预测标签答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：gjm#AI创造营# #科技风向标# 网页链接

19. GRPO、GSPO 后，Qwen又提出了一种SAPO的新算法，已被用于训练 Qwen3-VL 系列模型论文：arxiv.org/pdf/2511.20347算法主要期望解决大语言模型 RL 训练中的不稳定性问题，特别是针对 MoE模型。通过引入平滑的门控机制和非对称温度控制，提供了一种比传统硬截断方法（GRPO/GSPO）更可靠、更具扩展性的 LLM 强化学习优化策略。#科技先锋官#

20. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称学习率在梯度下降中的作用知识点讲解本题考察的是优化算法中学习率（learning rate）的概念及作用。梯度下降类算法通过计算损失函数对参数的梯度，沿着“使损失下降最快”的反方向更新模型参数，而学习率就是决定每一次参数更新步长大小的超参数。学习率过大时，每一步跨得很大，可能会在最优点附近来回震荡甚至发散，损失值忽大忽小无法收敛；学习率过小时，每一步跨得很小，虽然比较稳定，但收敛速度会极慢，训练时间大幅增加，甚至会陷在局部区域移动得非常缓慢。举例来说，假设我们使用梯度下降训练一个简单的线性回归模型，参数更新公式可以写成：new_w = w - lr * grad，其中 lr 就是学习率。如果 lr 设为 0.001，模型每次只会微小地调整参数，损失缓慢下降；如果 lr 设为 10，则每次参数都会被改动得非常剧烈，往往直接“跳过”最优区域，导致损失在高值附近乱跳。实际应用中，我们通常通过经验、网格搜索或自适应优化算法（如 Adam、RMSProp 等）来选择合适的学习率，使模型既能较快收敛，又保持训练过程稳定。例题（单选题）学习率在梯度下降中作用是？A选项：控制每次参数更新步长B选项：决定训练集样本数量C选项：决定神经网络层数D选项：决定激活函数的种类答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：gjm#AI创造营# #科技风向标# 网页链接

21. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称深度学习中批量归一化的作用知识点讲解Batch Normalization（批量归一化）是一种用于加速神经网络训练的技术，最初由Ioffe和Szegedy在2015年提出。其核心思想是通过对每一层的输入数据进行归一化处理，使数据分布保持稳定，缓解训练过程中梯度消失或梯度爆炸的问题。具体来说，Batch Normalization通过计算每一层的输入数据（即激活值）的均值和方差，并将其标准化，确保数据的均值为0，方差为1。这样一来，网络的每一层都能得到更合适的输入数据，避免了在深层网络中因数据分布变化过大导致训练困难的情况。该技术的优势在于不仅可以加速网络的收敛速度，还能在一定程度上减少网络对初始化权重的依赖。通过对每一层的输入进行标准化，Batch Normalization使得网络在训练过程中能够保持较为稳定的学习率，从而避免了梯度爆炸或消失的问题。此外，Batch Normalization还能具有轻微的正则化效果，帮助缓解过拟合。例题（单选题）批量归一化的主要作用是什么？A选项：加速训练并提高网络稳定性B选项：减少神经网络层数C选项：增强模型的非线性表达能力D选项：提高模型的准确率答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：lry #AI创造营# #科技风向标# 网页链接

22. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称AI中学习率的作用知识点讲解学习率（Learning Rate）是梯度下降优化算法中的关键超参数，它控制每次参数更新时沿梯度方向移动的步长大小。学习率过大会导致参数震荡甚至发散，无法收敛；过小则训练极慢，可能陷入局部最优。合适的学习率能让损失函数快速稳定下降。常见策略包括固定学习率、学习率衰减、余弦退火或自适应学习率（如Adam）。举例：在SGD中，参数更新公式为θ = θ - η·∇L，其中η就是学习率。若η=0.01，通常能平稳下降；若η=10，可能直接越过最优解导致损失爆炸。例题（单选题）AI中学习率的主要作用是什么？A选项：决定训练的总轮数epochB选项：控制参数每次更新的步长C选项：控制每次处理的样本数量D选项：决定模型隐藏层神经元数答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：lxy#AI创造营# #科技风向标# 网页链接

23. AI圈最顶级的一次争吵，理解世界还是堆模型？ #大咖观察 #红衣聊AI #大模型 #人工智能

24. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称AI中梯度爆炸问题知识点讲解梯度爆炸是指在神经网络训练中，反向传播时梯度值急剧增大，导致权重更新过大，模型不稳定。通常发生在深层神经网络或RNN长序列中，常用方法包括梯度裁剪等，而Batch Normalization 在部分网络结构中也有一定缓解作用。举例：在RNN训练长序列数据时，如果梯度累积过大，会导致参数溢出甚至出现NaN。其主要表现为梯度值指数级放大，而根本成因通常是链式求导中连续乘以大于1的因子。例题（单选题）梯度爆炸的主要表现是？A选项：梯度值趋近于 0（或接近 0）B选项：梯度值急剧增大C选项：学习率过低D选项：数据集太小答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：fyt #AI创造营# #科技风向标# 网页链接

25. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称梯度消失问题知识点讲解梯度消失是深度神经网络训练中的常见问题，尤其是在多层网络或循环神经网络中。它指的是在反向传播过程中，梯度在反向传播过程中逐层衰减（甚至呈指数级减小），导致靠近输入层的权重几乎得不到更新，从而使模型难以学习长期依赖关系。例如，在使用sigmoid或tanh激活函数时，其导数值在绝对值较大的输入处趋近于零，多层连乘后梯度会迅速衰减至接近0。为了解决这个问题，常见方法包括使用ReLU激活函数、残差网络（ResNet）、以及改进的循环结构如LSTM等。例题（单选题）梯度消失会导致什么问题？ A选项：靠近输入层的权重难以更新 B选项：模型参数爆炸 C选项：数据标签丢失 D选项：模型训练加速，很快收敛答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：yy #AI创造营# #科技风向标# 网页链接

26. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】 [太阳]知识点名称 AI中梯度消失问题 [太阳]知识点讲解梯度消失是指在深度神经网络反向传播时，梯度随着层数增加指数级衰减，最终接近于0，导致浅层参数几乎无法更新，训练失效。常见于使用Sigmoid或Tanh激活函数的深层网络。解决方法包括使用ReLU/LeakyReLU激活函数、Batch Normalization、残差连接（ResNet）、LSTM/GRU等门控机制。举例：一个20层全连接网络使用Sigmoid，第1层收到的梯度可能仅为原始梯度的1/2^20≈10^-6，几乎无法学习，而改用ReLU后在一定条件下缓解梯度消失，但也可能出现“死亡ReLU”等训练问题。 [太阳]例题（单选题） AI中梯度消失的主要原因是什么？ A选项：权重初始化值全部为0 B选项：学习率设置过大引起震荡 C选项：批量大小太小导致噪声过大 D选项：激活函数导数小于1导致梯度指数衰减 [太阳]答案与题解答案、题解：见评论区 [太阳]温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：lxy #AI创造营# [握手] #科技风向标# http://t.cn/AX4h9zHn

27. 2026第一批超长国债来了！普通人能不能买？怎么买？#2026超长期特别国债 #财经 #涨知识

28. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称神经网络中的 Learning Rate Scheduler知识点讲解学习率调度器（Learning Rate Scheduler）用于在训练过程中动态调整学习率，使模型更稳定地收敛。常见策略包括 StepLR、MultiStepLR、CosineAnnealingLR 等，它们能在训练后期降低学习率，从而防止模型震荡或无法达到更优点。示例：import torch.optim as optimscheduler = optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1)表示每训练 10 个 epoch，将学习率乘以 0.1。例题（单选题）学习率调度器在训练中的主要作用是什么？A选项：动态调整学习率以帮助模型收敛B选项：替代损失函数C选项：自动增加训练数据D选项：提升模型层数答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：dyr#AI创造营# #科技风向标# 网页链接

29. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称梯度下降作用知识点讲解梯度下降是深度学习和机器学习中最基础、最常见的一种优化算法，主要用于训练模型参数。模型在训练时会先计算预测结果与真实结果之间的误差，这个误差通常由损失函数来表示。梯度下降的核心思想是：根据损失函数对参数的导数（也就是梯度），判断参数应该往哪个方向调整，才能让误差变小。通过不断重复“计算梯度—更新参数—重新计算误差”这个过程，模型的预测效果会一步步变好。对于初学者来说，只需要记住：梯度下降就是一种让模型越来越准确的方法。例题（单选题）梯度下降的主要作用是什么？A选项：最小化模型的损失函数B选项：增加数据数量C选项：随机生成参数D选项：固定模型参数答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：lry #AI创造营# #科技风向标# 网页链接

30. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称早停机制 Early Stopping知识点讲解早停（Early Stopping）是深度学习中最常用、最直接的防止过拟合技术之一。核心思路：在训练过程中持续监控验证集上的指标（如验证损失或验证准确率），如果连续若干个 epoch（由 patience 参数决定）该指标都没有提升，就立即停止训练，并恢复到验证集表现最好的模型权重。这样既能阻止模型继续在训练集上记忆噪声，又能节省大量后期无意义的计算时间。几乎所有主流框架（PyTorch Lightning、Keras、TensorFlow、FastAI）都内置了 EarlyStopping 回调，配合 ModelCheckpoint 使用效果最佳。例题（单选题）以下哪个技术常用于防止深度学习模型过拟合？A选项：增加模型容量B选项：早停 EarlyStoppingC选项：提高学习率D选项：减少正则化答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：fyt #AI创造营# #科技风向标# 网页链接

31. 【Python+AI+数据分析基础】【每日原创+AI编审】公益题库【小白从小学Python,C,Java】知识点名称 Leaky ReLU激活函数改进点知识点讲解 Leaky ReLU是ReLU的变种，公式为 f(x) = max(x, αx) （α通常为0.01）。标准ReLU在x<0时硬性置0，导致该神经元梯度永久为0，造成“死亡ReLU”问题，训练中大量神经元失效。Leaky ReLU给负半轴一个小斜率，使负值区域仍有微弱梯度流动，避免神经元彻底死亡，提升训练稳定性和模型表现，尤其在深层网络和GAN中广泛使用。实际效果：显著减少无效神经元，梯度更健康，收敛更可靠。例题（单选题） Leaky ReLU相比标准ReLU的主要改进是？ A选项：解决神经元死亡问题 B选项：主要解决梯度消失问题C选项：使负值输出更大 D选项：大幅降低计算量答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：yy #科技风向标##AI创造营# 网页链接

32. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称过拟合现象知识点讲解过拟合（Overfitting）是机器学习和深度学习中的核心问题，指模型在训练数据上拟合得过于完美，连数据中的随机噪声和异常细节都学到了，导致在训练集上误差很低、准确率很高，但遇到新数据（验证集或测试集）时泛化能力差，误差显著升高。本质上是模型复杂度过高，学到了“假规律”而非真实模式。经典比喻：用一条高阶多项式曲线完美穿过所有训练点，但曲线剧烈震荡，在新点上预测完全失准。例题（单选题）过拟合的主要表现是什么？A选项：训练误差低测试误差高B选项：训练误差高测试误差低C选项：训练和测试误差都低D选项：训练和测试误差都高答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：jpf#AI创造营# #科技风向标# 网页链接

33. 只靠国产算力预训练，稳！全流程开源，「开元」盛世真来了

34. 梯度消失&梯度爆炸公式版

35. 梯度消失&梯度爆炸纯白话文版

36. 深层神经网络梯度消失与爆炸现象解析

37. 模型训练不收敛、收敛极慢？90% 的BUG，都栽在这8个低级问题上

38. 科普｜AI 工程师核心知识点：梯度消失与梯度爆炸

39. 为什么深层网络会出现“梯度爆炸”？一文讲清楚

40. 读懂深度学习中的梯度爆炸和梯度消失

41. 深度学习中的梯度消失问题如何影响神经网络的训练？如何通过技术手段加以解决？为何多个导数的连乘会导致梯度规模显著变化？

42. 学习率：一调不好，模型就崩的数学原因

43. 【AI人工智能题库】AI中梯度消失问题 - 哔哩哔哩

44. 梯度消失（及愈发严重）的公式化详解

45. 谷歌微软之外的新选择：这个优化器让大模型训练又快又稳

46. 为什么深层网络会出现“梯度消失”？一文讲透本质原因

47. 梯度消失和梯度爆炸

48. 梯度消失和梯度爆炸面试答法

49. 【AI人工智能题库】AI中梯度爆炸问题 - 哔哩哔哩

50. 为什么深度学习需要【归一化】？5分钟热知识！

51. AI模型训练震荡？解决方案汇总

52. 机器学习基础 · 第9篇 · 超参数——模型训练里的"隐藏 Boss"

53. Transformer架构原理的菜鸟学习之路04——残差连接和层归一化（Add & Norm）

54. 什么是梯度消失和梯度爆炸？如何解决

55. 【深度学习Day7】模型越深越烂？MATLAB老鸟带你手撕梯度消失，详谢 BN 层救命之恩

56. 大模型预训练

57. DeepSeek重大突破！破解模型训练不稳定难题

58. 深度学习网络核心 – 优化器

59. 卷积神经网络的梯度问题

60. Gemini3硬核实战：Transformer 深层模型梯度消失/根因定位

61. 神经网络快速入门-经典Pytorch模型训练流程

62. 动手学深度学习（五十六）Adam 还不够，用学习率调度器调整节奏

63. 深度学习入门完全指南：从数学焦虑到实战落地的系统路径

64. 大模型loss不下降排查手册

65. 梯度爆炸与梯度消失介绍和解决思路

66. 通义SeeUPO已开源：多轮智能体强化学习算法的「正确性」到底有多重要？

67. 深度学习常用学习率(Learning Rate)调度方法

68. AI 工程师核心知识点：优化器（超详细完整版）

69. 残差连接、批量归一化与层归一化

70. 模型不收敛如何进行优化？

71. 【AI人工智能题库】梯度消失问题 - 哔哩哔哩

72. 【AI人工智能题库】学习率过大的影响 - 哔哩哔哩

73. 算子自动生成Benchmark构建陷阱——算子收敛性分析

74. Mistral AI新作：不靠归一化，动态学习率让Transformer训练提速10%!

75. 从0到1手搓大模型: 梯度和梯度消失 vanishing gradients

76. 【深度学习基础知识 - 17】模型不收敛的原因以及处理方法

77. Who is Adam? 重新审视大模型 RLVR 阶段的优化器选择

78. 【AI人工智能题库】学习率过小对模型训练的影响 - 哔哩哔哩

90%的模型不收敛，问题都出在你忽略的这3个排查步骤

精选参考来源