当前位置：

社区首页

电脑数码

软件应用

服务软件

AIGC文章详情

从零实现神经网络难不难？

源自102位全网作者

05-31 10:41

精选参考来源

为什么 AI 需要 GPU 和 TPU：理解大语言模型背后的硬件

【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称AI中的参数Parameter与超参数Hyperparameter区别知识点讲解在机器学习中，参数（Parameter）是模型在训练过程中自动学习得到的数值，例如神经网络中的权重和偏置；而超参数（Hyperparameter）是训练前由人设定的配置，例如学习率、batch size、网络层数等。参数通过优化算法不断更新，而超参数通常不会在训练中自动改变。举例来说，在训练一个神经网络时，权重矩阵属于参数，而学习率属于超参数。理解两者的区别对于调参和模型优化非常重要，也是AI基础概念之一。例题（单选题）下列哪一项属于超参数？A选项：学习率learning rateB选项：神经网络权重值C选项：模型输出结果D选项：训练后的预测标签答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：gjm#AI创造营# #科技风向标# 网页链接

全部
来源

内容由AI生成

1. 为什么 AI 需要 GPU 和 TPU：理解大语言模型背后的硬件

2. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称AI中的参数Parameter与超参数Hyperparameter区别知识点讲解在机器学习中，参数（Parameter）是模型在训练过程中自动学习得到的数值，例如神经网络中的权重和偏置；而超参数（Hyperparameter）是训练前由人设定的配置，例如学习率、batch size、网络层数等。参数通过优化算法不断更新，而超参数通常不会在训练中自动改变。举例来说，在训练一个神经网络时，权重矩阵属于参数，而学习率属于超参数。理解两者的区别对于调参和模型优化非常重要，也是AI基础概念之一。例题（单选题）下列哪一项属于超参数？A选项：学习率learning rateB选项：神经网络权重值C选项：模型输出结果D选项：训练后的预测标签答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：gjm#AI创造营# #科技风向标# 网页链接

3. DL：生成对抗网络的基本原理与 PyTorch 实现

4. DL：卷积神经网络的基本原理与 PyTorch 实现

5. AI的未来，也许不在于模型规模的无限扩大。 #大咖观察 #红衣聊AI #transformer神经网络架构 #人工智能

6. 【从谷歌工程师到AI机器人创业者：一份自学路线图】上周我宣布离开特斯拉，全身心投入AI和机器人领域的创业。很多人好奇：一个从未系统学过数学和AI的人，打算如何掌握这些全新领域？先说说我的背景。我没上过大学，17岁开始自学编程，18岁进入谷歌，两年后加入特斯拉。作为软件工程师，我的工作从未真正需要深厚的数学功底，用LLM也不需要懂AI原理。但现在不一样了——我要做的是真正理解底层逻辑。经过梳理，我把学习重点聚焦在两大板块：数学基础，以及AI与机器人学（二者在现代机器人研究中高度重叠）。+ 数学：从代码重构公式Jeremy Kun的《A Programmer's Introduction to Mathematics》成了我的主力教材。这本书最大的特点是用代码重构数学公式——对于看到公式就头疼的工程师来说，这种方式简直是救星。我会重点学习多项式、集合、图论、微积分、线性代数、特征值与特征向量、多元微积分与优化，以及群论等章节。3Blue1Brown的《微积分本质》和《线性代数本质》系列作为补充。多年来我一直听说这些视频，但从未有动力去看。现在看来，动画确实能让抽象概念突然变得具象。我没打算把自己变成数学家，只是需要足够的知识储备来理解AI论文和机器人算法。过度学习只会陷入焦虑，够用就好。+ AI与机器人：从理论到实践的完整闭环在书籍方面，CTO送了我Goodfellow等人的《Deep Learning》实体书。这本经典教材更像工具书，需要时翻阅。另一本是Marvin Minsky的《Society of Mind》，虽然与当前学习不直接相关，但在这个AI Agent时代，重温先驱的思想或许能带来意外启发。视频课程我选择了几条经典路线：3Blue1Brown的神经网络系列用可视化打通直觉；Andrej Karpathy的《Neural Networks: Zero to Hero》从零开始构建；Michael Nielsen的《Neural Networks and Deep Learning》教授不会过时的基础原理；Fast.ai的《Practical Deep Learning》注重实战；MIT的《Robotic Manipulation》和Hugging Face的机器人课程则直指应用场景。论文阅读是重中之重。从改变一切的《Attention Is All You Need》，到将Transformer应用于视觉的ViT，再到扩散模型背后的数学原理DDPM。在面试Yaak时，我精读的第一篇论文是Physical Intelligence的π₀论文——一个视觉-语言-行动流模型。这是我人生中读的第一篇学术论文，写得异常清晰。此后的阅读清单包括：RT-2如何让视觉-语言模型直接输出机器人动作；Diffusion Policy将视觉运动策略表示为扩散过程；ACT论文揭示ALOHA背后的动作分块技术；Universal Manipulation Interface提供便携式数据收集方案；Octo展示开源通用机器人策略；以及Hugging Face团队撰写的机器人学习综述教程。几篇关键博客也在我的必读列表：Karpathy的《训练神经网络的诀窍》是训练模型前的必读指南；李飞飞的《从语言到世界：空间智能》定义了Yaak所在的领域；还有图神经网络的入门介绍。这份清单看起来很长，但我不会一股脑塞进大脑。学习是个渐进过程，重要的是方向清晰。真正的学习从来不是线性的。当你理解了Transformer的注意力机制，再看视觉模型就豁然开朗；当你掌握了扩散模型的数学原理，机器人的行为策略突然变得可解释。知识之间存在隐秘的连接，你要做的是持续探索，直到这些点连成线。autodidact（自学者）不是一个标签，而是一种选择——选择为自己的好奇心负责，选择在未知领域保持谦卑和兴奋。18岁进谷歌时我是这样，现在转向AI机器人依然如此。x.com/pzrsaa/status/1879977175027110042

7. UC Berkeley 2025 秋季的深度学习课程地址：berkeley-cs182.github.io/fa25/index.html定位是“高级本科 / 研究生”课程。它是面向已经掌握神经网络、反向传播、SGD、正则化、分类/回归、验证集等基础的学生。核心目标是：在深度学习理论还不完全统一的情况下，训练学生用直觉、理论建模、实现、实验和科学分析结合的方式理解和使用深度网络。

8. DL：扩散模型的基本原理与 PyTorch 实现

9. 如何克服完美主义?

10. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称神经网络中的权重（Weight）概念知识点讲解权重是神经网络中最核心的参数之一。每个神经元之间的连接都有一个权重值，用来表示这个连接的重要程度。权重决定了输入信号对输出结果的影响大小。举例说明：假设你要判断一张图片是不是猫。图片的某些特征（如耳朵形状）对判断很重要，这些特征对应的权重就会很大；而不重要的特征（如背景颜色）对应的权重就会很小。神经网络训练的过程，本质上就是不断调整这些权重，让网络能做出更准确的判断。权重值越大，说明对应的输入对最终结果影响越大。例题（单选题）神经网络中权重的主要作用是什么？A选项：存储训练数据B选项：决定输入信号的重要程度C选项：生成随机数D选项：显示训练进度答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：jpf#AI创造营# #科技风向标# 网页链接

11. 学习AI工程常常需要翻阅各种论文、教程和框架文档，东一榔头西一棒槌，概念零散难以串联。AI Engineering from Scratch 提供一套完整的AI工程学习路线图，从零数学推导构建所有算法，再到框架应用，一条龙掌握。涵盖416课时、20个阶段，支持Python、TypeScript、Rust、Julia四种语言，从线性代数到自主智能体群，每步先手写数学再导入框架。URL：aiengineeringfromscratch.comGitHub：github.com/rohitg00/ai-engineering-from-scratch- 20阶段416课时，从基础数学到高级AI系统全覆盖；- 四语言实现（Python/TS/Rust/Julia），每课包含数学推导+代码+测试；- 本地运行，无需云端，克隆仓库即可在自己机器上手写算法；- 线性结构路线图，避免碎片化学习，先理解backprop、attention等核心，再用PyTorch；- 实时进度跟踪和词汇表，支持浏览器保存学习状态；- 开源免费MIT许可，无需注册paywall，随时fork自学。支持本地开发环境，git clone后即可运行所有课时代码，适合AI工程师自学和深度实践。#AI工程##从零开始##人工智能#

12. 【#科学家提出新型神经网络框架#！】近日，中国科学院自动化研究所团队等，提出了新型神经网络框架CATS Net，实现了类人的概念形成、理解和交流。CATS Net包含概念抽象（CA）模块与任务求解（TS）模块。在处理视觉任务时，CA模块能够自发地将高维视觉输入压缩成低维“概念向量”。这些概念向量会通过分层门控机制产生一系列“开关”信号，动态调节TS模块的神经网络活动，指导系统完成特定的视觉感知任务。系统可以根据与环境的互动自主生成大量新概念，形成自己的概念空间。当不同的神经网络所生成的概念空间对齐后，可直接通过概念向量在网络间传递知识，再现了人脑的概念生成、理解和交流。团队进一步将CATS Net自发形成的概念表征与人类的概念空间和神经活动数据进行对比。分析显示，CATS Net生成的概念空间与心理学上的人类认知语义模型一致，其表征模式还与人类大脑中负责视觉语义表征的腹侧枕颞皮层活动模式相关。同时，CA模块的动态门控机制与脑中负责概念提取与操控的语义控制网络活动模式吻合。这表明CATS Net在功能层面模拟了人类的概念认知，并在机制层面揭示了人脑概念形成与理解的计算原理。相关成果已发表于《自然-计算科学》。#中国科普博览#

13. DeepSeek 从「神坛」跌落又「走上长征」，国产大模型面临哪些挑战？

14. AI 术语通俗词典：反向传播

15. 人工智能通识课：深度学习

16. 过去十年，大家一直在说AI会改变编程。但现在看，真正被改变的，可能不是“写代码”，而是“审代码”。如果未来AI写代码、审代码都变成了常态，程序员最核心的能力到底是什么呢？#大有学问 #红衣聊AI #anthropic #人工智能 #程序员

17. 教学项目：SmolML ，一个完全由 Python 从零构建的、功能完整且简洁的机器学习库。地址：github.com/rodmarkun/SmolML你是否曾好奇，像 Scikit-Learn、PyTorch 或 TensorFlow 这样强大的机器学习库内部究竟是如何运作的？神经网络到底是如何学习的？梯度下降是如何实现的？各种数据处理工具是如何工作的？SmolML 是一个功能完整（但简化版）的机器学习库，仅使用纯 Python 和基础模块（collections、random 和 math）构建。没有 NumPy，没有 SciPy，也没有 C++ 扩展。全程纯 Python。其目标是提供一个透明、易理解且具有教育意义的核心机器学习概念实现。#AI创造营#

18. AI 术语通俗词典：人工神经元

19. DL：前馈神经网络的基本原理与 PyTorch 实现

20. 17000 token/s，比B200快48倍！Taalas AI 芯片能否颠覆英伟达GPU？

21. 【500行C代码，把Transformer的神秘感彻底杀死】有人用纯C从零实现了一个GPT，没有PyTorch，没有autograd，连numpy都没有。前向传播、反向传播、Adam优化器、文本采样，全部手写。严格来说这不是GPT的架构复刻，而是精神继承。没有可学习参数的LayerNorm，用的是RMSNorm；激活函数是Squared ReLU而非GELU；tokenizer是字符级的，不是BPE。但核心机制一个不少：embedding、多头因果自注意力、残差连接、MLP、交叉熵损失。这篇文章真正的价值在于：它把transformer从黑盒API调用变成了你能用for循环和指针算术理解的东西。当你看到attention就是两层嵌套循环做点积再softmax再加权求和，当你看到backprop就是把这些操作反过来一步步算偏导，那种"这玩意儿到底在干嘛"的困惑就消失了。用C而不是Python来做这件事有独特的教学意义。numpy的广播和PyTorch的autograd隐藏了太多细节，C强迫你面对每一次内存访问、每一次循环、每一次乘法。框架让你高效，但也让你无知。几个值得注意的实现细节：softmax加交叉熵的梯度简化被清晰展示了，就是那个经典的prob减one_hot；RMSNorm的反向传播推导是很多人会卡住的地方，这里给出了完整实现；KV cache不是作为优化技巧引入，而是作为架构的自然组成部分。当然这不是生产级代码。batch size是1，梯度噪声极大；静态内存分配在某些系统上可能直接栈溢出；没有梯度裁剪。但教学代码的目标从来不是能用，而是能懂。Karpathy的llm.c是这个方向的标杆，工程质量完全不在一个量级。这篇更像是micrograd精神在C语言中的投射：教学优先，能跑就行。如果你想真正理解attention的每一个梯度是怎么流动的，这篇值得逐行读一遍。理解一个系统最好的方式，永远是亲手把它拆开再装回去。x.com/TheVixhal/status/2022734079167467711

22. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称神经网络中权重初始化对训练的影响知识点讲解权重初始化是神经网络训练的起点，其取值范围和分布会直接影响前向传播中信号的尺度以及反向传播中梯度的稳定性，从而影响模型能否高效、稳定地完成训练。（1）若权重全部初始化为 0，或初始化为相同的数值，则同一层中各个神经元对相同输入会产生完全相同的线性变换结果，经过激活函数后的输出也相同。反向传播时，这些神经元接收到的梯度相同，因此参数更新量也完全一致。这样一来，同一层的多个神经元在整个训练过程中始终保持相同，无法学习到不同的特征，这称为无法打破对称性。其结果是，虽然这一层形式上包含多个神经元，但实际效果等价于只有一个神经元的重复拷贝，网络的表达能力将显著下降。（2）若权重初始化过大，则前向传播时各层输入经过线性变换后容易得到绝对值较大的激活值。对于 Sigmoid、Tanh 等饱和型激活函数，神经元输出会迅速进入饱和区，使导数接近 0，进而导致反向传播时梯度极小，难以有效更新参数。对于 ReLU 及其变体，虽然不存在传统意义上的饱和问题，但过大的权重仍可能导致各层输出数值过大，使梯度在多层传递过程中被不断放大，进而引发梯度爆炸、数值不稳定甚至训练发散。（3）若权重初始化过小，则前向传播时信号幅值会在层间不断缩小，导致网络深层的输入和输出都接近于 0；同时在反向传播过程中，梯度也会因链式法则的连续相乘而逐层衰减，最终出现梯度消失现象。这样会使浅层参数尚可更新，而深层参数更新极慢甚至几乎停止，导致模型难以学习到有效的层次化表示，训练效果较差。因此，合理的权重初始化应尽量保证信号在前向传播和反向传播过程中都不过度放大或缩小，并能够打破同层神经元之间的对称性，从而提高网络训练的稳定性与收敛效率。例题（单选题）神经网络权重全部初始化为 0，最直接导致什么问题？A选项：同层神经元会学到相同特征 B选项：学习率自动变为0，训练无法启动 C选项：损失函数变为负数，优化方向反转 D选项：激活函数输出全部饱和，梯度爆炸答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：rht#AI创造营# #科技风向标# 网页链接

23. 小红书爆款笔记怎么复刻？创作神器来啦模板功能：利用多维表格功能优势和数据采集API工具，低成本拆解小红书平台的爆款文案公式，然后批量进行二创，提高效率解决痛点：不会创作小红书爆款内容缺乏高效实现内容创作难以高效提炼小红书爆款文案中可复用的核心规律（如结构、关键词、情绪等）无法实现小红书的数据自动分析#小红书 #自媒体运营 #小红书运营 #飞书 #AI模板

24. DL：单层感知器与多层感知器的基本原理与实现

25. DL：循环神经网络的基本原理与 PyTorch 实现

26. 从人工智能的三大流派来看，编写规则属于符号主义学派，模仿学习和强化学习属于连接主义学派。符号主义的核心思想是人类专家将知识和决策过程编写为明确的逻辑规则，用各种符号来表达知识和概念之间的关联。该学派的典型代表作是专家系统，它将特定领域的知识编码到知识库中，推理引擎根据输入的事实进行匹配并执行相应的规则，得出具体的结论。连接主义的核心思想是智能来自于神经网络及其连接机制，强调的是从数据中学习，构建由大量简单的处理单元通过带有权重的连接组成的人工神经网络。根据输入数据自动调整网络中的连接权重，以最小化网络输出和真实输出之间的误差，使得网络学习输入和输出之间的复杂映射关系并具备泛化能力。具体到自动驾驶领域，23年之前，头部智驾企业实现了基于深度神经网络的感知。在驾驶策略决策上依赖天生牛马的程序员编写的程序，感知层践行的是连接主义，决策层践行的是符号主义，算是符号主义和连接主义的混合体。24年之后，头部智驾企业纷纷效法特斯拉转型端到端方案，其核心转变在于决策层由规则驱动的编码转向数据驱动的深度神经网络，从学术流派上来看，则是全面转向了连接主义。#大v聊车#

27. 【AI人工智能】题库:纯公益分享【就业+考研】笔试+面试必会【小白从小学Python,C,Java】知识点名称神经网络的基本组成单元知识点讲解神经网络的基本组成单元是神经元，也叫感知机。神经元是构建各类神经网络的基础，它接收多个输入信号，经过简单的计算后输出一个结果。比如在简单的单层神经网络中，每个神经元接收输入的特征数据，通过激活函数处理后，输出分类或回归的初步结果。例如识别手写数字时，输入的像素数据会先传递给一个个神经元，神经元处理后逐步传递信息，最终完成数字识别。例题（单选题）神经网络的基本组成单元是什么？A 选项：神经元B 选项：卷积核C 选项：池化层D 选项：全连接层答案与题解答案、题解：见评论区温馨期待期待大家提出宝贵建议，互相交流，收获更大，助教：lry #AI创造营# #科技风向标# 网页链接

28. AI 术语通俗词典：前向传播

29. 别再怕AI！神经网络根本不难，从人脑到Python代码，新手也能上手

30. 从零开始，用Python实现你的第一个神经网络

31. 纯靠python手搓！构建自己的神经网络！

32. 从 MNIST 数据集看神经网络的结构与学习

33. 神经网络的奥秘

34. 深度学习入门完全指南

35. 以Transformer为例，通过亲身参与计算，可以直观地看到注意力机制如何分配权重以及前馈网络的运作方式。许多学习者惊讶地发现，通过亲自计算可以获得深刻的理解，这对于掌握人工智能的基本概念和数学基础是一种非常有效的方法。我很高兴能向你推荐这个实用的学习工具。

36. 图解深度学习神经网络超通俗入门

37. 神经网络与机器学习

38. 深度学习入门笔记01

39. 我写了一本从零实现深度学习与大语言模型的入门教程

40. 零基础也能写神经网络！这本「实战派神书」，让我从 AI 小白到独立实现手写体识别

41. 拒绝调包！纯NumPy手搓Ilya推荐的30篇论文，连反向传播都是手写的

42. 从原理到代码，NumPy 手搓基础多层前馈神经网络（多层感知机MLP）并进行手写数字识别

43. 从零构建神经网络识别手写数字中英字幕 1080P

44. 100行Python代码，带你优雅地搭建神经网络

45. 反向传播原理及推导

46. 手撕反向传播：从计算图到代码，彻底搞懂神经网络凭什么知错能改

47. 优化｜反向传播（Back-propagation, BP）：让神经网络“学会学习”

48. 彻底搞懂神经网络原理02：网络如何反向传播和训练？

49. 第十二部分：反向传播

50. 第T1周：实现mnist手写数字识别

51. 手写一个mini版 PyTorch —— 理解自动微分与反向传播

52. 深度学习 - 实现mnist手写数字识别（pytorch版）

53. 反向传播到底在“反”什么？—— 链式法则与计算图

54. 人工智能的第一本书籍《python神经网络编程》PDF版拿走不谢

55. 大模型从0到精通：误差反向传播——神经网络中的“责任追溯”系统

56. 【深度学习必修】反向传播(Backprop)保姆级教程，看完不仅懂了还会推导！ | 损失函数 / 梯度下降 / 链式法则 / 计算图

57. 从一个 neuron 推到反向传播

58. 最重要的机器学习算法（C语言实现机器学习第03集） | Tsoding Daily

59. 机器学习复习笔记（四）：神经网络

60. 零基础入门 AI！这本实战神书，让你亲手写出神经网络！

61. 神经网络与深度学习: 1使用神经网络识别手写数字

62. LLM101（一）——看完 Andrej Karpathy 的 Micrograd，我决定用300行纯Python手写一个深度强化学习框架：MicroDRL

63. 深度学习 | 从零构建神经网络

64. 神经网络到底是怎么学会的？

65. AI破壁计划第24讲：反向传播——神经网络的“学习秘诀”

66. AI巨佬Karpathy 神经网络训练秘籍

67. 算法代码速成34：走进人工智能|神经网络训练全解析：从原理到实战

68. AI基础 | 前向传播与反向传播（2）

69. 什么是神经网络

70. 神经网络与深度学习: 1使用神经网络识别手写数字续2

71. 神经网络(2)-基于BP神经网络的预测算法：原理、实现与优化策略

72. 从MNIST开始—— 模型的训练

73. 【全集】从零开始用C++构建前馈神经网络中英字幕 1080P

74. 249页只为给新手讲透神经网络！得到李航、清华教授、邱锡鹏等大神一致认可

75. 零基础也能写神经网络！这本「实战派神书」，让我从 AI 小白到独立实现手写体识别 - 哔哩哔哩

76. 终于把神经网络算法搞懂了！！

77. 用 C 语言可视化神经网络（C 语言机器学习系列第 4 集） | Tsoding Daily

78. AI炼气计划第2讲：神经网络为何不能从零开始？参数初始化的奥秘

79. 30行代码训练模型手写数字识别【PyTorch实战】

80. 【AI系列】反向传播：AI 能学习的底层密码，大模型都靠它

81. 机器学习课程 3-1-神经网络102-MLP

82. 深度学习的基石：NumPy在人工智能中的高效应用指南

83. 图解大模型，第三章：神经网络入门

84. 反向传播——机器学习中最重要的算法

85. 面试题：神经网络的训练怎么讲？损失函数、反向传播、梯度下降、Early Stopping、GPU训练、参数量计算一文讲透

86. 反向传播：被AI之父嘲笑的算法，如何成为现代AI的基石？| 模型如何学习第2集

87. PINN零基础入门日记

88. 神经网络反向传播的核心——链式法则数学原理及实践

89. 学神经网络之前必看！面向绝对初学者的神经网络入门教程！

90. 从零开始了解什么是神经网络 2. 线性拟合：神经网络建模的数学基石

91. 【AI入门】【用Excel实现神经网络】01.背景梳理

92. 人工智能的 F=ma [反向传播，模型如何学习第2部分] | Welch Labs

93. 动手学深度学习（四十四）PyTorch 实现深度循环神经网络：从记忆到分层理解

94. 神经网络与机器学习：改善反向传播算法性能的试探法

95. 神经网络-反向传播、梯度下降

96. 导数的双重身份：从商业决策到反向传播——反向传播算法

97. 【反向传播推导 C1 W4-1】吴恩达2021深度学习作业记录

98. 8. 反向传播（Backpropagation）：8.1 梯度的评估（Evaluation of Gradient）（上）

99. 前向传播~神经网络

100. 深度学习 | 梯度下降，神经网络如何学习

101. 反向传播推导式的详细展开

102. 神经网络反向传播简明推理

扫一下，分享更方便，购买更轻松

0评论

当前文章无评论，是时候发表评论了

提示信息

取消

确认

评论举报

垃圾广告！低俗色情！人身攻击！疑似水军评论！其他有害！