什么值得买App下载 App ›
连续签到专享现金活动

一般来说,三层神经网络可以逼近任何一个非线性函数,为什么还需要深度神经网络?

通用近似定理表明,三层神经网络理论上足以逼近任何非线性函数。然而在实际应用中,深度神经网络往往表现出更优的性能。从神经符号主义的视角来看,神经网络的本质可以理解为生成一个析取范式,即通过逻辑“或”连接多个由逻辑“与”构成的规则。这种视角揭示了深度学习在处理高维特征组合时的独特优势。
01神经网络本质:析取范式与特征空间
神经网络的核心过程可以看作是对特征空间的升维与降维操作。降维是从海量特征中筛选出关键属性(如性别、年龄),形成具有一定样本覆盖面的子集,虽然泛化能力强但预测精度有限。升维则是引入更多特征(如专业、经历)来细化描述,虽然能提高预测的纯度,但极易导致子集样本稀疏,陷入“维度灾难”。神经网络通过可微方程学习规则,旨在找到能覆盖高纯度样本的“与”规则组合,最后通过“或”操作整合,以构建高精度的非线性决策边界。

升维与降维的策略权衡

高精度预测
  • 引入更多特征描述数据,如成长经历、家庭情况

  • 预测结果更准确,子集纯度高

  • 风险:特征过多导致样本覆盖极少,引发维度灾难

强泛化能力
  • 选取关键属性划分数据,如性别、星座

  • 样本覆盖面广,具备统计预测意义

  • 局限:预测往往不准,难以覆盖复杂情况

02深度学习的捷径作用
在单层宽隐藏层中,每个神经元通过权重和阈值学习一个“与”逻辑,输出层则进行“或”操作。然而,要在所有假设解中找到最优的“与”规则组合是NP难问题,计算复杂度呈指数级增长。深度学习提供了一种有效的捷径:通过层级叠加,每一层都 对前一层的特征进行重新组合。例如,第一层处理基础特征,第二层直接组合这些特征形成更复杂的高阶特征。这种层级化结构避免了遍历所有特征组合的巨大开销,能够更高效地找到高纯度的特征子集,从而在准确率与召回率之间取得平衡。
03哲学意义:归纳与演绎的统一
从哲学层面理解,机器学习建模世界的过程是归纳与演绎的辩证统一。通过不断升维与降维,模型生成具有高度泛化能力的知识,旨在使模型分布与现实分布的差异最小化(如最小化KL散度)。这一过程类似于人类对世界的认知:从“上学就能成功”的简单假设,到加入家庭、努力、运气等特征,构建出“(家庭好且上学)或(家庭不好但努力且运气好且上学)等于成功”的复杂规则。当规则能以高纯度覆盖尽可能多的样本时,即完成了一次对世界的合格建模。

评论

评论区空态插画

当前文章无评论,是时候发表评论了