神经网络

它是什么

神经网络是一类由分层计算单元组成的参数化模型。每个单元接收输入，按权重组合并加入偏置，再经过激活函数产生输出；训练会调整这些权重和偏置。名称借用了生物神经系统的比喻，但人工神经网络不是大脑的精确复制。[S1][S2]

为什么需要它

单一线性关系只能画出很有限的决策边界。神经网络通过多层计算和非线性激活组合简单变化，可以表示图像、声音、文本和表格数据中的复杂关系。[S1] 它也能在训练中学习中间表示，减少部分任务对人工设计特征的依赖。

它如何工作

输入层接收特征，隐藏层反复执行“加权求和、加偏置、非线性变换”，输出层给出任务结果。训练时，模型先产生预测并计算损失，再通过反向传播求出各参数对误差的影响，优化算法据此更新参数。[S2] 一层的输出成为下一层的输入，因此整个网络能够组合出更复杂的函数。

真实例子

识别手写数字时，输入可以是每个像素的亮度。较早的层可能对局部方向和边缘产生响应，后面的层再组合这些信号，最后输出十个数字的概率。这里的“边缘”和“形状”是帮助理解的概括，实际内部单元未必恰好对应人能命名的概念。

什么时候适合与不适合

适合关系高度非线性、数据类型复杂，并且有足够样本和计算预算的任务。它的表达能力强，但参数更多、训练和调试成本更高，内部依据也通常比简单模型难解释。增加层数或节点只会提高容量，不保证训练收敛、泛化改善或业务收益；数据少、规则清楚时，简单模型往往更合适。

亲自试一下

目标是建立“分层组合”的直觉。选择两个可观察输入，例如评论长度和感叹号数量，先各写一个简单判断，再把两个判断组合成最终的“需要复核”结果。至少找四个反例，检查组合规则是否能表达单条直线规则做不到的情况；若只是重复同一个线性判断，增加层次并没有带来新能力。

接下来学什么

先学习深度学习理解多层表示，再学习梯度下降和反向传播区分参数更新方法与梯度计算机制；随后用过拟合检查高容量模型的风险。

来源与修订

节点、权重、偏置、激活函数和非线性组合参考 Google 神经网络课程 [S1]；前馈网络、损失、反向传播和训练目标参考 MIT Press《Deep Learning》前馈网络章节 [S2]。具体网络架构会随任务变化，本文只解释共同骨架。