📖 第三章：神经网络基础深度学习导论

🌱 共 4 个小节

3.1神经元与感知机

人工神经网络（Artificial Neural Network，ANN）的灵感来源于生物神经系统。最基本的计算单元称为神经元（Neuron），它接收多个输入信号，通过加权求和并经过一个激活函数（Activation Function）产生输出。

感知机（Perceptron）是最早的神经网络模型，由 Frank Rosenblatt 在 1958 年提出。它仅包含一层神经元，能够解决线性可分问题。其数学形式为：

y = f( Σ wᵢ · xᵢ + b )

其中 wᵢ 是权重，xᵢ 是输入特征， b 是偏置项，f 是激活函数。对于二分类问题，通常使用阶跃函数作为激活函数。

                        💡 关键理解： 感知机的局限性在于它无法处理异或（XOR）等非线性可分问题。
                        这一缺陷直接导致了神经网络的第一次寒冬，但也为后来多层感知机（MLP）的诞生埋下了伏笔。
                    

3.2激活函数

激活函数为神经网络引入了非线性，使得网络能够拟合复杂的函数映射。常见的激活函数包括 Sigmoid、Tanh 和 ReLU（Rectified Linear Unit）。

ReLU 由于其计算简单且能缓解梯度消失问题，已成为深度学习中最常用的激活函数之一。其表达式为：ReLU(x) = max(0, x)。

在实际应用中，选择合适的激活函数对模型的收敛速度和性能有显著影响。例如，在输出层，二分类任务常用 Sigmoid，多分类任务常用 Softmax。

3.3前向传播与反向传播

前向传播（Forward Propagation）是指数据从输入层经过隐藏层到输出层的计算过程。而反向传播（Backpropagation）则是根据损失函数对权重的梯度，从输出层向输入层逐层更新参数。

反向传播算法由 Rumelhart、Hinton 和 Williams 在 1986 年重新提出，它使得多层神经网络的训练成为可能，是深度学习发展的基石。

                        🧠 思考： 为什么反向传播需要链式法则？
                        因为神经网络的复合函数结构使得梯度计算需要从输出层逐层向前传递。
                    

3.4过拟合与正则化

当神经网络模型在训练集上表现优异，但在测试集上表现不佳时，称为过拟合（Overfitting）。常见的缓解方法包括：

L1 / L2 正则化：在损失函数中加入权重惩罚项。
Dropout：在训练过程中随机丢弃部分神经元。
早停（Early Stopping）：在验证集性能不再提升时停止训练。
数据增强：通过对训练数据进行变换增加样本多样性。

在实际工程中，通常需要组合使用多种正则化技术来获得最佳的泛化性能。

📌 提示：选中任意文字，点击弹出的「🤔 不懂」按钮，即可向 AI 助教提问。