常见深度学习算法

MLP
CNN
RNN
LSTM
Transformer

CNN

让我们通过一些基本的公式来更深入地理解卷积神经网络（CNN）的工作原理。

1. 卷积层

卷积操作是CNN的核心，其公式可以表示为：
$\text{输出}(i,j)=\sum _m\sum _n\text{输入}(i+m,j+n)\times \text{卷积核}(m,n)$
其中，$\text{输入}$ 是输入图像或特征图，$\text{卷积核}$ 是学习到的滤波器，$m,n$ 是卷积核的尺寸

2. 激活函数

ReLU（Rectified Linear Unit）是一种常用的激活函数，其公式简单：
$\text{ReLU}(x)=max(0,x)$
这意味着如果输入$x $是正数，就直接输出，如果是负数，则输出0。

3. 池化层

池化通常有两种类型：最大池化和平均池化。

• 最大池化：输出区域内最大值。
  $\text{输出}(i,j)=\underset{m,n\in \text{窗口}}{max}\text{输入}(i+m,j+n)$
• 平均池化：输出区域内的平均值。
  $\text{输出}(i,j)=\frac{1}{M\times N}\sum _{m,n}\text{输入}(i+m,j+n)$
  其中，$M\times N$是池化窗口的大小。

4. 全连接层

在全连接层，每个输入节点都连接到每个输出节点，其公式可以表示为：
${\text{输出}}_i=\sum _j({\text{权重}}_{ij}\times {\text{输入}}_j)+{\text{偏置}}_i$

5. Softmax 函数

在分类任务中，通常在最后一个全连接层后使用softmax函数来计算概率分布：
$\text{softmax}(x_i)=\frac{e^{x_i}}{\sum _j{e}^{x_j}}$
这里，$x_i $\mathrm{是}\mathrm{第}$i $个类别的输出分数，softmax函数确保所有类别的输出概率总和为1。

训练过程中的损失函数和优化

• 损失函数：如交叉熵损失，用于分类问题。
  $\text{交叉熵损失}=-\sum _i{\text{真实标签}}_i\log ({\text{预测概率}}_i)$
• 优化算法：如SGD，更新参数以最小化损失。
  $\text{参数更新}:\text{参数}=\text{参数}-\text{学习率}\times \text{梯度}$
  通过这些公式，CNN学习从输入数据中提取有用的特征，并使用这些特征进行有效的分类或其他任务。