3 LeNet-5网络分析

LeNet-5神经网络是Yann LeCun等人在 1998 年提出的，该神经网络充分考虑图像的相关性。

3.1 LeNet-5神经网络结构

• 输入为32*32*1的图片大小，为单通道的输入；

• 进行 卷积，卷积核大小为5*5*1，个数为6，步长为1，非全零填充模式；

• 将卷积结果通过非线性激活函数；

• 进行池化，池化大小为2*2，步长为1，全零填充模式；

• 进行卷积，卷积核大小为5*5*6，个数为16，步长为1，非全零填充模式；

• 将卷积结果通过非线性激活函数；

• 进行池化，池化大小为2*2，步长为1，全零填充模式；

• 全连接层进行10分类

分析：

LeNet-5神经网络的输入是32*32*1，经过5*5*1的卷积核，卷积核个数6，非全零填充，步长1：输出=(32+0-5)/1+1=28,故经过卷积后输出为28*28*6。

经过第一层池化层，池化大小为2*2，全零填充，步长2：输出=输入/步长=28/2=14，池化层不改变深度，深度仍为6。

用同样计算方法，得到第二层池化后的输出为5*5*16。将第二池化层后的输出拉直送入全连接层。

特点;

• 卷积(Conv)、池化(ave-pooling)、非线性激活函数(sigmoid)相互交替；

• 层与层之间稀疏连接，减少计算复杂度

3.2 微调LeNet-5结构，适应MNIST数据

由于MNIST数据集中图片大小为28*28*1的灰度图片，而LeNet-5神经网络的输入为32*32*1，故需要对LeNet-5结构进行微调。

调整后结构：

• 输入为32*32*128*28*1的图片大小，为单通道的输入；

• 进行卷积，卷积核大小为5*5*1，个数为632，步长为1，非全零全零填充模式；

• 将卷积结果通过非线性激活函数；

• 进行池化，池化大小为2*2，步长为12，全零填充模式；

• 进行卷积，卷积核大小为5*5*65*5*32，个数为1664，步长为1，非全零全零填充模式；

• 将卷积结果通过非线性激活函数；

• 进行池化，池化大小为2*2，步长为12，全零填充模式；

• 全连接层进行10分类