一种基于L2NU激活函数的图像分类模型生成方法及装置制造方法及图纸

本申请涉及一种基于L2NU激活函数的图像分类模型生成方法，该方法包括以下步骤：S101：将ResNet

【技术实现步骤摘要】
一种基于L2NU激活函数的图像分类模型生成方法及装置


[0001]本申请涉及图像分类的
，尤其是涉及一种基于L2NU激活函数的图像分类模型生成方法及装置。

技术介绍

[0002]当今的深度学习模型，网络结构不断扩增，特别是网络的深度不断地加深，带来了许多训练问题。当网络模型的层数超过一定数量，训练进程就愈发缓慢甚至难以获得优化。这是目前所有主流的深度学习模型都会面对的问题。例如，对比FCN，超过10层的网络在不引入任何训练技巧的情况下是无法通过梯度下降法进行训练优化的，在有限的训练时间中，模型的精度可能不会获得任何的提升。训练问题主要来自于更新梯度无法有效反向传播。

技术实现思路

[0003]针对上述技术问题,本申请提出了一种基于L2NU激活函数的图像分类模型生成方法及装置。
[0004]第一方面，本申请提出了一种基于L2NU激活函数的图像分类模型生成方法，所述方法包括以下步骤：
[0005]S101：将ResNet
‑
50图像分类模型中所有残差模块原生结构中的ReLU激活函数替换为L2NU激活函数；
[0006]所述L2NU激活函数具体为：
[0007][0008]其中，n为图像分类模型的网络层中的神经元个数，X为网络层的激活前模式，且X＝(x1,x2,
…
,x
n
)，x
i
为各神经元输出，且i∈{1,2,
…
,n}；
[0009]S102：移除步骤S101中的ResNet
‑
50图像分类模型中的所有BN层；
[0010]S103：将步骤S102中的ResNet
‑
50图像分类模型的输出层的激活函数设置为
[0011]S104：将步骤S103中的ResNet
‑
50图像分类模型的神经网络的各权值矩阵初始化为标准正态分布，且将神经网络的各层偏置设置为0向量；
[0012]S105：基于图像分类训练数据集对步骤S104中的ResNet
‑
50图像分类模型进行训练，得到基于L2NU激活函数的图像分类模型。
[0013]通过采用上述技术方案，相比传统激活函数如ReLU、Tanh和Sigmoid，将本申请的L2NU激活函数应用于图像分类的深度学习模型时具有以下效果：模型分类精度函数得到了提升；模型参数训练时间得到缩短，模型更快收敛；模型训练过程更稳定，参数数值范围与梯度反向传播数值范围均在训练过程中保持相对稳定。
[0014]优选的，所述S103具体包括：将步骤S102中的ResNet
‑
50图像分类模型的输出层的激活函数设置为且基于L2NU
p
函数对ResNet
‑
50图像分类模型的损失函数进行交叉熵损失计算；所述损失函数具体为：
[0015][0016]其中，Y为网络的logits输出，且Y＝(y1,y2,
…
,y
n
)，y
i
为网络输出层第i个神经元的未激活输出数值，n为标签维度，z
i
为one
‑
hot形式的样本标签Z＝(z1,z2,
…
,z
n
)的第i个元素。
[0017]优选的，所述S105具体包括：基于CIFAR
‑
10和CIFAR
‑
100图像分类训练数据集，利用随机梯度下降法训练步骤S104中的ResNet
‑
50图像分类模型，且将优化器设置为Momentum优化器，将动量系数设置为0.9，将数据批大小设置为100，且训练过程采用0.1的学习率进行100轮训练后，再使用0.01学习率进行10轮参数微调，以得到基于L2NU激活函数的图像分类模型。
[0018]优选的，在步骤S105之后，所述方法还包括：S106：对基于L2NU激活函数的图像分类模型进行性能验证。
[0019]优选的，所述S106具体包括：分别采用Sigmoid激活函数、Tanh激活函数、ReLU激活函数以及L2NU激活函数训练不同层数FCN，记录FCN网络在CIFAR
‑
10图像分类训练数据集上采用0.01的学习率下经过3000轮训练之后的最优精度。
[0020]优选的，所述S106还包括：分别采用VGG
‑
11、VGG
‑
13、VGG
‑
16以及ResNet卷积神经网络模型学习CIFAR
‑
100图像分类训练数据集，通过将各个卷积神经网络原生结构中的卷积层与全连接层的ReLU激活函数替换为L2NU激活函数，以对比L2NU激活函数相比ReLU激活函数的性能差异，并通过将各个卷积神经网络的输出层的Softmax函数替换为L2NU
p
函数，以对比L2NU
p
函数与Softmax函数的性能差异。
[0021]第二方面，本申请还提出了一种图像分类方法，所述方法包括以下步骤：
[0022]S201：获取需要进行分类的图像分类样本；
[0023]S202：将所述图像分类样本输入基于L2NU激活函数的图像分类模型中，所述基于L2NU激活函数的图像分类模型预先基于第一方面所述的方法训练得到；
[0024]S203：输出所述基于L2NU激活函数的图像分类模型的分类结果。
[0025]第三方面，本申请还提出了一种基于L2NU激活函数的图像分类模型生成装置，所述装置包括：
[0026]模型修改模块：用于将ResNet
‑
50图像分类模型中所有残差模块原生结构中的ReLU激活函数替换为L2NU激活函数；还用于移除ResNet
‑
50图像分类模型中的所有BN层；还用于将ResNet
‑
50图像分类模型的输出层的激活函数设置为还用于将步骤S104中的ResNet
‑
50图像分类模型的神经网络的各权值矩阵初始化为标准正态分布，且将神经网络的各层偏置设置为0向量；
[0027]L2NU激活函数的数学定义如下：
[0028][0029]其中，n为图像分类模型的网络层中的神经元个数，X为网络层的激活前模式，且X＝(x1,x2,
…
,x
n
)，x
i
为各神经元输出，且i∈{1,2,
…
,n}；
[0030]训练模块：用于基于图像分类训练数据集对修改后的ResNet
‑
50图像分类模型进行训练；
[0031]确定模块：用于通过第一方面所述的方法将修改后的ResNet
‑
50图像分类模型训练成基于L2NU激活函数的图像分类模型。
[0032]第四方面，本申请还提出了一种图像分类装置，所述装置包括：...

【技术保护点】

【技术特征摘要】
1.一种基于L2NU激活函数的图像分类模型生成方法，其特征在于：所述方法包括以下步骤：S101：将ResNet
‑
50图像分类模型中所有残差模块原生结构中的ReLU激活函数替换为L2NU激活函数；所述L2NU激活函数具体为：其中，n为图像分类模型的网络层中的神经元个数，X为网络层的激活前模式，且X＝(x1,x2,
…
,x
n
)，x
i
为各神经元输出，且i∈{1,2,
…
,n}；S102：移除步骤S101中的ResNet
‑
50图像分类模型中的所有BN层；S103：将步骤S102中的ResNet
‑
50图像分类模型的输出层的激活函数设置为S104：将步骤S103中的ResNet
‑
50图像分类模型的神经网络的各权值矩阵初始化为标准正态分布，且将神经网络的各层偏置设置为0向量；S105：基于图像分类训练数据集对步骤S104中的ResNet
‑
50图像分类模型进行训练，得到基于L2NU激活函数的图像分类模型。2.根据权利要求1所述的一种基于L2NU激活函数的图像分类模型生成方法，其特征在于：所述S103具体包括：将步骤S102中的ResNet
‑
50图像分类模型的输出层的激活函数设置为且基于L2NU
p
函数对ResNet
‑
50图像分类模型的损失函数进行交叉熵损失计算，所述损失函数具体为：其中，Y为网络的logits输出，且Y＝(y1,y2,
…
,y
n
)，y
i
为网络输出层第i个神经元的未激活输出数值，n为标签维度，z
i
为one
‑
hot形式的样本标签Z＝(z1,z2,
…
,z
n
)的第i个元素。3.根据权利要求1所述的一种基于L2NU激活函数的图像分类模型生成方法，其特征在于：所述S105具体包括：基于CIFAR
‑
10和CIFAR
‑
100图像分类训练数据集，利用随机梯度下降法训练步骤S104中的ResNet
‑
50图像分类模型，且将优化器设置为Momentum优化器，将动量系数设置为0.9，将数据批大小设置为100，且训练过程采用0.1的学习率进行100轮训练后，再使用0.01学习率进行10轮参数微调，以得到基于L2NU激活函数的图像分类模型。4.根据权利要求1所述的一种基于L2NU激活函数的图像分类模型生成方法，其特征在于：在步骤S105之后，所述方法还包括：S106：对基于L2NU激活函数的图像分类模型进行性能验证。5.根据权利要求4所述的一种基于L2NU激活函数的图像分类模型生成方法，其特征在于：所述S106具体包括：分别采用Sigmoid激活函数、Tanh激活函数、ReLU激活函数以及L2NU激活函数训练不同层数FCN，记录FCN网络在CIFAR

【专利技术属性】
技术研发人员：邱鲤鲤，张泽洋，周昌乐，
申请(专利权)人：厦门大学，
类型：发明
国别省市：