一种用于CNN模型图像分类任务的高精度激活函数制造技术

本发明专利技术公开了一种用于CNN模型图像分类任务的高精度激活函数：右移线性修正单元(RsReLU)，包括RsReLU函数数学模型、RsReLU函数梯度函数数学模型、RsReLU函数图像、及RsReLU函数梯度函数图像；RsReLU函数通过引入注意力机制的思想，将原本被ReLU强制转化为零的负值数据变为较小的正值参与到卷积神经网络的特征提取当中，不仅有效解决了传统ReLU存在的神经元坏死以及在图像分类时分类精确度较低的问题。本发明专利技术用于卷积神经网络图像分类模型中，有效实现了提高模型分类精度的效果。有效实现了提高模型分类精度的效果。有效实现了提高模型分类精度的效果。

A high-precision activation function for CNN model image classification task

【技术实现步骤摘要】
一种用于CNN模型图像分类任务的高精度激活函数


[0001]本专利技术属于深度学习领域，涉及一种用于CNN模型图像分类任务的高精度激活函数。

技术介绍

[0002]卷积神经网络(Convolutional Neural Network,CNN)是一种专门用来处理具有类似网络结构数据的神经网络，自卷积神经网络被提出以来就被广泛应用于计算机视觉领域，在图像分类、目标跟踪以及目标检测等方面取得了优异的成绩。卷积神经网络的基本单元通常由特征提取、非线性激活函数以及下采样构成，再由基本单元组成可训练的多层网络结构。在这些组成单元中，激活函数能够保留卷积层提取的特征并去除冗余数据，通过非线性函数将特征数据进行映射。它的存在对于网络获得任意复杂函数的能力有着决定性作用。
[0003]为进一步提升卷积神经网络的性能，越来越多的激活函数被提出，它们通常被分为两类：非参数型激活函数和参数型激活函数，常用的非参数型激活函数有Sigmoid、Tanh、 Rectified Linear Unit(ReLU)等。其中Sigmoid函数和Tanh函数通常被划分为饱和型激活函数，但由于饱和型激活函数容易导致梯度消失、模型学习速度缓慢等问题，这就促使了非饱和性激活函数的诞生：ReLU激活函数就是其中的经典之作，它简单但是高效的性质使得其被广泛应用于计算机视觉任务当中并展现了优越的性能，通过采用分段函数的性质将其正部分设置为恒等函数，负部分设置为零从而缓解神经网络当中出现的梯度消失问题。但由于ReLU只保留数据的正数部分而负数部分始终为零，将会导致神经元死亡和实际输出偏离期望输出，从而影响神经网络的性能。具有可调参数的LeakyRectified Linear Unit(LeakyReLU)的提出极大程度上解决了这个问题：通过在ReLU的负数部分引入一个可调参数，给所有的负值赋予了一个非零斜率，使得负值也参与到神经网络的计算中。而Exponential Linear Unit(ELU)函数将指数运算引入了参数型激活函数的负数部分提出了，使得数据负数部分的输出均值接近于零，梯度更加接近于自然梯度，增强了网络的噪声鲁棒性，但是也带来了大计算量的问题。
[0004]由上可知，ReLU激活函数虽具有优异的性能，但存在神经元坏死的问题，影响网络模型的性能，LeakyReLU等参数型激活函数在ReLU的基础上缓解了梯度消失等问题，但在分类精度方面仍有提升空间。如何在当前的基础上进一步提高网络模型的分类精度，是当前亟待解决的问题。

技术实现思路

[0005]本专利技术实施例提供一种用于CNN模型图像分类任务的高精度激活函数，已解决当前激活函数存在的分类精度低、模型效果差的问题。
[0006]本专利技术实施例所采用的技术方案是，用于CNN模型图像分类任务的高效激活函数 RsReLU，包括RsReLU数学模型和RsReLU梯度函数数学模型，其中RsReLU数学模型如下：
[0007][0008]所述的RsReLU函数数学模型，其以为分界线，分界线以左为值等于的常函数，以右为斜率为1的线性函数所构成，定义域为 (
‑
∞,+∞)，值域为其主要作用是激活输入到模型中的正、负信息，给图像中的特征引入非线性。
[0009]本专利技术实施例所采用的的技术方案是，用于CNN模型图像分类任务的高精度激活函数RsReLU，包括RsReLU数学模型和RsReLU梯度函数数学模型，其中RsReLU梯度函数数学模型如下：
[0010][0011]所述的RsReLU函数梯度函数数学模型，是由以为分界线所构成的分段函数，当时，其梯度函数由函数值为零的常函数构成，梯度函数在时有下限无上限。其主要作用实在网络训练时的反向传播过程中参与计算并更新输入图像为正、负信息的误差损失和灵敏度。
[0012]本专利技术实施例的有益效果是，提出了一种用于CNN模型图像分类任务的高精度激活函数，设计了一种求导方便的激活函数数学模型RsReLU，通过引入注意力机制的思想，将原始的ReLU函数向右向上移动，有效优化了ReLU函数本身存在的神经元坏死的缺陷，有效提高了输入特征在网路中梯度更新和参与计算的效率。实现通过激活函数提升模型分类精度的目的。
附图说明
[0013]为了更清楚的说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，下面的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0014]图1是本专利技术实施例的用于CNN模型图像分类任务的高精度激活函数的数学模型图。
[0015]图2是本专利技术实施例的用于CNN模型图像分类任务的高精度激活函数梯度函数的数学模型图。
[0016]图3是本专利技术实施例的用于CNN模型图像分类任务的高精度激活函数在训练过程的前向传播过程中的结构示意图。
[0017]图4是本专利技术实施例的用于CNN模型图像分类任务的高精度激活函数在训练过程的反向传播过程中的结构示意图。
[0018]图5是本专利技术实施例的用于CNN模型图像分类任务的高精度激活函数RsReLU、 LeakyReLU、ELU、SELU、ReLU、ReLU6、Tanh、Softplus以及Sigmoid激活函数使用 MobileNetV2网络在Corel5k数据集以及Cifar100数据集上的实验结果图。
[0019]图6是本专利技术实施例的用于CNN模型图像分类任务的高精度激活函数RsReLU、 LeakyReLU、ELU、SELU、ReLU、ReLU6、Tanh、Softplus以及Sigmoid激活函数使用 MobileNetV2网络在Cifar10数据集上的实验结果图以及在三种数据集上的平均精度对比
图。
[0020]图7是本专利技术实施例的用于CNN模型图像分类任务的高精度激活函数RsReLU、 LeakyReLU、ELU、SELU、ReLU、ReLU6、Tanh、Softplus以及Sigmoid激活函数使用ShuffleNet网络在Corel5k数据集以及Cifar100数据集上的实验结果图。
[0021]图8是本专利技术实施例的用于CNN模型图像分类任务的高精度激活函数RsReLU、 LeakyReLU、ELU、SELU、ReLU、ReLU6、Tanh、Softplus以及Sigmoid激活函数使用 ShuffleNet网络在Cifar10数据集上的实验结果图以及在三种数据集上的平均精度对比图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]经专利技术人研究发现，现有的激活函数和一些改进型激活函数对图像分类网络的性能提升本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于CNN模型分类任务的高精度激活函数，其特征在于，RsReLU函数是通过对ReLU函数引入注意力机制的思想，将原本被ReLU强制转化为零的负半轴转变为较小的正数参与到卷积神经网络的特征提取当中。对正半轴设置一个自适应参数(均值)后将ReLU整体右移，其值域为其中为均值。使得较小的正数变为与负数相同重要程度后参与卷积神经网络的特征提取。其作用主要是激活输入图像中的负值特征信息并淡化较小的正值特征信息，使得特征在网络传递过程中保持良好的完整性。2.根据权利要求1所述的用于CNN模型分类任务的高精度激活函数，其特征在于，所述高精度激活函数RsReLU，其梯度函数为以为界限的，以左为零，以右为常函数的分段函数所构成。3.根据权利要求1～2任一项所述的用于CNN模型图像分类任务的高精度激活函数，其特征在于，所述的高精度激活函数RsReLU的数学模型为：其中f
RsReLU
(x)表示RsReLU函数映射关系。4.根据权利要求1～3任一项所述的用于CNN模型图像分类任务的高精度激活函数，其特征在于，所述的高精度激活函数RsReLU的梯度函数数学模型为：其中f
RsReLU
′
(x)表示RsReLU梯度函数映射关系。5.根据权利要求1～4任一项所述的用于CNN模型图像分类任务的高精度激活函数，其特征在于，所述的高精度激活函数RsReLU在网络训练时的...

【专利技术属性】
技术研发人员：谢锦阳，姜媛媛，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：