一种提高深度学习模型性能的方法技术

本发明专利技术公开了一种提高深度学习模型性能的方法，通过建立非线性映射函数，并且在非线性映射模块的正值域部分添加模拟随机噪声，增强激活函数应用到模型后的泛化能力；在负值域部分对不同通道权重进行重新校准，来加强激活函数特征提取能力，有效地结合数据类型特点来拟合模型，进一步地模拟出大脑中神经元传递方式，并同时提高了模型的泛化能力和抗过拟合性，解决了传统激活函数在传输信息上十分僵化的问题。的问题。的问题。

【技术实现步骤摘要】
一种提高深度学习模型性能的方法


[0001]本专利技术涉及深度学习卷积神经网络
，更具体地，涉及一种提高深度 学习模型的方法。

技术介绍

[0002]近年来，卷积神经网络在计算机视觉领域取得了巨大的成功。激活函数给卷 积神经网络模型带来了非线性，极大地促进了卷积神经网络的发展。现有的研究 当中，已经提出了各式各样的激活函数。比如最为经典的Relu和ELU函数、具 有参数自适应的PRelu和SELU函数、全局搜索功能的Swish函数以及具有自正 则化的Mish函数。但是这些函数仍然存在着泛化能力不足，不能有效地结合数 据类型特点来拟合模型。
[0003]2010年提出的整流线性单元Relu函数不但给神经网络带来非线性的同时还 具有稀疏性，但是函数存在的神经元永久失活问题，导致信息无法传递。2015 年提出的ELU虽然解决了Relu函数死亡的问题，但是不能适应卷积层的变化而 变化，灵活性不高，并且有学者证明了ELU函数与BN批标准化中的缩放因子 γ与偏差β存在训练冲突的问题。同年提出的参数自适应整流线性单元PRelu函 数。该函数负部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高深度学习模型性能的方法，其特征在于，步骤包括：S1.构建非线性映射模块，建立非线性映射函数，如公式1所示：其中，为第c个通道上(i,j)位置上激活函数的输入值；S2.在非线性映射模块的正值域部分添加模拟随机噪声：通过随机生成的一个服从高斯分布的随机斜率值k模拟噪声，并将k值与非线性映射模块函数结合得到如公式2所示：其中为第c个通道上(i,j)位置上激活函数的输入值，k
c
为第c个通道上模拟的随机噪声；S3.将卷积层的信号特征输送至非线性映射模块的函数内：提取卷积层处理后的信号特征，得到上层特征信息中对每个通道不同的权重校准后的权重值α
c
，将通道信息送到非线性映射模块内，即权重校准后的权重值α
c
，与其非线性模块的对应通道相乘，得到如公式3所示：其中为第c个通道上(i,j)位置上激活函数的输入值，k
c
为第c个通道上模拟的随机噪声，α
c
为第c个通道上权重校准后的权重值；S4.将S3中经过非线性映射模块输出值，完成激活函数映射过程。2.根据权利要求1所述提高深度学习模型性能的方法，其特征在于，步骤S1所述非线性映射函数中x>0部分采用Relu正部分的恒等映射，x<0部分的映射方式用Mish函数的负部分作为映射函数。3.根据权利要求1所述提高深度学习模型性能的方法，其特征在于，步骤S2所述高斯分布的斜率值的均值为1，方差为0.1。根据权利要求1所述提高深度学习模型性能的方法，其特征在于，步骤S2所述k值的取值公式如公式4所示为：其中k～N为高斯分布，Mean为平均值，σ为方差，other表示随机生成超出0.5
‑
1.5范围的值。4.根据权利要求1所述提高深度学习模型性能的方法，其特征在于，步骤S3所述卷积层的信号特征的提取步骤包括：S31.在挤压激励网络SENet中输入信号H1、W1为输入特征图的高和宽，C1为输入通道的个数。由Relu(X)、min(X,0)分别提取信号正负样本信息；
S32.将S31得到的正负样本信号通过全局平均池化进行挤压操作，并得到两个聚合了特征图整体信息的一维向量Z
c
，如公式5所示：其中H为特征图的高度，W为特征图的宽度，u
c

【专利技术属性】
技术研发人员：张昌凡，徐逸夫，何静，刘建华，杨浩楠，印玲，
申请(专利权)人：湖南工业大学，
类型：发明
国别省市：