一种神经网络调优方法、系统、终端以及存储介质技术方案

本申请涉及一种神经网络调优方法、系统、终端以及存储介质。所述方法包括：在神经网络的损失函数中加入类内间距正则化损失，得到基于类内间距正则化的损失函数；所述类内间距正则化损失表示所述神经网络输出的同一类别的数据的特征图之间的类内间距接近；在所述神经网络训练过程中，在设定比例的迭代次数中插入所述基于类内间距正则化的损失函数，采用网络优化算法与类内间距正则化算法交叠训练的方式对所述神经网络进行迭代训练，得到最优神经网络。本申请实施例通过在一定比例的迭代次数中插入类内间距正则化算法对神经网络进行迭代训练，在不改变神经网络结构的情况下，提升网络结构的泛化能力和抗干扰性，且由此带来的额外时间开销较小。

【技术实现步骤摘要】
一种神经网络调优方法、系统、终端以及存储介质
本申请属于人工智能
，特别涉及一种神经网络调优方法、系统、终端以及存储介质。
技术介绍
随着人工智能的发展，深度神经网络以其强大的拟合能力在众多领域取得了惊人的成绩。然而神经神经网络的强大拟合能力依旧没有一个强有力的理论支持，深度神经网络的能力依旧具有很强的开发空间。为了得到更好的神经网络泛化能力，现有的网络结构变得越来越复杂，网络的参数量也呈现爆炸式增长的趋势，复杂的神经网络的训练过程变得非常缓慢，同时训练网络所带来的能量消耗也成倍增长。另外，神经网络也存在抗干扰性差、对输入数据敏感等问题。为了改善上述问题，需要对神经网络泛化的能力进行提升。目前，提升神经网络泛化能力的主要方法分为三大类，具体为：一、从网络结构出发，设计更好的网络结构。这种方法主要从深度神经网络的深度、宽度和广度三个角度进行网络结构的修正，复杂的网络结构可以带来更好的性能收益，但是也会导致网络的参数量巨大，训练时间较长，能源消耗较大。二、提供更多的训练数据，使得神经网络能够识别更多的数据类型。该方法需本文档来自技高网...

【技术保护点】
1.一种神经网络调优方法，其特征在于，包括以下步骤：/n在神经网络的损失函数中加入类内间距正则化损失，得到基于类内间距正则化的损失函数；其中，所述类内间距正则化损失表示所述神经网络输出的同一类别的数据的特征图之间的类内间距接近；给定一个神经网络结构z(x

【技术特征摘要】
1.一种神经网络调优方法，其特征在于，包括以下步骤：
在神经网络的损失函数中加入类内间距正则化损失，得到基于类内间距正则化的损失函数；其中，所述类内间距正则化损失表示所述神经网络输出的同一类别的数据的特征图之间的类内间距接近；给定一个神经网络结构z(xi,ω)，ω是神经网络的参数，xi是输入数据，所述基于类内间距正则化的损失函数为：



上式中，yi是输入数据xi对应的标签，L(z(xi,ω),yi)是经验损失函数，λ是一个超参数，为类内间距正则化损失，是所有类别的特征图集合；
在所述神经网络训练过程中，在设定比例的迭代次数中插入所述基于类内间距正则化的损失函数，采用网络优化算法与类内间距正则化算法交叠训练的方式对所述神经网络进行迭代训练，得到最优神经网络。


2.根据权利要求1所述的神经网络调优方法，其特征在于，所述基于类内间距正则化的损失函数用于提取各个类别的数据的特征图的类别中心，所述类别中心计算方式为：
将所述基于类内间距正则化的损失函数展开，得：



上述公式中，代表输入数据xi经过神经网络后得到的特征图，数据xi的标签为c，记作l(xi)∈c，fmc为标签为c的所有数据的特征图的类别中心，代表数据xi的特征图与所属类别中心之间的距离；
所述类别中心的特征图计算公式为：



上式中，|Xc|代表所有样本X中类别属于c的样本数目。


3.根据权利要求2所述的神经网络调优方法，其特征在于，所述网络优化算法采用网络优化算法与类内间距正则化算法交叠训练的方式对所述神经网络进行迭代训练包括：
将所述神经网络的一次完整训练记为一次epoch，假设整个训练过程共有T个epoch，首先采用网络优化算法进行迭代训练，每当所述网络优化算法的迭代次数达到设定次数阈值时，在最后一次网络优化算法训练的epoch之后插入所述设定次数阈值的10％的迭代次数进行类内间距正则化算法迭代训练，并在最后一次类内间距正则化算法训练的e...

【专利技术属性】
技术研发人员：赵宝新，须成忠，赵娟娟，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44