神经网络权重参数的训练方法、特征分类方法及对应装置制造方法及图纸

本发明专利技术实施例提供一种神经网络权重参数的训练方法、特征分类方法及对应装置，神经网络权重参数的训练方法包括：获取样本数据集，样本数据集中的样本数据带有类标签；获取初始权重参数，所述初始权重参数包括类代理参数；构建所述样本数据集与所述初始权重参数的相似度损失函数，所述相似度损失函数包括基于本类代理参数与所述目标样本数据的相似度的递减部，以及基于他类代理参数与所述目标样本数据的相似度的递增部；通过反向传播不断对所述初始权重参数进行调整，直到所述相似度损失函数最小，得到所述最小相似度损失函数对应的目标权重参数。通过在权重参数中增加类代理参数，使特征判别能力得到提高，没有超参数的添加，降低调参数的复杂度。

Training method, feature classification method and corresponding device of neural network weight parameters

【技术实现步骤摘要】
神经网络权重参数的训练方法、特征分类方法及对应装置
本专利技术涉及神经网络
，尤其涉及一种神经网络权重参数的训练方法、特征分类方法及对应装置。
技术介绍
神经网络包括识别神经网络、检测神经网络、分类神经网络等，这些神经网络在训练时，通常都是作为分类问题进行训练。在识别神经网络中，常用的分类损失函数是交叉熵损失，通过损失函数不断调整权重参数，使得神经网络的损失函数最小，比如人脸识别领域中，对人脸识别神经网络的训练也是基于交叉熵分类损失函数的，但交叉熵损失不能将不同人的特征足够地分开，因此，为增加识别神经网络的判别能力，会在训练时，在交叉熵损失函数中添加裕量因子。由于增加了裕量因子，相当于引入了超参数，使得到神经网络在训练时需要对超参数也进行调整，导致神经网络在训练时的调参变得复杂。
技术实现思路
本专利技术实施例提供一种神经网络权重参数的训练方法，能够在提高特征判别能力的同时，降低调参数的复杂度。第一方面，本专利技术实施例提供一种神经网络权重参数的训练方法，包括：获取样本数据集，所述样本数据集中的样本数据带有类标签；获取初始权重参数，所述初始权重参数包括类代理参数，所述类代理参数与目标样本数据的类标签相对应的为本类代理参数，与所述目标样本数据的类标签不对应的为他类代理参数；构建所述样本数据集与所述初始权重参数的相似度损失函数，所述相似度损失函数包括基于本类代理参数与所述目标样本数据的相似度的递减部，以及基于他类代理参数与所述目标样本数据的相似度的递增部；通过反向传播不断对所述初始权重参数进行调整，直到所述相似度损失函数最小，得到所述最小相似度损失函数对应的目标权重参数。可选的，所述获取初始权重参数，包括：获取随机初始化权重参数，所述随机初始化权重参数包括随机初始化的类代理参数；将所述随机初始化权重参数进行归一化，以使每个类代理参数的模长为预设的单位模长，得到初始权重参数。可选的，所述构建所述样本数据集与所述初始权重参数的相似度损失函数，包括：提取目标样本数据的归一化特征；分别计算所述目标样本数据的归一化特征与本类代理参数的本类相似度，以及所述目标样本数据的归一化特征与他类代理参数的他类相似度；构建基于所述本类相似度递减，且基于所述他类相似度递增的损失函数，以使在所述本类相似度增大，所述他类相似度减小时，所述相似度损失函数变小。可选的，所述本类相似度以及他类相似度均为余弦相似度，所述构建基于所述本类相似度递减，且基于所述他类相似度递增的损失函数包括：构建本类相似度与预设值的平方差作为损失函数的递减部分；构建他类相似度之和作为损失函数的递增部分；基于所述损失函数的递减部分与递增部分构建所述损失函数。可选的，所述构建本类相似度的平方差作为损失函数的递减部分，包括：构建本类相似度与数值1的平方差作为损失函数的递减部分。第二方面，本专利技术实施例提供一种特征分类方法，包括以下步骤：获取特征提取网络输出的待分类特征；获取预先训练好的目标权重参数，其中，所述目标权重参数通过本专利技术实施例中任一项神经网络权重参数的训练方法得到，所述目标权重参数包括与所述待分类特征对应的本类代理参数以及他类代理参数；将所述待分类特征与所述预先训练好的目标权重参数进行相似度计算，得到所述待分类特征与本类代理参数的本类相似度；基于所述本类相似度对所述待分类特征进行分类。第三方面，本专利技术实施例提供一种神经网络权重参数的训练装置，所述装置包括：第一获取模块，用于获取样本数据集，所述样本数据集中的样本数据带有类标签；第二获取模块，用于获取初始权重参数，所述初始权重参数包括类代理参数，所述类代理参数与目标样本数据的类标签相对应的为本类代理参数，与所述目标样本数据的类标签不对应的为他类代理参数；构建模块，用于构建所述样本数据集与所述初始权重参数的相似度损失函数，所述相似度损失函数包括基于本类代理参数与所述目标样本数据的相似度的递减部，以及基于他类代理参数与所述目标样本数据的相似度的递增部；调整模块，用于通过反向传播不断对所述初始权重参数进行调整，直到所述相似度损失函数最小，得到所述最小相似度损失函数对应的目标权重参数。第四方面，本专利技术实施例提供一种特征分类装置，所述装置包括：第三获取模块，用于获取特征提取网络输出的待分类特征；第四获取模块，用于获取预先训练好的目标权重参数，其中，所述目标权重参数通过如权利要求1至5中任一项神经网络权重参数的训练方法得到，所述目标权重参数包括与所述待分类特征对应的本类代理参数以及他类代理参数；计算模块，用于将所述待分类特征与所述预先训练好的目标权重参数进行相似度计算，得到所述待分类特征与本类代理参数的本类相似度；分类模块，用于基于所述本类相似度对所述待分类特征进行分类。第五方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本专利技术实施例中任一项所述的神经网络权重参数的训练方法中的步骤，或所述处理器执行所述计算机程序时实现如本专利技术实施例中任一项所述的特征分类方法中的步骤。第六方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如本专利技术实施例中任一项所述的神经网络权重参数的训练方法中的步骤，或所述计算机程序被处理器执行时实现如本专利技术实施例中任一项所述的特征分类方法中的步骤。本专利技术实施例中，获取样本数据集，所述样本数据集中的样本数据带有类标签；获取初始权重参数，所述初始权重参数包括类代理参数，所述类代理参数与目标样本数据的类标签相对应的为本类代理参数，与所述目标样本数据的类标签不对应的为他类代理参数；构建所述样本数据集与所述初始权重参数的相似度损失函数，所述相似度损失函数包括基于本类代理参数与所述目标样本数据的相似度的递减部，以及基于他类代理参数与所述目标样本数据的相似度的递增部；通过反向传播不断对所述初始权重参数进行调整，直到所述相似度损失函数最小，得到所述最小相似度损失函数对应的目标权重参数。通过在权重参数中增加类代理参数，用于区分本类和他类，使得特征判别能力得到提高，同时，由于损失函数使用类代理参数与样本之前的相似度作为输入，没有超参数的添加，相较于增加了超参数裕量的交叉熵损失函数而言，降低调参数的复杂度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种神经网络权重参数的训练方法的流程图；图2是本专利技术实施例提供的一种相似度损失函数的构建本文档来自技高网...

【技术保护点】
1.一种神经网络权重参数的训练方法，其特征在于，包括以下步骤：/n获取样本数据集，所述样本数据集中的样本数据带有类标签；/n获取初始权重参数，所述初始权重参数包括类代理参数，所述类代理参数与目标样本数据的类标签相对应的为本类代理参数，与所述目标样本数据的类标签不对应的为他类代理参数；/n构建所述样本数据集与所述初始权重参数的相似度损失函数，所述相似度损失函数包括基于本类代理参数与所述目标样本数据的相似度的递减部，以及基于他类代理参数与所述目标样本数据的相似度的递增部；/n通过反向传播不断对所述初始权重参数进行调整，直到所述相似度损失函数最小，得到所述最小相似度损失函数对应的目标权重参数。/n

【技术特征摘要】
1.一种神经网络权重参数的训练方法，其特征在于，包括以下步骤：
获取样本数据集，所述样本数据集中的样本数据带有类标签；
获取初始权重参数，所述初始权重参数包括类代理参数，所述类代理参数与目标样本数据的类标签相对应的为本类代理参数，与所述目标样本数据的类标签不对应的为他类代理参数；
构建所述样本数据集与所述初始权重参数的相似度损失函数，所述相似度损失函数包括基于本类代理参数与所述目标样本数据的相似度的递减部，以及基于他类代理参数与所述目标样本数据的相似度的递增部；
通过反向传播不断对所述初始权重参数进行调整，直到所述相似度损失函数最小，得到所述最小相似度损失函数对应的目标权重参数。


2.如权利要求1所述的神经网络权重参数的训练方法，其特征在于，所述获取初始权重参数，包括：
获取随机初始化权重参数，所述随机初始化权重参数包括随机初始化的类代理参数；
将所述随机初始化权重参数进行归一化，以使每个类代理参数的模长为预设的单位模长，得到初始权重参数。


3.如权利要求2所述的神经网络权重参数的训练方法，其特征在于，所述构建所述样本数据集与所述初始权重参数的相似度损失函数，包括：
提取目标样本数据的归一化特征；
分别计算所述目标样本数据的归一化特征与本类代理参数的本类相似度，以及所述目标样本数据的归一化特征与他类代理参数的他类相似度；
构建基于所述本类相似度递减，且基于所述他类相似度递增的损失函数，以使在所述本类相似度增大，所述他类相似度减小时，所述相似度损失函数变小。


4.如权利要求3所述的神经网络权重参数的训练方法，其特征在于，所述本类相似度以及他类相似度均为余弦相似度，所述构建基于所述本类相似度递减，且基于所述他类相似度递增的损失函数，包括：
构建本类相似度与预设值的平方差作为损失函数的递减部分；
构建他类相似度之和作为损失函数的递增部分；
基于所述损失函数的递减部分与递增部分构建所述损失函数。


5.一种特征分类方法，其特征在于，包括以下步骤：
获取特征提取网络输出的待分类特征；
获取预先训练好的目标权重参数，其中，所述目标权重参数通过如权利要求1至4中任一项神经网络权重参数的训练方法得到，所述目标权重参数包括与所述待分类特征对应的本类代理参数以及他类代理参数；
将所述待分类特征与所述预先训练好的目标权重参数进行相似度计算，得到所述待分类特征与本类代理参数的本类相似度；
基于...

【专利技术属性】
技术研发人员：宋方良，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：广东;44