基于神经网络的处理方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种基于神经网络的处理方法、装置及电子设备，该方法包括：将图片样本集中的每个样本输入至特征提取网络，得到每个样本的真实特征；将每个样本的标签输入至对抗特征生成网络，以使对抗特征生成网络基于每个样本的标签生成与该样本对应的对抗特征；基于每个标签及标签对应的真实特征和对抗特征，训练对抗特征生成网络和执行目标任务的神经网络，直至对抗特征生成网络的损失函数和神经网络的损失函数收敛，停止训练神经网络和对抗特征生成网络；将待处理图像输入至训练后的神经网络执行目标任务，得到待处理图像对应的图像处理结果。本发明专利技术可以有效提高训练后的神经网络的泛化能力，还可以有效提高神经网络的训练效率。

【技术实现步骤摘要】
基于神经网络的处理方法、装置及电子设备
本专利技术涉及深度学习
，尤其是涉及一种基于神经网络的处理方法、装置及电子设备。
技术介绍
神经网络是一种具有自学习能力和自适应能力的算法数学模型，通过对神经网络进行训练，可使训练后的神经网络完成指定的任务，诸如利用神经网络完成图像分类或目标识别等任务。在训练神经网络时，为了提高训练后的神经网络完成任务的可靠性，可以利用数据增强方法对用于训练神经网络的训练集进行增强，目前通常采用仿射变换、随机裁剪或填充等操作对训练集中的多张图像进行处理，以增加训练集中图像的多样性，但是这种数据增强方式无法较好地增加训练集的特征的多样性，进而将导致训练后的神经网络的泛化能力较弱，致使训练后神经网络完成指定任务的可靠程度较低。而且上述数据增强方式虽然增加了图像的多样性，但是也增加了训练神经网络时的前馈计算，在一定程度上影响了神经网络的训练效率。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于神经网络的处理方法、装置及电子设备，可以有效增加训练集的特征多样性，进而有效提高训练后的神经网络的泛化能力，还可以有效提高神经网络的训练效率。第一方面，本专利技术实施例提供了一种基于神经网络的处理方法，所述方法包括：将图片样本集中的每个样本输入至特征提取网络，得到每个所述样本的真实特征；其中，所述图片样本集中的每个样本都标注有标签；将每个所述样本的标签输入至对抗特征生成网络，以使所述对抗特征生成网络基于每个所述样本的标签生成与该样本对应的对抗特征；其中，所述对抗特征生成网络基于所述真实特征进行训练，以使所述对抗特征与所述真实特征接近；基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和执行目标任务的神经网络，直至所述对抗特征生成网络的损失函数和所述神经网络的损失函数收敛，停止训练所述神经网络和所述对抗特征生成网络；将待处理图像输入至训练后的神经网络执行所述目标任务，得到所述待处理图像对应的图像处理结果。在一种实施方式中，所述标签包括所述样本所属类别的类别标签，所述目标任务包括分类任务，所述图像处理结果包括所述待处理图像的分类结果。在一种实施方式中，所述对抗特征生成网络包括特征生成器；将每个所述样本的标签输入至对抗特征生成网络，以使所述对抗特征生成网络基于每个所述样本的标签生成与该样本对应的对抗特征的步骤，包括：将每个所述样本的类别标签输入至所述特征生成器，通过所述特征生成器对每个所述样本的类别标签进行编码，得到每个所述样本的类别编码，并基于每个所述样本的类别编码生成与该样本对应的对抗特征；其中，每一类标签类别对应的各个样本的类别编码满足高斯分布。在一种实施方式中，所述对抗特征生成网络还包括特征判别器，所述特征判别器分别连接所述特征生成器和所述特征提取网络；所述基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和所述神经网络的步骤，包括：将每个所述类别标签及所述类别标签对应的所述真实特征和所述对抗特征输入至所述特征判别网络，以使所述特征判别网络对每个所述类别标签对应的特征来源进行鉴别，得到每个所述样本的鉴别结果；其中，所述鉴别结果包括该类别标签对应的特征来源于所述特征提取网络或该类别标签对应的特征来源于所述特征生成器；根据所述鉴别结果计算所述对抗特征生成网络的损失函数；基于所述对抗特征生成网络的损失函数对所述特征生成器和所述特征判别器进行交替训练。在一种实施方式中，所述对抗特征生成网络的损失函数包括生成损失函数和判别损失函数；其中，所述生成损失函数用于训练所述特征生成器，所述判别损失函数用于训练所述特征判别网络；所述基于所述对抗特征生成网络的损失函数对所述特征生成器和所述特征判别网络进行交替训练的步骤，包括：通过所述对抗特征生成网络的生成损失函数调整所述特征生成器的参数，或，通过所述对抗特征生成网络的对抗损失函数调整所述特征判别器的参数。在一种实施方式中，所述基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和所述神经网络的步骤，还包括：将每个所述类别标签及所述类别标签对应的所述真实特征和所述对抗特征输入至所述神经网络，得到所述神经网络的输出结果；根据所述神经网络的输出结果计算所述神经网络的损失函数；基于所述神经网络的损失函数调整所述神经网络的参数。在一种实施方式中，所述方法还包括：通过所述神经网络的损失函数训练所述特征提取网络，并阻断所述对抗特征生成网络中的所述特征判别器针对所述特征提取网络的梯度传递过程。在一种实施方式中，所述训练所述对抗特征生成网络和所述神经网络的步骤，还包括：在训练所述对抗特征生成网络和所述神经网络的过程中冻结所述特征提取网络的参数。第二方面，本专利技术实施例还提供一种基于神经网络的处理装置，所述装置包括：真实特征提取模块，用于将图片样本集中的每个样本输入至特征提取网络，得到每个所述样本的真实特征；其中，所述图片样本集中的每个样本都标注标签；对抗特征生成模块，用于将每个所述样本的标签输入至对抗特征生成网络，以使所述对抗特征生成网络基于每个所述样本的标签生成与该样本对应的对抗特征；其中，所述对抗特征生成网络基于所述真实特征进行训练，以使所述对抗特征与所述真实特征接近；训练模块，用于基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和执行目标任务的神经网络，直至所述对抗特征生成网络的损失函数和所述神经网络的损失函数均收敛，停止训练所述神经网络和所述对抗特征生成网络；图像处理模块，用于将待处理图像输入至训练后的神经网络执行所述目标任务，得到所述待处理图像对应的图像处理结果。第三方面，本专利技术实施例还提供一种电子设备，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法。第四方面，本专利技术实施例还提供一种计算机存储介质，用于储存为第一方面任一项所述方法所用的计算机软件指令。本专利技术实施例提供的一种基于神经网络的处理方法、装置及电子设备，首先将图像样本集中标注有标签的每个样本输入至特征提取网络，得到每个样本的真实特征，并将每个样本的标签输入对抗特征生成网络，以使对抗特征生成网络基于每个样本的标签生成与该样本对应的对抗特征，其中，对抗特征生成网络基于真实特征进行训练，以使对抗特征与真实特征接近，进而基于每个标签及标签对应的真实特征和对抗特征，训练对抗特征生成网络和神经网络，直至对抗特征生成网络的损失函数和神经网络的损失函数均收敛，停止训练神经网络和对抗特征生成网络，进而可以利用训练后的神经网络针对输入的待处理图像执行目标任务，得到待处理图像对应的图像处理结果。上述方式利用对抗特征生成网络生成与真实特征较为接近的对抗特征，相当于采用对抗特征增强了图像样本集的特征多样性，相较于现有技术中通过增强图像样本集的图像多样性间接地增强图像样本集的特征多样性的数据增强方式，本专利技术实施例可以利用对抗特征生成网络直接增强图像样本集的特征多样性本文档来自技高网...

【技术保护点】
1.一种基于神经网络的处理方法，其特征在于，所述方法包括：/n将图片样本集中的每个样本输入至特征提取网络，得到每个所述样本的真实特征；其中，所述图片样本集中的每个样本都标注有标签；/n将每个所述样本的标签输入至对抗特征生成网络，以使所述对抗特征生成网络基于每个所述样本的标签生成与该样本对应的对抗特征；其中，所述对抗特征生成网络基于所述真实特征进行训练，以使所述对抗特征与所述真实特征接近；/n基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和执行目标任务的神经网络，直至所述对抗特征生成网络的损失函数和所述神经网络的损失函数均收敛，停止训练所述神经网络和所述对抗特征生成网络；/n将待处理图像输入至训练后的神经网络执行所述目标任务，得到所述待处理图像对应的图像处理结果。/n

【技术特征摘要】
1.一种基于神经网络的处理方法，其特征在于，所述方法包括：
将图片样本集中的每个样本输入至特征提取网络，得到每个所述样本的真实特征；其中，所述图片样本集中的每个样本都标注有标签；
将每个所述样本的标签输入至对抗特征生成网络，以使所述对抗特征生成网络基于每个所述样本的标签生成与该样本对应的对抗特征；其中，所述对抗特征生成网络基于所述真实特征进行训练，以使所述对抗特征与所述真实特征接近；
基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和执行目标任务的神经网络，直至所述对抗特征生成网络的损失函数和所述神经网络的损失函数均收敛，停止训练所述神经网络和所述对抗特征生成网络；
将待处理图像输入至训练后的神经网络执行所述目标任务，得到所述待处理图像对应的图像处理结果。


2.根据权利要求1所述的方法，其特征在于，所述标签包括所述样本所属类别的类别标签，所述目标任务包括分类任务，所述图像处理结果包括所述待处理图像的分类结果。


3.根据权利要求2所述的方法，其特征在于，所述对抗特征生成网络包括特征生成器；
所述将每个所述样本的标签输入至对抗特征生成网络，以使所述对抗特征生成网络基于每个所述样本的标签生成与该样本对应的对抗特征的步骤，包括：
将每个所述样本的类别标签输入至所述特征生成器，通过所述特征生成器对每个所述样本的类别标签进行编码，得到每个所述样本的类别编码，并基于每个所述样本的类别编码生成与该样本对应的对抗特征；其中，每一类标签类别对应的各个样本的类别编码满足高斯分布。


4.根据权利要求3所述的方法，其特征在于，所述对抗特征生成网络还包括特征判别器，所述特征判别器分别连接所述特征生成器和所述特征提取网络；
所述基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和所述神经网络的步骤，包括：
将每个所述类别标签及所述类别标签对应的所述真实特征和所述对抗特征输入至所述特征判别网络，以使所述特征判别网络对每个所述类别标签对应的特征来源进行鉴别，得到鉴别结果；其中，所述鉴别结果包括该类别标签对应的特征来源于所述特征提取网络或该类别标签对应的特征来源于所述特征生成器；
根据所述鉴别结果计算所述对抗特征生成网络的损失函数；
基于所述对抗特征生成网络的损失函数对所述特征生成器和所述特征判别器进行交替训练。


5.根据权利要求4所述的方法，其特征在于，所述对抗特征生成网络的损失函数包括生成损失函数和判别损失函数；其中，所述生成损失函数用于训练所述...

【专利技术属性】
技术研发人员：祝贺，李永波，李伯勋，张弛，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11