神经网络训练方法、图像处理方法及装置制造方法及图纸

本公开提供了神经网络训练方法、图像处理方法及装置。其中神经网络训练方法包括：获取总训练集，总训练集包括多个类别的训练数据；针对每一训练轮次，基于总训练集，对每个类别的训练数据进行采样，得到子训练集；根据神经网络对子训练集中的每个类别的训练数据进行特征提取，得到特征向量；基于当前神经网络，确定每个类别的中心向量，其中中心向量作为锚点；基于中心向量和特征向量获得损失函数的值，并调整神经网络的参数。通过在训练过程中，根据当前神经网络确定中心向量，使中心向量具有全局信息，从而基于中心向量计算损失并调整神经网络的参数，提高训练效率，加快神经网络输出结果的收敛速度，并降低获取训练样本难度，提高训练效果。

Neural network training method, image processing method and device

【技术实现步骤摘要】
神经网络训练方法、图像处理方法及装置
本专利技术一般地涉及图像识别
，特别是涉及一种神经网络训练方法、图像处理方法及装置，以及电子设备和计算机可读存储介质。
技术介绍
目前神经网络训练过程中，通过大量训练样本的多次迭代训练，进行度量学习是为了学习一个在图片上的距离函数，使得同一类别的图片将被映射到相邻的位置，具有不同类别的图片将被映射到互相远离的地方。在深度学习的方法中，这个距离函数即是网络的特征嵌入，现在的有很多基于深度的度量学习损失，例如对比损失(ContrastiveLoss)、三元组损失(TripletLoss)、四元组损失(QuadrupletLoss)等。这些损失都在一些相关联的样本上计算，都有相同的目标，即鼓励相同类的样本相互接近，不同类的样本相互远离。对于一些相关度量学习技术来说，由于资源的限制，存在着只能在局部样本上进行优化的问题。具体来说，目前深度网络通常是使用随机梯度下降算法优化的，因此梯度只来源于一小批样本。这样对于相关的度量学习损失来说，只看到了局部的数据分布，无法优化到全局的最优。如果无限制的对样本进行本文档来自技高网...

【技术保护点】
1.一种神经网络训练方法，其中，所述方法包括：/n获取总训练集，所述总训练集包括多个类别的训练数据，其中每个所述类别包括一个或多个所述训练数据；/n针对每一训练轮次，基于所述总训练集，对每个所述类别的训练数据进行采样，得到采样后的训练数据组成的子训练集；/n根据神经网络对所述子训练集中的每个所述类别的所述训练数据进行特征提取，得到特征向量；/n基于当前所述神经网络，确定每个所述类别的中心向量，其中所述中心向量作为锚点；/n基于所述中心向量和所述特征向量获得损失函数的值，根据所述损失函数的值调整所述神经网络的参数。/n

【技术特征摘要】
1.一种神经网络训练方法，其中，所述方法包括：
获取总训练集，所述总训练集包括多个类别的训练数据，其中每个所述类别包括一个或多个所述训练数据；
针对每一训练轮次，基于所述总训练集，对每个所述类别的训练数据进行采样，得到采样后的训练数据组成的子训练集；
根据神经网络对所述子训练集中的每个所述类别的所述训练数据进行特征提取，得到特征向量；
基于当前所述神经网络，确定每个所述类别的中心向量，其中所述中心向量作为锚点；
基于所述中心向量和所述特征向量获得损失函数的值，根据所述损失函数的值调整所述神经网络的参数。


2.根据权利要求1所述的神经网络训练方法，其中，所述基于当前所述神经网络，确定每个所述类别的中心向量，包括：
基于当前训练轮次的子训练集中每个所述类别的训练数据的所述特征向量，分别对所述特征向量对应类别的历史中心向量进行更新，得到每个所述类别的当前训练轮次的所述中心向量，其中所述历史中心向量为前一训练轮次的所述中心向量，对于第一训练轮次，前一训练轮次的所述中心向量为预设的每个所述类别的初始中心向量。


3.根据权利要求2所述的神经网络训练方法，其中，所述基于当前训练轮次的子训练集中每个所述类别的训练数据的所述特征向量，分别对所述特征向量对应类别的历史中心向量进行更新，采用以下方式：
分别设置所述子训练集中每个训练数据的所述特征向量的第一权重，以及所述历史中心向量的第二权重；
基于所述第一权重和所述第二权重，对所述当前训练轮次每个所述类别的训练数据的所述特征向量与对应类别的所述历史中心向量进行加权，获得对应类别的当前训练轮次的所述中心向量。


4.根据权利要求2所述的神经网络训练方法，其中，所述基于当前训练轮次的子训练集中每个所述类别的训练数据的所述特征向量，分别对所述特征向量对应类别的历史中心向量进行更新，采用以下方式：
基于每个所述类别的训练数据的所述特征向量，确定与每个所述类别对应的中心损失；
基于所述中心损失，更新对应所述类别的所述历史中心向量，得到对应所述类别的所述当前训练轮次所述中心向量。


5.根据权利要求4所述的神经网络训练方法，其中，所述基于所述中心损失，更新对应所述类别的所述历史中心向量，得到对应所述类别的所述当前训练轮次所述中心向量，包括：
基于所述中心损失，获取对应所述类别的所述历史中心向量与当前训练轮次的子训练集中对应所述类别的训练数据的所述特征向量之间的距离；
根据所述距离，确定对应所述类别的所述历史中心向量的更新量；
根据所述更新量更新对应所述类别的所述历史中心向量，得到对应所述类别的所述当前训练轮次所述中心向量。


6.根据权利要求1所述的神经网络训练方法，其...

【专利技术属性】
技术研发人员：王诚，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11