用于图像检索的神经网络训练方法、装置及电子设备制造方法及图纸

本申请公开了一种用于图像检索的神经网络训练方法、装置及电子设备。神经网络包括：一个特征提取器和多个学习器。方法包括：预先确定多个训练图像组，每个训练图像组包括三张图像，两张同类别，一张不同类别；针对每个训练图像组，给每个学习器配置随机权重：将训练图像组的三张图像输入至特征提取器中确定三张图像的特征；将每张图像的特征分别乘以每个学习器对应的随机权重，得到对应每个学习器的加权特征，每个学习器的三张图像对应相同的随机权重；将每张图像对应每个学习器的加权特征输入对应学习器，确定每张图像的多个特征向量；基于多个训练图像组中每张图像的多个特征向量调整神经网络的参数。削弱训练数据间的信息差异对网络的影响。

【技术实现步骤摘要】
用于图像检索的神经网络训练方法、装置及电子设备
本申请涉及图像处理
，尤其涉及一种用于图像检索的神经网络训练方法、装置及电子设备。
技术介绍
随着互联网经济的发展，以图搜图的需求增多，实现以图搜图的图像检索技术也越来越重要。图像检索是根据待查询图像搜索数据库中与之相同类别的图像，其主要目的是更为准确地在数据库中召回同类别的图像。例如，在智能驾驶(包括无人驾驶和辅助驾驶)中，需要识别采集的图像对应的场景，以做出针对当前场景的决策。现有的图像检索技术主要是基于卷积神经网络的多分支(即学习器)网络模型，其通过不同的网络分支将图像中的不同属性的信息特征映射为嵌入特征向量，进而基于这些嵌入特征向量来描述一个图像在距离度量标准下的空间位置，再通过不同图像的空间位置来寻找相似的图像。上述多分支网络模型是通过对多个分支进行差异性模型训练而得到，模型训练的样本是以三张图像组成的三元组为最小单元，其中一张图像为待检索图像A，另外两张分别是与图像A属于同类别的图像P以及与A属于不同类别的图像N。参见图1，以多分支网络模型中包含三个分支(学习器)为例，现有的多分支网络模型的序列化训练方法的主要过程为：将三元组中的图像A分别输入三个卷积神经网络CNN中，三个CNN分别提取该张图像的特征；然后，将三个CNN提取的特征分别输入对应的学习器1、学习器2和学习器3，得到该张图像对应的三个特征向量；针对图像P和图像N执行相同操作，得到图像P和图像N各自对应的三个特征向量；之后，基于图像A和图像P相似(拉近距离)，而图像A和图像N不相似(拉开距离)的目标，根据三张图像的类别和每张图像各自对应的三个特征向量，利用TripletLoss损失函数，按照顺序计算各分支的损失值，并将该损失值反向传播以调整各分支的学习器和CNN的权重，其中前一分支的损失值会影响后一分支的权重调整，从而差异化分支来获得对图像不同属性的映射能力。上述多分支网络模型及其序列化训练方法存在的主要问题有：(1)会使得某些分支上的信息误差累积到靠后的分支，造成分支性能损失，甚至造成网络过拟合；(2)训练效果差的分支会对其他分支、甚至整体模型的性能产生影响；(3)对于不同三元组存在的信息差异，因不同分支对于同种属性的敏感度不同，某些分支无法较好地映射某种属性，甚至在反向传播中影响特征提取器的效能。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种用于图像检索的神经网络训练方法、装置及电子设备。第一方面，本申请提供了一种用于图像检索的神经网络训练方法，所述神经网络包括：一个特征提取器和多个学习器，所述多个学习器共享所述一个特征提取器提取的特征；预先确定多个训练图像组，每个所述训练图像组包括三张图像，其中两张同类别，一张不同类别；所述方法包括：针对每个所述训练图像组，给每个学习器配置随机权重：将所述训练图像组的三张图像输入至特征提取器中，确定所述三张图像的特征；针对每张图像，将该图像的特征分别乘以每个学习器对应的随机权重，得到该图像对应每个学习器的加权特征；针对每个学习器，所述训练图像组中的三张图像对应相同的随机权重；针对每张图像，将该图像对应每个学习器的加权特征输入至对应的学习器中，确定该图像的多个特征向量；基于多个训练图像组中每个训练图像组的每张图像的多个特征向量，调整所述神经网络的参数。第二方面，本申请提供了一种用于图像检索的神经网络训练装置，所述神经网络包括：一个特征提取器和多个学习器，所述多个学习器共享所述一个特征提取器提取的特征；所述装置预先确定多个训练图像组，每个所述训练图像组包括三张图像，其中两张同类别，一张不同类别；且针对每个所述训练图像组，给每个学习器配置随机权重；所述装置包括：提取单元，用于针对每个所述训练图像组，将所述训练图像组的三张图像输入至特征提取器中，确定所述三张图像的特征；加权单元，用于针对每个所述训练图像组，针对每张图像，将该图像的特征分别乘以每个学习器对应的随机权重，得到该图像对应每个学习器的加权特征；针对每个学习器，所述训练图像组中的三张图像对应相同的随机权重；映射单元，用于针对每个所述训练图像组，针对每张图像，将该图像对应每个学习器的加权特征输入至对应的学习器中，确定该图像的多个特征向量；调整单元，用于基于多个训练图像组中每个训练图像组的每张图像的多个特征向量，调整所述神经网络的参数。第三方面，本申请提供了一种电子设备，该电子设备包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行任一实施例中的上述用于图像检索的神经网络训练方法的步骤。第四方面，本申请提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行任一实施例中的上述用于图像检索的神经网络训练方法的步骤。本申请实施例提供的技术方案与现有技术相比具有如下优点：一、各学习器共享特征提取器提取的特征，提高分支独立性，削弱顺序靠前的分支对顺序靠后分支的影响，优化网络的过拟合问题。二、针对每个学习器增加随机权重，优化多分支对训练数据间的信息差异的适应性，削弱训练数据间的信息差异对某些分支的持续影响以及性能较差分支对整体模型的影响，提高模型鲁棒性。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是现有技术中的用于图像检索的神经网络的网络结构框图；图2是本申请实施例提供的一种用于图像检索的神经网络的网络结构框图；图3是本申请实施例提供的一种用于图像检索的神经网络训练装置的结构示意图；图4是本申请实施例提供的电子设备的结构示意图；图5是本申请实施例提供的一种用于图像检索的神经网络训练方法的流程图；图6是本申请实施例提供的一种用于图像检索的神经网络训练方法中调整参数的过程流程图。具体实施方式为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。目前基于序列化训练方法所得的用于图像检索的多分支网络模型，因序列化地差异化学习各分支和不同三元组之间的信息差异性，存在顺序靠前的分支的信息误差累积到顺序靠后的分支，某些无法很好地映射某些属性的分支影响整个模型性能，甚至在反向传播中影响特征提取器的性本文档来自技高网...

【技术保护点】
1.一种用于图像检索的神经网络训练方法，其特征在于，所述神经网络包括：一个特征提取器和多个学习器，所述多个学习器共享所述一个特征提取器提取的特征；预先确定多个训练图像组，每个所述训练图像组包括三张图像，其中两张同类别，一张不同类别；所述方法包括：/n针对每个所述训练图像组，给每个学习器配置随机权重：/n将所述训练图像组的三张图像输入至特征提取器中，确定所述三张图像的特征；/n针对每张图像，将该图像的特征分别乘以每个学习器对应的随机权重，得到该图像对应每个学习器的加权特征；针对每个学习器，所述训练图像组中的三张图像对应相同的随机权重；/n针对每张图像，将该图像对应每个学习器的加权特征输入至对应的学习器中，确定该图像的多个特征向量；/n基于多个训练图像组中每个训练图像组的每张图像的多个特征向量，调整所述神经网络的参数。/n

【技术特征摘要】
1.一种用于图像检索的神经网络训练方法，其特征在于，所述神经网络包括：一个特征提取器和多个学习器，所述多个学习器共享所述一个特征提取器提取的特征；预先确定多个训练图像组，每个所述训练图像组包括三张图像，其中两张同类别，一张不同类别；所述方法包括：
针对每个所述训练图像组，给每个学习器配置随机权重：
将所述训练图像组的三张图像输入至特征提取器中，确定所述三张图像的特征；
针对每张图像，将该图像的特征分别乘以每个学习器对应的随机权重，得到该图像对应每个学习器的加权特征；针对每个学习器，所述训练图像组中的三张图像对应相同的随机权重；
针对每张图像，将该图像对应每个学习器的加权特征输入至对应的学习器中，确定该图像的多个特征向量；
基于多个训练图像组中每个训练图像组的每张图像的多个特征向量，调整所述神经网络的参数。


2.根据权利要求1所述的方法，其特征在于，所述预先确定多个训练图像组，包括：
获取训练样本集，所述训练样本集中包括多个类别的图像，每个类别至少包括两张图像；
从所述训练样本集中确定多张参考图像A、每张参考图像A同类别的图像P和不同类别的图像N，得到多个训练图像组，每个所述训练图像组包括：参考图像A、同类别的图像P和不同类别的图像N。


3.根据权利要求1所述的方法，其特征在于，所述基于多个训练图像组中每个训练图像组的每张图像的多个特征向量，调整所述神经网络的参数，包括：
针对每个训练图像组中的每张图像，将该图像的多个特征向量，通过全连接层映射为一个嵌入特征向量；
针对每个训练图像组，基于三张图像对应的三个嵌入特征向量和三张图像的类别，计算所述训练图像组的损失函数值；
针对所述多个训练图像组，确定所述多个训练图像组的平均损失函数值；
基于所述平均损失函数值，调整所述神经网络的参数。


4.根据权利要求3所述的方法，其特征在于，所述基于所述平均损失函数值，调整所述神经网络的参数包括：
基于所述平均损失函数值，通过反向传播调整所述神经网络的参数。


5.一种用于图像检索的神经网络训练装置，其特征在于，所述神经网络包括：一个特征提取器和多个学习器，所述多个学习器共享所述一个特征提取器提取的特征；所述装置预先确定多个训练图像组，每个所述训练图像组包括三张图像...

【专利技术属性】
技术研发人员：任豪，李思洋，路红，
申请(专利权)人：驭势科技南京有限公司，
类型：发明
国别省市：江苏;32