特征提取网络训练方法以及相关方法和装置制造方法及图纸

本申请提供特征提取网络训练方法以及相关方法和装置。该特征提取网络训练方法包括：获得图像训练集，图像训练集包括同一目标的两种模态的图像；将图像训练集输入到特征提取网络，以得到每一目标的两种模态的图像特征；利用每个目标的两种模态的图像特征的差异计算损失；在损失减小的方向，更新特征提取网络的参数。本申请可以使得通过特征提取网络提取出的同一目标的两种模态的图像特征更加相似，解决了不同模态之间的语义鸿沟，将本申请训练出的特征提取网络应用到图像搜索中，可以解决不同模态无法互相搜索的问题。

【技术实现步骤摘要】
特征提取网络训练方法以及相关方法和装置
本申请涉及图像
，特别是涉及特征提取网络训练方法以及相关方法和装置。
技术介绍
越来越多监控摄像头的使用，产生了海量的视频数据，需要在这些数据中快速检索到目标，并进行相关分析，是一项重要的任务。以图搜图技术能够在图片库中快速检索到目标，已广泛应用在抓捕嫌疑犯，和寻找走失老人、儿童中，并取得较好的效果。但以图搜图技术存在红外和可见光等不同模态图像之间的语义鸿沟，存在不同模态图像无法互相搜索的问题。
技术实现思路
本申请提供特征提取网络训练方法以及相关方法和装置，使得通过特征提取网络提取出的同一目标的两种模态的图像特征更加相似，解决了不同模态之间的语义鸿沟，将本申请训练出的特征提取网络应用到图像搜索中，可以解决不同模态无法互相搜索的问题。为达到上述目的，本申请提供一种特征提取网络的训练方法，该方法包括：获取图像训练集，图像训练集包括同一目标的两种模态的图像；将图像训练集输入到特征提取网络，以得到每一目标的两种模态的图像特征；利用每个目标的两种模态的图像特征的差异计算损失；在损失减小的方向，更新特征提取网络的参数。其中，在损失减小的方向，更新特征提取网络的参数，包括：利用损失梯度反向传播更新特征提取网络的参数。其中，两种模态包括第一模态和第二模态，将图像训练集输入到特征提取网络，以得到每一目标的两种模态的图像特征，之后包括：将至少一个目标的第一模态的图像特征输入到第一图像分类器；基于第一图像分类器的分类结果，并利用梯度反向传播算法确定特征提取网络的第一组参数；将至少一个目标的第二模态的图像特征输入到第二图像分类器；基于第二图像分类器的分类结果，并利用梯度反向传播算法确定特征提取网络的第二组参数；利用损失梯度反向传播更新特征提取网络的参数，包括：利用损失梯度反向传播确定特征提取网络的第三组参数；将特征提取网络的第一组参数、第二组参数和第三组参数进行加权处理，得到特征提取网络的最终参数。其中，将图像训练集输入到特征提取网络，以得到每一目标的两种模态的图像特征，之后包括：将每一目标的两种模态的图像特征连接，得到每一目标的融合特征；将至少一个目标的融合特征输入到第三图像分类器；基于第三图像分类器的分类结果，并利用梯度反向传播算法确定特征提取网络的第四组参数；将特征提取网络的第一组参数、第二组参数和第三组参数进行加权处理，得到特征提取网络的最终参数，包括：将特征提取网络的第一组参数、第二组参数、第三组参数和第四组参数进行加权处理，得到特征提取网络的最终参数。其中，两种模态的图像选自可见光图像、深度图像、红外图像、素描图像和3D图像中的两种。其中，利用每个目标的两种模态的图像特征的差异计算损失，包括：计算每个目标的两种模态的图像特征的欧式距离；利用至少一个目标对应的欧式距离计算损失。为达到上述目的，本申请提供一种图像的特征提取方法，该方法包括：获取待提取特征的图像；将待提取特征的图像输入至特征提取网络；其中，特征提取网络是采用上述方法训练得到的；通过特征提取网络提取待提取特征的图像的特征。为达到上述目的，本申请提供一种图像搜索方法，该方法包括：获取待搜索图像；将待搜索图像输入至特征提取网络；以得到待搜索图像的特征；其中，特征提取网络是采用上述特征提取网络的训练方法训练得到的；确定待搜索图像的特征与数据库中各图像的特征的差异；根据差异确定与待搜索图像相似的图像，得到图像搜索结果。为达到上述目的，本申请提供一种电子设备，该电子设备包括存储器和处理器；存储器中存储有计算机程序，处理器用于执行计算机程序以实现上述方法中的步骤。为达到上述目的，本申请提供一种可读存储介质，其上存储有计算机程序，程序被处理器执行时实现上述方法中的步骤。本申请的方法是：通过特征提取网络对图像训练集中图像进行特征提取，以得到每一目标的两种模态的图像特征；并利用每一目标的两种模态的图像特征的差异计算损失，在损失减小的方向，更新特征提取网络的参数，这样在训练和更新特征提取网络的过程中，可以使同一目标的两种模态的图像特征的差异减小，使得通过特征提取网络提取出的同一目标的两种模态的图像特征更加相似，解决了不同模态之间的语义鸿沟，从而用按照本申请的特征提取网络的训练方法训练出的特征提取网络进行图像搜索，只需要其中一种模态的图像，就可以搜索出两种模态的图像。附图说明为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请特征提取网络的训练方法第一实施方式的流程示意图；图2是本申请特征提取网络的训练方法第二实施方式的流程示意图；图3是本申请图像的特征提取方法一实施方式的流程示意图；图4是本申请图像搜索方法一实施方式的流程示意图；图5是本申请电子设备的结构示意图；图6是本申请可读存储介质一实施方式的结构示意图。具体实施方式为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请所提供的特征提取网络训练方法以及相关方法和装置做进一步详细描述。具体请参阅图1，图1是本申请特征提取网络的训练方法第一实施方式的流程示意图。本实施方式特征提取网络的训练方法包括以下步骤。S101：获取图像训练集。图像训练集包括同一目标的两种模态的图像。同一目标的两种模态的图像可以包括同一目标的红外图像、可见光图像、素描图像、3D图像和深度图像等各种模态中任意两种模态的图像。例如，同一目标的两种模态的图像为同一目标的红外图像和可见光图像，这样利用本申请的特征提取网络减少了红外图像和可见光图像之间的语义鸿沟。另外，同一目标的两种模态的图像中包含的内容可以相同，例如，同一目标的两种模态的图像中均包含左下角的迎春花、右边的柳树和位于中间的行人A。S102：将图像训练集输入到特征提取网络，以得到每一目标的两种模态的图像特征。利用特征提取网络对图像训练集中的图像进行特征提取，可以得到每一目标的两种模态的图像特征。本申请的特征提取网络可以是任意特征提取网络，只要特征提取网络具有提取输入图像特征的功能即可，例如resnet50或CNN网络。S103：利用每个目标的两种模态的图像特征的差异计算损失。步骤S103包括：计算每个目标的两种模态的图像特征之间的差异；将多个目标的两种模态的图像特征的差异综合，以得到损失。具体，可以将每个目标的两种模态的图像特征之间的欧式距离、余弦距离或曼哈顿距离等作为每个目标的两种模态的图像特征之间的差异。其中，将多个目本文档来自技高网...

【技术保护点】
1.一种特征提取网络的训练方法，其特征在于，所述方法包括：/n获得图像训练集，所述图像训练集包括同一目标的两种模态的图像；/n将所述图像训练集输入到所述特征提取网络，以得到每一目标的两种模态的图像特征；/n利用每个目标的两种模态的图像特征的差异计算损失；/n在损失减小的方向，更新所述特征提取网络的参数。/n

【技术特征摘要】
1.一种特征提取网络的训练方法，其特征在于，所述方法包括：
获得图像训练集，所述图像训练集包括同一目标的两种模态的图像；
将所述图像训练集输入到所述特征提取网络，以得到每一目标的两种模态的图像特征；
利用每个目标的两种模态的图像特征的差异计算损失；
在损失减小的方向，更新所述特征提取网络的参数。


2.根据权利要求1所述的训练方法，其特征在于，所述在损失减小的方向，更新所述特征提取网络的参数，包括：
利用损失梯度反向传播更新所述特征提取网络的参数。


3.根据权利要求2所述的训练方法，其特征在于，两种模态包括第一模态和第二模态，所述将所述图像训练集输入到所述特征提取网络，以得到每一目标的两种模态的图像特征，之后包括：
将至少一个目标的第一模态的图像特征输入到第一图像分类器；基于所述第一图像分类器的分类结果，并利用梯度反向传播算法确定所述特征提取网络的第一组参数；
将至少一个目标的第二模态的图像特征输入到第二图像分类器；基于所述第二图像分类器的分类结果，并利用梯度反向传播算法确定所述特征提取网络的第二组参数；
所述利用损失梯度反向传播更新所述特征提取网络的参数，包括：利用损失梯度反向传播确定所述特征提取网络的第三组参数；
将所述特征提取网络的第一组参数、第二组参数和第三组参数进行加权处理，得到所述特征提取网络的最终参数。


4.根据权利要求3所述的训练方法，其特征在于，所述将所述图像训练集输入到所述特征提取网络，以得到每一目标的两种模态的图像特征，之后包括：
将每一目标的两种模态的图像特征连接，得到每一目标的融合特征；
将至少一个目标的融合特征输入到第三图像分类器；基于所述第三图像分类器的分类结果，并利用梯度反向传播算法确定所述特征提取网络的第四组参数；

【专利技术属性】
技术研发人员：张雷，潘华东，殷俊，张兴明，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33