一种以图搜图方法技术

本申请涉及一种以图搜图方法，构建了多空间尺度孪生神经网络模型，该神经网络模型具有3个不同空间尺度的高层语义匹配层，可以实现跨空间匹配，进而实现了即使将不同尺寸的模板图像和待检索图像作为神经网络模型的输入数据也能够准确检索到与模板图像匹配的待检索图像，模型匹配精准度高，稳定性优良。

A method of searching graph by graph

【技术实现步骤摘要】
一种以图搜图方法
本申请涉及图片信息处理
，特别是涉及一种以图搜图方法。
技术介绍
以图搜图是指根据图像视觉特征或者语义特征检索出具有相似内容的图像，是目前互联网上一种新型的检索方式。与以文字作为检索索引的检索方式不同，图像搜索技术的出现，使得用户对网上图像信息的搜索变得更加简单化和多样化。构建一个以图搜图系统需要解决两个最关键的问题：首先，如何提取图像特征；其次，如何构建特征数据搜索引擎，即如何使得特征数据构建成数据库并提供相似性搜索的功能。由于置入匹配模型的模板图像和待检索图像的原始图像大小很有可能不一致，传统的以图搜图的方法的处理方式是在检索前对每张图像缩放一次。这种方式带了的一个很大的问题是，无法确定缩放后的模板图像和待检索图像的大小是否一致。而且。在每张图片检索时都要缩放一次图像，耗费大量的匹配模型计算量。图像缩放过小的话，图像的核心信息提取困难，因为图像缩放后目标边界框所包围的面积过小，核心信息的部分也缩放得过小，和其他非核心信息的部分区别不明显。因此，传统的以图搜图的方法导致匹配模型的匹配精准度不够准确，匹配模型稳定性差。
技术实现思路
基于此，有必要针对传统以图搜图方法无法确定缩放后的模板图像和待检索图像的大小是否一致的问题，提供一种以图搜图方法。本申请提供一种以图搜图方法，所述以图搜图方法包括：选取多张模板图像和多张待检索图像，对多张模板图像和多张待检索图像进行预处理；构建多空间尺度孪生神经网络模型，将多空间尺度孪生神经网络模型作为特征提取器，并在多层特征输出层上构建相似度匹配器网络；将预处理后的多张模板图像和多张待检索图像作为训练数据，将相似度匹配器网络作为辅助训练的工具，对多空间尺度孪生神经网络进行端对端的训练，得到多空间尺度孪生神经网络模型中的模型参数；通过损失函数对模型参数进行校正，得到训练后的多空间尺度孪生神经网络模型；当进行以图搜图时，将一张图像作为模板图像，将多张与模板图像近似的图像作为待检索图像，将模板图像和多张待检索图像输入至所述训练后的多空间尺度孪生神经网络模型；获取训练后的多空间尺度孪生神经网络模型输出的模板图像的相似度检索结果。本申请涉及的一种以图搜图方法，构建了多空间尺度孪生神经网络模型，该神经网络模型具有3个不同空间尺度的高层语义匹配层，可以实现跨空间匹配，进而实现了即使将不同尺寸的模板图像和待检索图像作为神经网络模型的输入数据也能够准确检索到与模板图像匹配的待检索图像，模型匹配精准度高，稳定性优良。附图说明图1为本申请一实施例提供的以图搜图方法的流程示意图；图2为多空间尺度孪生神经网络模型对一个样本对中的待检索图像和模板的卷积处理过程示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供一种以图搜图方法。需要说明的是，本申请提供的以图搜图方法的应用于图片信息处理领域。此外，本申请提供的以图搜图方法不限制其执行主体。可选地，本申请提供的以图搜图方法的执行主体的可以为一种图片搜索处理终端。具体地，本申请提供的以图搜图方法的执行主体的可以为图片搜索处理终端中的一个或多个处理器。所述图片搜索处理终端包括多空间尺度孪生神经网络模型和相似度匹配器网络。如图1所示，在本申请的一实施例中，所述以图搜图方法包括：S100，选取多张模板图像和多张待检索图像，对多张模板图像和多张待检索图像进行预处理。S200，构建多空间尺度孪生神经网络模型。将多空间尺度孪生神经网络模型作为特征提取器。进一步地，在多层特征输出层上构建相似度匹配器网络。S300，将预处理后的多张模板图像和多张待检索图像作为训练数据。将相似度匹配器网络作为辅助训练的工具。对多空间尺度孪生神经网络进行端对端的训练，得到多空间尺度孪生神经网络模型中的模型参数。S400，通过损失函数对模型参数进行校正，得到训练后的多空间尺度孪生神经网络模型。S500，当进行以图搜图时，将一张图像作为模板图像，将多张与模板图像近似的图像作为待检索图像，将模板图像和多张待检索图像输入至所述训练后的多空间尺度孪生神经网络模型。S600，获取训练后的多空间尺度孪生神经网络模型输出的模板图像的相似度检索结果。具体地，步骤S100是多空间尺度孪生神经网络模型的训练数据的预处理过程。步骤S200是多空间尺度孪生神经网络模型的构建过程。步骤S300是多空间尺度孪生神经网络模型的训练过程。步骤S500至步骤S600是多空间尺度孪生神经网络模型训练结束后，应用多空间尺度孪生神经网络模型进行以图搜图的实际应用过程。多空间尺度孪生神经网络模型在训练时，为了批量训练，采用同一尺寸的模板图像和待检索图像作为训练数据。在模型训练完成后，由于模型是多空间尺度的，待检索图像的分支是有3路不同空间尺寸特征的输出，因此模型在投入使用时可以不用固定待检索图像的图像像素大小，只需要固定模板图像的大小为固定尺寸即可，这是为了更贴合现实图像数据库中，待检索图像大小和模板图像大小均是随机的问题。本实施例构建了多空间尺度孪生神经网络模型，该神经网络模型具有3个不同空间尺度的高层语义匹配层，可以实现跨空间匹配，进而实现了即使将不同尺寸的模板图像和待检索图像作为神经网络模型的输入数据也能够准确检索到与模板图像匹配的待检索图像，模型匹配精准度高，稳定性优良。在本申请的一实施例中，所述步骤S100包括：S110，从图像库中选取M张图像作为模板图像。选取N张图像作为待检索图像。M和N均为大于1的正整数。具体地，M和N的数量可以不相等。M和N的取值越大，在后续多空间尺度孪生神经网络模型训练后，多空间尺度孪生神经网络模型的匹配精准度越高，这是因为M和N的取值越大，训练数据样本越复杂，越全面。S120，对每一张模板图像和每一张待检索图像均进行类别标注。具体地，每一张图像均有其相关的类别信息，例如一张长颈鹿的图像存在动物、鹿等类别信息。对每一张模板图像和每一张待检索图像均进行类别标注，有利于后续多空间尺度孪生神经网络模型训练时，对不同的图像进行区别。可选地，在类别标注时，选取和图像最相关的类别信息，对图像进行标注。例如，一张长颈鹿的图像存在动物、鹿等类别信息，选取最相关的“鹿”，作为该图像的类别标注。S130，对每一张模板图像进行缩放处理，得到M张缩放处理后的模板图像。S140，对每一张待检索图像进行缩放处理，得到N张缩放处理后的待检索图像。具体地，对模板图像和待检索图像进行缩放处理，可以减少后续多空间尺度孪生神经网络模型训练时，产生的数据运算量。可选地，M张缩放处理后的模板图像的尺寸一致。N张缩放处理后的待检索图像一致。这样便于多空间尺度孪生神经网络模型训练时进行卷积与迁移。...

【技术保护点】
1.一种以图搜图方法，其特征在于，所述以图搜图方法包括：/nS100，选取多张模板图像和多张待检索图像，对多张模板图像和多张待检索图像进行预处理；/nS200，构建多空间尺度孪生神经网络模型，将多空间尺度孪生神经网络模型作为特征提取器，并在多层特征输出层上构建相似度匹配器网络；/nS300，将预处理后的多张模板图像和多张待检索图像作为训练数据，将相似度匹配器网络作为辅助训练的工具，对多空间尺度孪生神经网络进行端对端的训练，得到多空间尺度孪生神经网络模型中的模型参数；/nS400，通过损失函数对模型参数进行校正，得到训练后的多空间尺度孪生神经网络模型；/nS500，当进行以图搜图时，将一张图像作为模板图像，将多张与模板图像近似的图像作为待检索图像，将模板图像和多张待检索图像输入至所述训练后的多空间尺度孪生神经网络模型；/nS600，获取训练后的多空间尺度孪生神经网络模型输出的模板图像的相似度检索结果。/n

【技术特征摘要】
1.一种以图搜图方法，其特征在于，所述以图搜图方法包括：
S100，选取多张模板图像和多张待检索图像，对多张模板图像和多张待检索图像进行预处理；
S200，构建多空间尺度孪生神经网络模型，将多空间尺度孪生神经网络模型作为特征提取器，并在多层特征输出层上构建相似度匹配器网络；
S300，将预处理后的多张模板图像和多张待检索图像作为训练数据，将相似度匹配器网络作为辅助训练的工具，对多空间尺度孪生神经网络进行端对端的训练，得到多空间尺度孪生神经网络模型中的模型参数；
S400，通过损失函数对模型参数进行校正，得到训练后的多空间尺度孪生神经网络模型；
S500，当进行以图搜图时，将一张图像作为模板图像，将多张与模板图像近似的图像作为待检索图像，将模板图像和多张待检索图像输入至所述训练后的多空间尺度孪生神经网络模型；
S600，获取训练后的多空间尺度孪生神经网络模型输出的模板图像的相似度检索结果。


2.根据权利要求1所述的以图搜图方法，其特征在于，所述步骤S100包括：
S110，从图像库中选取M张图像作为模板图像，选取N张图像作为待检索图像；M和N均为大于1的正整数；
S120，对每一张模板图像和每一张待检索图像均进行类别标注；
S130，对每一张模板图像进行缩放处理，得到M张缩放处理后的模板图像；
S140，对每一张待检索图像进行缩放处理，得到N张缩放处理后的待检索图像；
S150，从M张处理后的模板中随机抽取一张，从N张处理后的待检索图像中随机抽取一张，将两张图像组合为一个样本对；
S160，反复执行K次所述步骤S150，得到K个样本对；K为大于1的正整数。


3.根据权利要求2所述的以图搜图方法，其特征在于，所述步骤S130包括：
S131，选取一张模板图像，利用目标边界框将模板图像分为目标区域和非目标区域；
S132，去除模板图像中的非目标区域，保留目标区域和目标边界框；
S133，设定模板图像缩放后的宽和高，依据公式1计算缩放系数；

公式1；
其中，s为缩放系数，w为目标边界框的宽度，h为目标边界框的高度，A1为模板图像缩放后的宽度，B1为模板图像缩放后的高度；
S134，依据缩放系数计算在宽度方向上的填充边缘长度，以及在高度方向上的填充边缘长度；

公式2；
其中，Pw为在宽度方向上的填充边缘长度，Ph为高度方向上的填充边缘长度，在s为缩放系数，w为目标边界框的宽度，h为目标边界框的高度，A1为模板图像缩放后的宽度，B1为模板图像缩放后的高度；
S135，在所述目标边界框的基础上，在宽度方向上扩充Pw，在长度方向上扩充Ph，以在目标边界框的四周形成边缘，将包括目标边界框和边缘的模板图像缩放至宽度为A1，高度为B1的图像；
S136，对每一张模板图像执行所述步骤S131至步骤S135，直至所有模板图像处理完毕。


4.根据权利要求3所述的以图搜图方法，其特征在于，所述步骤S140包括：
S141，选取一张待检索图像，利用目标边界框将待检索图像分为目标区域和非目标区域；
S142，获取目标边界框的中心点，以该中心点为物理中心，裁剪出一个正方形区域，保留待检索图像的正方形区域，将其他区域去除；所述正方形区域的边长大于目标边界框的宽度，小于目标边界框宽度的8倍；
S143，设定待检索图像缩放后的宽度A2和高度B2，将裁剪后的待检索图像缩放至宽度为A2，高度为B2的图像；
S144，反复执行所述步骤S141至步骤S143，直至所有待检索图像处理完毕。


5.根据权利要求4所述的以图搜图方法，其特征在于，所述模板图像缩放后的宽度为127像素，高度为127像素，所述待检索图像缩放后的宽度为255像素，高度为255像素。


6.根据权利要求5所述的以图搜图方法，其特征在于，所述步骤S200包括：
S210，依据全卷积网络架构构建多空间尺度孪生神经网络模型。


7.根据权利要求6所述的以图搜图方法，其特征在于，所述步骤S300包括：
S310，选取一个样本对，将该样本对输入至多空间尺度孪生神经网络模型；
S320，将样本对中的待检索图像通过第一卷积操作，生成第一待检索图像特征模块；
将样本对中的待检索图像通过第二卷积操作，生成第二待...

【专利技术属性】
技术研发人员：罗世操，
申请(专利权)人：杭州雄迈集成电路技术股份有限公司，
类型：发明
国别省市：浙江;33