一种基于多尺度特征融合的布料图像深度哈希检索方法技术

本发明专利技术提出了一种基于多尺度特征融合的布料图像深度哈希检索方法，涉及布料图像检索技术领域，包括以下步骤：S1、获取待检索布料图像；S2、将待检索布料图像输入训练好的多尺度特征融合模型中以得到特征提取结果；S3、基于特征提取结果在图像信息库中进行搜索，以准确检索出该布料图像。本发明专利技术根据布料图像检索任务特性对条形池化网络的混合池化模块和残差金字塔池化模块进行改进，从多尺度的特征融合角度提升了图像检索模型的性能，在神经网络的传递过程中，水平和竖直方向的池化操作有效捕获了远距离上下文信息，降低了背景环境对图像检索的影响，提高了布料检索准确率。提高了布料检索准确率。提高了布料检索准确率。

【技术实现步骤摘要】
一种基于多尺度特征融合的布料图像深度哈希检索方法


[0001]本专利技术涉及布料图像检索
，具体而言，涉及一种基于多尺度特征融合的布料图像深度哈希检索方法。

技术介绍

[0002]布料制品以及布料制品加工行业对人们的日常生活以及国家的发展都有着重要的作用。时代在高速发展，布料图像、服装视频等包含大量布料花纹信息的数据也在不断增长，正因如此，高效、快速的布料图像检索方法成为了当前的研究热门。
[0003]然而，现有技术中的布料图像检索方法大多很难获取到目标图像更深层的细节信息，图像检索的准确率较低，即使个别研究者利用特征融合方法提取图像的显著特征来提高图像检索的准确率，也只是局部特征和全局特征的聚合，没有考虑到由于图像状态和位置发生变化时花纹特征在尺度上也会逐渐改变，不能很好地保留不同尺度的图像特征，更容易受到来自不相关区域的信息干扰。
[0004]基于此，本申请提出一种基于多尺度特征融合的布料图像深度哈希检索方法来解决上述问题。

技术实现思路

[0005]本专利技术的目的在于提供一种基于多尺度特征融合的布料图像深度哈希检索方法，其能够提升图像检索模型的性能，降低背景环境对图像检索的影响，提高布料检索准确率。
[0006]本专利技术的技术方案为：
[0007]第一方面，本申请提供一种基于多尺度特征融合的布料图像深度哈希检索方法，其包括以下步骤：
[0008]S1、获取待检索布料图像；
[0009]S2、将待检索布料图像输入训练好的多尺度特征融合模型中以得到特征提取结果；其中，上述多尺度特征融合模型包括骨干网络、条形池化模块、混合池化模块和残差金字塔模块；上述骨干网络由基线构成，其基本网络架构采用ResNet50实现；上述条形池化模块与上述骨干网络连接，用于获取待检索布料图像的不同空间维度的远程上下文信息；上述混合池化模块与上述条形池化模块连接，用于基于远程上下文信息的基础上结合金字塔池化模型捕获多尺度特征信息；上述残差金字塔模块与上述混合池化模块连接，用于通过设置空洞卷积组合将多尺度特征信息进一步提取，将提取后的特征进行多尺度特征融合以得到特征提取结果；
[0010]S3、基于特征提取结果在图像信息库中进行搜索，以准确检索出该布料图像。
[0011]进一步地，上述条形池化模块获取待检索布料图像的不同空间维度的远程上下文信息的方法包括：
[0012]将上述待检索布料图像的特征输入到两个水平和竖直的条形池化层，并通过一维卷积操作分别得到一个水平特征张量和一个竖直的特征张量；
[0013]通过复制得到分别沿着竖直和水平方向的和原图大小一致的特征图；
[0014]将特征图的特征和一维卷积操作得到的水平和竖直的特征张量对应相乘以构建得到待检索布料图像的不同空间维度的远程上下文信息。
[0015]进一步地，步骤S2中，上述混合池化模块基于远程上下文信息的基础上结合金字塔池化模型捕获多尺度特征信息的方法包括：
[0016]通过金字塔池化模型分别采用2*2、3*3和4*4的池化核进行池化；
[0017]将前两个池化后的结果上采样后与第三个池化的结果叠加；
[0018]将叠加结果与远程上下文信息进行融合以得到多尺度特征信息。
[0019]进一步地，步骤S2中，上述残差金字塔模块设置空洞卷积组合将多尺度特征信息进一步提取的方法包括：
[0020]设置6个空洞率分别为1、2、3、6、12、24的空洞卷积块进行叠加；
[0021]将叠加后的结果采用1*1的卷积进行降维；
[0022]将降维后的结果传递到最后一层进行输出以得到提取后的特征。
[0023]进一步地，步骤S3中，确定上述特征提取结果的方法为通过损失函数进行训练以最大化图像之间的区别，其输入为图像对，输出为每幅图像的哈希编码，通过计算哈希编码的汉明距离，选取汉明距离较小的图像并作为检索出的图像。
[0024]进一步地，上述损失函数的公式如下：
[0025][0026]其中，b1，b2分别表示与图像对应的网络输出的二进制哈希编码，L表示损失函数，y为参数，且在图像对相似时为0、在图像对不相似时为1，m表示边缘阈值参数，D
h
表示哈希编码的汉明距离。
[0027]第二方面，本申请提供一种电子设备，其特征在于，包括：
[0028]存储器，用于存储一个或多个程序；
[0029]处理器；
[0030]当上述一个或多个程序被上述处理器执行时，实现如上述第一方面中任一项的一种基于多尺度特征融合的布料图像深度哈希检索方法。
[0031]第三方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的一种基于多尺度特征融合的布料图像深度哈希检索方法。
[0032]相对于现有技术，本专利技术至少具有如下优点或有益效果：
[0033](1)本专利技术通过在多尺度特征融合模型中设置条形池化模块可以利用水平和竖直的条形池化操作获取不同空间维度的远程上下文信息，从而使得网络能更好地降低无关信息的干扰，进一步提升布料图像检索的准确率；
[0034](2)本专利技术通过在多尺度特征融合模型中设置混合池化模块，在条形池化地基础上，通过结合金字塔池化模型可以在捕获长距离全局信息地同时关注短距离的信息关系，从而可以提取不同尺度的特征信息来提高图像检索网络对于图像特征的识别能力；
[0035](3)本专利技术通过设置残差金字塔模块可以降低周围无关特征对布料图像花纹特征的影响，进一步提升网络的全局上下文信息表示能力，帮助网络更加有效地对图像结构进行解析，从而提升图像检索的准确率。
附图说明
[0036]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0037]图1为本专利技术一种基于多尺度特征融合的布料图像深度哈希检索方法的步骤图；
[0038]图2为条形池化模块的结构示意图；
[0039]图3为混合池化模块的结构示意图；
[0040]图4为残差金字塔模块的结构示意图；
[0041]图5为本专利技术实施例的一种电子设备的示意性结构框图。
[0042]图标：101、存储器；102、处理器；103、通信接口。
具体实施方式
[0043]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
[0044]因此，以下对在附图中提供的本申请的实施例的详细描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度特征融合的布料图像深度哈希检索方法，其特征在于，包括以下步骤：S1、获取待检索布料图像；S2、将待检索布料图像输入训练好的多尺度特征融合模型中以得到特征提取结果；其中，所述多尺度特征融合模型包括骨干网络、条形池化模块、混合池化模块和残差金字塔模块；所述骨干网络由基线构成，其基本网络架构采用ResNet50实现；所述条形池化模块与所述骨干网络连接，用于获取待检索布料图像的不同空间维度的远程上下文信息；所述混合池化模块与所述条形池化模块连接，用于基于远程上下文信息的基础上结合金字塔池化模型捕获多尺度特征信息；所述残差金字塔模块与所述混合池化模块连接，用于通过设置空洞卷积组合将多尺度特征信息进一步提取，将提取后的特征进行多尺度特征融合以得到特征提取结果；S3、基于特征提取结果在图像信息库中进行搜索，以准确检索出该布料图像。2.如权利要求1所述的一种基于多尺度特征融合的布料图像深度哈希检索方法，其特征在于，所述条形池化模块获取待检索布料图像的不同空间维度的远程上下文信息的方法包括：将所述待检索布料图像的特征输入到两个水平和竖直的条形池化层，并通过一维卷积操作分别得到一个水平特征张量和一个竖直的特征张量；通过复制得到分别沿着竖直和水平方向的和原图大小一致的特征图；将特征图的特征和一维卷积操作得到的水平和竖直的特征张量对应相乘以构建得到待检索布料图像的不同空间维度的远程上下文信息。3.如权利要求1所述的一种基于多尺度特征融合的布料图像深度哈希检索方法，其特征在于，步骤S2中，所述混合池化模块基于远程上下文信息的基础上结合金字塔池化模型捕获多尺度特征信息的方法包括：通过金字塔池化模型分别采用2*2、3*3和4*4的池化核进行池化；将前两个池...

【专利技术属性】
技术研发人员：饶云波，周望，曾少宁，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：