一种基于深度哈希的多标签印花图像检索方法技术

本发明专利技术公开了一种基于深度哈希的多标签印花图像检索方法，包括如下步骤：步骤1、采集整理各式样的印花图像，从多个角度对印花图像进行标注，建立多标签印花图像数据集；步骤2、利用图像处理的方法对数据进行增强；步骤3、印花图像数据集按照一定比例拆分为训练集和查询集；步骤4、构建基于深度哈希的多标签印花图像检索网络模型；步骤5、使用印花图像训练集对模型进行训练，然后通过训练好的模型对印花数据集提取特征，构建印花图像的哈希表示，并构建图像哈希数据库；步骤6、使用印花图像查询集在训练好的模型上进行检索，评估该模型的检索精度及泛化能力。本发明专利技术极大的提高了印花图像检索的精度和速度。检索的精度和速度。检索的精度和速度。

【技术实现步骤摘要】
一种基于深度哈希的多标签印花图像检索方法


[0001]本专利技术涉及印花图像检索
，尤其是一种基于深度哈希的多标签印花图像检索方法。

技术介绍

[0002]印花图像的分析在商业应用和工业生产上具有巨大潜力。单一家地方性纺织企业一年便能够设计出10万张印花图像，与日俱增的印花样式图造成了本地图库的堆积，相应的带来了通用图像检索的常规价值与挑战，而目前针对印花图像的检索方法基本没有。
[0003]在图像检索领域中，大致分为基于文本的图像检索和基于内容的图像检索。基于文本的图像检索是利用图像的附属信息如标题、描述、关键字等进行查找匹配。但是这种方式因为其忽视了印花图像本身所蕴含的视觉内容以及过分依赖于标注的内容而并不适应于当前的大规模的图像检索工作。对于基于内容的图像检索方法，目前主要依赖于深度学习方法，利用卷积神经网络的卷积、池化、非线性这种分层结构来提取图像的语义特征，将提取的语义特征计算成紧凑向量表示，并采用欧几里得距离或者近似最近邻搜索算法进行检索。
[0004]对于印花图像而言，简单使用卷积神经网络提取语义特征通过欧几里得距离或者近似最近邻搜索算法进行检索的方法检索精度及检索速度都无法满足当前企业印花图像检索的需求。

技术实现思路

[0005]本专利技术所要解决的技术问题在于，提供一种基于深度哈希的多标签印花图像检索方法，极大的提高了印花图像检索的精度和速度。
[0006]为解决上述技术问题，本专利技术提供一种基于深度哈希的多标签印花图像检索方法，包括如下步骤：/>[0007]步骤1、采集整理各式样的印花图像，从多个角度对印花图像进行标注，建立多标签印花图像数据集；
[0008]步骤2、利用翻转、图像剪切、色彩变换、对比度变换图像处理的方法对数据进行增强；
[0009]步骤3、印花图像数据集按照一定比例拆分为训练集和查询集；
[0010]步骤4、构建基于深度哈希的多标签印花图像检索网络模型；
[0011]步骤5、使用印花图像训练集对模型进行训练，然后通过训练好的模型对印花数据集提取特征，构建印花图像的哈希表示，并构建图像哈希数据库；
[0012]步骤6、使用印花图像查询集在训练好的模型上进行检索，评估该模型的检索精度及泛化能力。
[0013]优选的，步骤4中，构建基于深度哈希的多标签印花图像检索网络模型具体包括如下步骤：
[0014]步骤41、载入卷积神经网络为骨干网络，用于提取图像的特征；
[0015]步骤42、在骨干网络后添加语义注意力网络，利用软注意力映射从深层网络的高层中获取基于特定标签特征激活的区域；
[0016]步骤43、添加图卷积神经网络，为每个印花图像标签学习相互依赖的特征；
[0017]步骤44、添加监督哈希网络，将深度网络提取的高维特征向量降维为一串短比特码，增强检索的实时性。
[0018]优选的，步骤41中，加载卷积神经网络ResNet
‑
50为主干网络，加载在ImageNet数据集预训练后的权重，去除最后的全连接层，保留其余层；使用骨干网络的“res4b6relu”层的视觉特征图作为该模型后续两个子网络的输入视觉特征，输入大小为3
×
224
×
224，骨干网络的输出大小为14
×
14
×
1024。
[0019]优选的，步骤42中，在骨干网络后添加语义注意力网络，利用软注意力映射从深层网络的高层中获取基于特定标签特征激活的区域；注意力网络包括三层可学习的卷积层，卷积核大小分别为1
×1×
512，3
×3×
512，1
×1×
C，C为数据库中所有的标签种类数量，三个卷积层均使用ReLU为激活函数；特征映射图X∈R
14
×
14
×
1024
的通道维度经历三次卷积后分别减少为512
→
512
→
C，卷积后得到非标准化的注意力值映射图A'∈R
H
×
W
×
C
，其中，H＝14，W＝14，每个通道的映射图A'
k
∈R
H
×
W
对应一个标签，即1≤k≤C；接着对标签k对应的注意力值的映射图使用softmax函数进行标准化，得到最终的视觉注意力映射图A∈R
H
×
W
×
C
，其中，H＝14，W＝14；利用每个标签的注意图对骨干网络阶段输出的特征映射X进行加权和，生成标签表示V
k
∈R
1024
，其中1≤k≤C；该语义注意力网络利用软注意力映射得到C个标签表示V＝[V1,V2,...,V
C
]∈R
C
×
1024
，每个特征表示能够选择性的聚合关于特定标签的相关特征；对每个标签特征向量V
k
，使用一个线性的全连接层来评估标签k的置信分数；最终得到输入图像对于所有标签的置信度利用图像的真实标签y＝[y1,y2,...,y
C
]与y
att
之间的交叉熵损失来学习注意力图的评估参数。
[0020]优选的，步骤43中，添加图卷积神经网络，为每个印花图像标签学习相互依赖的特征；利用语义注意力网络得到的内容感知标签表示V，通过图卷积神经网络的训练学习方式来变换这些标签表示在多标签图像检索任务中的相关性；图卷积神经网络将内容感知的标签表示V作为输入节点特征，用非负值相关性矩阵M∈R
C
×
C
表示标签关系，然后对M对称化得到M'，利用M'与可学习转换矩阵W对标签表示V进行更新，利用图卷积网络重复叠加后得到V
→
Z∈R
C
×
D
的特征表示，最后使用一个线性全连接层得到图片的嵌入表示E∈R
2048
；图卷积神经网络利用排序损失函数triplet loss作为损失值对图卷积神经网络进行更新，其涉及三元样本之间的关系，给负样本嵌入和正样本嵌入提供了一种以锚点样本为核心的并发排序。
[0021]优选的，步骤44中，添加监督哈希网络，将深度网络提取的高维特征向量降维为一串短比特码，增强检索的实时性；在图卷积神经网络最后的一层嵌入层后加上一层新的q个隐藏节点的全连接哈希层，这一层哈希层将印花图像的深度表征转换为低维度的哈希编码表示，然后使用激活函数，让输出控制在(
‑
1,1)的区间内，更方便地实现哈希编码；引入成对损失，保证学习到的哈希码能保留一对图像间精细复杂的相似性信息，引入新的三元组度量损失来学习样本之间的排序关系，最后使用一个量化损失来控制映射哈希的质量。
[0022]优选的，步骤5中，使用印花图像训练集对模型进行训练，然后通过训练好的模型
对印花数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度哈希的多标签印花图像检索方法，其特征在于，包括如下步骤：步骤1、采集整理各式样的印花图像，从多个角度对印花图像进行标注，建立多标签印花图像数据集；步骤2、利用翻转、图像剪切、色彩变换、对比度变换图像处理的方法对数据进行增强；步骤3、印花图像数据集按照一定比例拆分为训练集和查询集；步骤4、构建基于深度哈希的多标签印花图像检索网络模型；步骤5、使用印花图像训练集对模型进行训练，然后通过训练好的模型对印花数据集提取特征，构建印花图像的哈希表示，并构建图像哈希数据库；步骤6、使用印花图像查询集在训练好的模型上进行检索，评估该模型的检索精度及泛化能力。2.如权利要求1所述的基于深度哈希的多标签印花图像检索方法，其特征在于，步骤4中，构建基于深度哈希的多标签印花图像检索网络模型具体包括如下步骤：步骤41、载入卷积神经网络为骨干网络，用于提取图像的特征；步骤42、在骨干网络后添加语义注意力网络，利用软注意力映射从深层网络的高层中获取基于特定标签特征激活的区域；步骤43、添加图卷积神经网络，为每个印花图像标签学习相互依赖的特征；步骤44、添加监督哈希网络，将深度网络提取的高维特征向量降维为一串短比特码，增强检索的实时性。3.如权利要求1所述的基于深度哈希的多标签印花图像检索方法，其特征在于，步骤41中，加载卷积神经网络ResNet
‑
50为主干网络，加载在ImageNet数据集预训练后的权重，去除最后的全连接层，保留其余层；使用骨干网络的“res4b6relu”层的视觉特征图作为该模型后续两个子网络的输入视觉特征，输入大小为3
×
224
×
224，骨干网络的输出大小为14
×
14
×
1024。4.如权利要求1所述的基于深度哈希的多标签印花图像检索方法，其特征在于，步骤42中，在骨干网络后添加语义注意力网络，利用软注意力映射从深层网络的高层中获取基于特定标签特征激活的区域；注意力网络包括三层可学习的卷积层，卷积核大小分别为1
×1×
512，3
×3×
512，1
×1×
C，C为数据库中所有的标签种类数量，三个卷积层均使用ReLU为激活函数；特征映射图X∈R
14
×
14
×
1024
的通道维度经历三次卷积后分别减少为512
→
512
→
C，卷积后得到非标准化的注意力值映射图A'∈R
H
×
W
×
C
，其中，H＝14，W＝14，每个通道的映射图A'
k
∈R
H
×
W
对应一个标签，即1≤k≤C；接着对标签k对应的注意力值的映射图使用softmax函数进行标准化，得到最终的视觉注意力映射图A∈R
H
×
W
×
C
，其中，H＝14，W＝1...

【专利技术属性】
技术研发人员：李莹，高家全，管春明，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：