融合颜色特征和残差网络深度特征的服装图像检索方法技术

本发明专利技术属于图像检索技术领域，公开了一种融合颜色特征和残差网络深度特征的服装图像检索方法，将训练数据集输入到以ResNet50为基础的网络模型中；融合深层特征和颜色特征信息作为图像的全局特征表示；使用K‑Means算法对特征库中的向量进行聚类；将待检索的服装图片输入到与数据集相同的神经网络中，获取待查询服装图片的全局特征向量；依次计算聚类中心的向量与待检索图片向量间的距离，通过距离的比较来进行相似性度量，得到检索结果。实验结果显示，本发明专利技术能结合图片多种特征信息，检索效率高，时间开销小；提取的深层特征具有一定的有效性和层次性；具较强的鲁棒性和实用性，优于其它主流检索方法。

Clothing image retrieval method based on color feature and residual network depth feature

【技术实现步骤摘要】
融合颜色特征和残差网络深度特征的服装图像检索方法
本专利技术属于图像检索
，尤其涉及一种融合颜色特征和残差网络深度特征的服装图像检索方法。
技术介绍
目前，最接近的现有技术：伴随电子商务行业的快速发展，服装行业作为其中的重要一部分，其数据量不断增多，为了处理海量的服装图像数据，一种全新的线上服装搜索模式被用户所使用——“以图搜图”，其核心是图像检索技术。服装图像检索作为服装智能推荐、服装搜索等应用的核心，具有广泛的市场应用前景。服装展现出当代人的一种潮流趋势及品味，大量的语义及细节信息蕴含其中，服装的色彩搭配及款式是其重要的语义信息，纹理和材质等表现其细节信息。然而服装不规则的外形、柔软的材质、可变形性较强以及对光照敏感这些条件，使服装图像检索快速精准地实现成为了一个极具挑战的难题。基于内容的图像检索(Content-basedImageRetrieval,CBIR)是服装图像检索领域研究的主流方法。图像检索的过程可大致分为两类：一是提取数据库图的表示向量，二是将待检索图片的表示向量与库向量中的每个向量进行距离度量，以最近邻方式进行搜索。一张图片表示向量的好坏直接决定了我们图像检索算法的优劣。早期的研究主要是基于颜色、形状、纹理三大视觉特征，将其单一特征或聚合特征作为服装图像的全局表示向量。黄冬梅等首先对待检索图片做了联合分割处理，然后提取出分割后的服装图片的Bundled和颜色特征，最后与特征库中的服装图像特征进行相似性度量。陶彬娇等将分块加权颜色直方图与Grabcut图像分割算法相结合，提升了对复杂背景的服装图片的检索效果，优于分别单独使用这两种方法。葛俊等进行两次检索：首先利用颜色直方图，再使用局部二值模式(LocalBinaryPatterns，LBP)LBP算子对第一次的返回结果进行二次检索。MeghaGupta等获得服装图片的颜色和纹理的特征，然后通过计算向量距离得出检索结果。陈倩等计算颜色直方图的特征值占比，然后将其进行降序排列，去掉占比较小的值，则服装图片的主要颜色被保留并用于图像检索。近几年，随着深度学习的兴起，其在处理计算机视觉任务上有了一系列重大的突破，此方法利用深度神经网络从大量的训练数据集中提取深层特征，发现训练的图片信息中隐藏的表征特征。由于卷积神经网络(ConvolutionaNeuralNetworks，CNN)具备较强的非线性表示能力，能学习到图片更深层次的信息，所以在图像分类、图像分割、目标检测等领域都体现出较好的性能。因此，如今基于卷积神经网络的服装图像检索方法成为了研究的主流方向。早期CNN应用在图像检索方面，主要是提取深度网络的全连接层作为图片的特征向量，林成龙提出了一个更加轻量的深度卷积神经网络模型(Lighten-VGGNet)，采用多任务分类方法对层次化标注后的服装图像数据分类，使得网络在分类时所提取的特征拥有对更多细化服装类别属性的表示能力，从而使服装图像分类准确率得以提升。然而只提取全连接层无法保持空间结构，且该特征更多的是表示全局信息，丢失了服装图片的局部特征信息，导致检索的平均查准率均值(meanaverageprecision，mAP)较低，所以融合多种服装图片特征，成为服装图像检索的热门研究方法。陈媛媛等基于深度卷积神经网络定位服装关键点，将关键点局部区域的特征与全局特征进行融合。J.Huang等[26]提出双路神经网络模型，其方法不仅提取全连接层特征，同时对靠前的卷积特征层下采样，然后结果与全局特征组合在一起。Z.Liu等设计了目前最大的标注服装图像数据库DeepFashion(超过80万张图片，50个细粒度类别和1000个属性)，其将VGG16最后一层卷积分为三个分支，一分支进行特征点可见性预测以及位置回归，另外两个分支分别提取图片的局部特征(有助于应对服饰变形和遮挡问题)和全局特征。RuifanLi等采用多任务深度学习框架来学习表示，提出了用于不平衡学习的多重深度卷积神经网络。陈彦杰利用FasterRCNN的框架首先定位服装的位置,然后利用关键点定位对服装进行特征点(landmark)定位，抽取各特征点附近的服装特征作为局部特征。最后和全局分支的特征进行特征融合作为最终的特征表示。虽然上述方法融合了局部和全局特征都在一定程度上提高了检索的mAP，但是检索出的服装款式相似而颜色差异较大，在服饰上，色彩起到了视觉醒目的作用，对于服装，人们首先看到的是颜色，其次才是其样式、纹理等，所以颜色在服装图片分类检索中有着一个重要属性，是评判检索优劣的重要指标之一，通过深度网络获取的特征涵盖的颜色信息较少，所以亟需一种新的服装图像检索方法。综上所述，现有技术存在的问题是：(1)现有技术只提取全连接层无法保持空间结构，且该特征更多的是表示全局信息，丢失了服装图片的局部特征信息，导致检索的平均查准率均值较低。(2)将残差网络直接应用于服装图像检索时，其检索出的图片常存在款式相似但颜色差异较大的问题。解决上述技术问题的难度：(1)本专利技术采用的深度神经网络是以Resnet50为基础的，该网络结构层较多，若没有足够的数据集来进行网络训练，会出现过拟合的现象，不会达到预期效果。(2)实验的服装颜色特征是在提取的深层网络特征的基础上得到的，所以选择在哪一层提取深层特征作为颜色特征提取的模板尤为重要，这直接关系到后续服装图像检索的效果。(3)在检索时，服装库图片数量较多，为节省检索时间实验采用了K-means聚类算法进行检索，但是类簇数K值如何确定是个难题。解决上述技术问题的意义：(1)服装图片数据集足够多可以防止训练时出现过拟合现象，训练出更好的模型，获取更优的服装深层网络特征。(2)选择合适的深层网络特征，与原图进行比对，获取效果更好的颜色特征向量，提高全局特征的表达效果，同时提高检索的准确率。(3)选取合适类簇数K，对检索时间以及检索的结果都很重要，K值太大检索准确率虽然高一点但是时间过长，若K值太小检索时间虽然缩短但是准确率有所降低，所以选择合适的K值，确保准确率高的情况下检索时间足够短。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种融合颜色特征和残差网络深度特征的服装图像检索方法，包括特征提取和相似性度量两个过程；利用残差网络在图像特征提取上的有效性层次性，融合服装图片的深层网络特征和颜色特征作为最终特征向量，进行相似性度量，得到检索结果。本专利技术是这样实现的，一种融合颜色特征和残差网络深度特征的服装图像检索方法，所述方法包括以下步骤：步骤一，将训练数据集中的图片以224×224大小输入到ResNet50为基础的网络模型中，在提取第一个全连接层的输出向量作为我们实验的深层网络特征。步骤二，获取颜色特征，使用聚合方法融合深层特征和颜色特征信息作为图像的全局特征表示，存建立特征库，将全局特征入特征库中。步骤三，使用K-Means算法对特征库中的向量进行聚类，设置类簇数K＝30，即服装数据集类别数维为30。步骤四，将待检索的服装图片本文档来自技高网...

【技术保护点】
1.一种融合颜色特征和残差网络深度特征的服装图像检索方法，其特征在于，所述融合颜色特征和残差网络深度特征的服装图像检索方法利用残差网络进行图像特征提取，并融合服装图片的深层网络特征和颜色特征作为最终特征向量，进行相似性度量，得到检索结果。/n

【技术特征摘要】
1.一种融合颜色特征和残差网络深度特征的服装图像检索方法，其特征在于，所述融合颜色特征和残差网络深度特征的服装图像检索方法利用残差网络进行图像特征提取，并融合服装图片的深层网络特征和颜色特征作为最终特征向量，进行相似性度量，得到检索结果。


2.如权利要求1所述的融合颜色特征和残差网络深度特征的服装图像检索方法，其特征在于，所述深层网络特征提取的方法包括以下步骤：
1)向深度卷积网络输入一个C×H×W的三维张量，C表示特征的通道数，初始值为3；H和W分别表示输入图片的高和宽的像素大小；
2)图片经过多层卷积操作，每一层卷积的输入为上一层的输出，计算方法为：



式中，表示第l层的第j个运算结果；表示第n层第j个输出特征图所对应的多个输入特征图的索引集合；表示偏置项,其被所有输入特征图共享；表示第l层一个i×j大小的卷积核；ReLU为激活函数，公式为：



3)残差网络采用了平均池化(mean-pooling)对邻域内特征点求平均值，池化操作公式为：



以Resnet50为主网络模型，ResNet50最后的卷积层输出若干个7X7的卷积结果，去掉其最后的两层全连接层，加入两个全连接层：FC1层和FC2层，分别输出512维和30维的特征向量；对网络模型进行微调，使用已有的ResNet50模型及参数来训练全连接层的参数，得到一个拟合服装图片数据集的网络模型，提取FC1层的512维的向量，作为深层网络特征。


3.如权利要求1所述的融合颜色特征和残差网络深度特征的服装图像检索方法，其特征在于，所述服装颜色特征提取的方法包括：
1)网络模型的最后一层卷积层中有2048个7x7卷积，对其进行平均池化后得出7x7的矩阵，直接提取信息较强位置最大的10个值，并记录其位置；
2)将原图的RGB值做平均池化，池化为7x7的矩阵，根据得到的10个值最大的位置，选出图片中相对应的10个RGB值得到3x10维的颜色特征，对矩阵进行标准化处理，z-score标准化公式为：



式中，x表示真实值，μ表示矩阵的平均值，σ表示标准差；
3)将矩阵转...

【专利技术属性】
技术研发人员：何儒汉，侯媛媛，刘军平，彭涛，陈常念，胡欣荣，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：湖北;42