基于深度卷积神经网络的服装属性检索方法技术

本发明专利技术公开了一种基于深度卷积神经网络的服装属性检索方法，包括：采用快速的基于区域的卷积神经网络对输入图像进行人像检测；使用预训练的深度卷积神经网络进行属性特征提取，并保留最后池化层的特征；通过共享层连接最后池化层保留的特征，并融合所有属性的特征信息；建立属性树，将服装属性进行分类，将共享层按照分类进行分支，每个属性分支用于一组相关属性预测；将属性分支的输出串联叠加，进行归一化，通过局部敏感哈希法进行相似度衡量，得出结果。可以将服装属性的特征描述用于部分服装属性检测，可显著提高服装属性预测的准确率。

【技术实现步骤摘要】
基于深度卷积神经网络的服装属性检索方法
本专利技术涉及一种基于卷积神经网络的服装检索方法，具体地涉及一种基于深度卷积神经网络的服装属性检索方法。
技术介绍
随着互联网和服装电子商务的迅速发展，网络购物市场逐年扩大，如何利用检索技术帮助用户快速找到心仪的服装是一个非常重要的任务。然而，服装检测的识别难度很高：其一，衣服形变大，服装本身是柔性很大的物体，人不同的姿势会导致服装的形状不同；其二，在不同的光照情况和复杂的场景下，区分不同服装类型的困难也会增加；此外，衣服的设计包含了大量细节属性，比如领型、版型、颜色、装饰等等，想要区分出它们的难度很大。目前广泛使用的服装检索方法是利用分类器来区分各种服装属性，其成功的关键是首先对于各种类型服装的属性进行特征描述，其次选择合适的分类器来学习训练样本，从而得到模型。一般来说，大部分的基于手工提取特征的方法主要使用边缘梯度直方图(HistogramofOrientedGradient,HOG)和分层梯度方向直方图(PyramidHistogramofOrientedGradients,PHOG)。但是这些方法的瓶颈是手工提取特征只对某一方面敏感。比如，边缘梯度直方图只对梯度敏感。因此，研究人员提出了新的方法，例如：将属性概念引入服装检索、采用细粒度的属性分类。另一方面，卷积神经网络已经进入到服装属性检测领域，相比于手工提取特征的方法，卷积神经网络大大提高了服装检测的性能。为了研究如何在网上商店匹配街头服装照片的实际问题，双重属性感知网络和局部共享卷积神经网络架构也被提出。例如中国专利文献CN106250423公开了一种基于部分参数共享的深度卷积神经网络跨域服装检索方法该方法利用了深度神经网络模型中越高层的网络层的特征越具有语义信息，与训练数据所在域的关系越密切，越低层的网络层的特征越具有一般性，越与训练数据所在域无关，依此让传统的深度卷积神经网络跨域服装检索模型中的低层的网络层参数共享，而高层的网络层参数由各个域保有。使用更少参数但却获得相同效果的方法，通过利用深度神经网络模型内在的特性，显著性减少模型参数数量。但是其并没有改善服装属性预测的准确率。本专利技术因此而来。
技术实现思路
针对上述存在的缺陷，本专利技术的目的是提出了一种基于深度卷积神经网络的服装属性检索方法。利用多任务学习和卷积神经网络结合的服装属性检测模型，同时对于提取的各个服装属性特征构建适当的属性树，可以将服装属性的特征描述用于部分服装属性检测，可显著提高服装属性预测的准确率。本专利技术的技术方案是：一种基于深度卷积神经网络的服装属性检索方法，包括以下步骤：S01：采用快速的基于区域的卷积神经网络对输入图像进行人像检测；S02：使用预训练的深度卷积神经网络进行属性特征提取，并保留最后池化层的特征；S03：通过共享层连接最后池化层保留的特征，并融合所有属性的特征信息；S04：建立属性树，将服装属性进行分类，将共享层按照分类进行分支，每个属性分支用于一组相关属性预测；S05：将属性分支的输出串联叠加，进行归一化，通过局部敏感哈希法进行相似度衡量，得出结果。优选的，所述步骤S01具体包括：使用选择性搜索在输入图像中生成多个感兴趣区域候选框，输入到全卷积的卷积神经网络中，在最后一个卷积层上对每个感兴趣区域求映射关系，并用感兴趣区域池化层统一大小；通过全连接层得到特征向量，特征向量经由各自的全连接层，得到两个输出向量：一个是使用交叉熵损失函数得到的分类，另一个是每一类的边界位置回归。优选的，所述步骤S04中的属性分支包括类别、性别、颜色和图案。优选的，所述步骤S04中属性分支在进行属性预测的前馈过程中，共享层将副本分配给每个属性分支，而在后向传播过程中，共享层积累每个属性分支的梯度。优选的，所述步骤S05中进行归一化后，使用主成份分析法进行降维，具体步骤如下：S11：将原始特征数据按行排列组成矩阵X，并对X进行数据标准化，使其均值变为零；S12：求X的协方差矩阵C，将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵P；S13：通过计算Y＝PX,得到降维后数据Y。优选的，所述步骤S05中通过局部敏感哈希法进行相似度衡量包括离线建立索引和在线查找两个步骤，具体步骤如下：S21：选取满足条件的局部敏感哈希的哈希函数，根据对查找结果的准确率确定哈希表的个数L,每个哈希表内的哈希函数的个数K,以及与哈希函数自身有关的参数；将所有数据经过哈希函数哈希到相应的桶内，构成了一个或多个哈希表；S22：将查找数据经过哈希函数哈希得到相应的桶号，将桶号中对应的前2L个数据取出，最后计算查询数据与这2L个数据之间的相似度或距离，返回最近邻的数据。与现有技术相比，本专利技术的优点是：将多任务学习和卷积神经网络结合作为服装属性检测模型，同时对于提取的各个服装属性特征构建适当的属性树。本专利技术可以将服装属性的特征描述用于部分服装属性检测。此方法可显著提高服装属性预测的准确率。附图说明下面结合附图及实施例对本专利技术作进一步描述：图1为本专利技术基于深度卷积神经网络的服装属性检索方法的流程图；图2为服装属性相关特征提取及构造属性树；图3为服装检索示例；图4是一个基于不同属性分支的服装检索的对比示例。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。如图1所示，本专利技术基于深度卷积神经网络的服装属性检索方法，包括以下步骤：第一步：采用快速的基于区域的卷积神经网络(FastRegion-basedConvolutionalNetwork,FastRCNN)作为目标检测器，从复杂的背景图片中检测人像。目标检测具体步骤如下：1、使用选择性搜索(SelectiveSearch)在一张图片中生成约2000个候选框(可能会包含人像的矩形区域)，即感兴趣区域(RegionofInterest,RoI)。2、把它们整体输入到全卷积的网络中，在最后一个卷积层上对每个感兴趣区域求映射关系，并用一个感兴趣区域池化层来统一到相同的大小。3、继续经过两个全连接层(FullyConnectedLayers,FC)得到特征向量。特征向量经由各自的全连接层，得到两个输出向量：第一个是分类，使用交叉熵损失函数，第二个是每一类的精确边界位置回归。整个过程是一个实时的目标检测框架，使用多任务损失的端到端训练，大幅提升了目标检测的速度。第二步：基于第一步的目标检测结果，结合卷积神经网络(ResNet50及ResNet152,网络结构见表1)和多任务学习来预测服装属性,并提取属性相关的特征。为了更好的描述服装属性之间的关系，同时提高服装属性的分类效果，鉴于属性相关的先验知识，我们建立了属性树。在属性树中，服装属性被分为四类：类别，性别，颜色和图案。表1ResNet50及ResNet152网络结构如图2所示，具体过程如下：1、基于第一步中从复杂的背景图片中检测到的人像，使用预训练的卷积神经网络(ResNet50及ResNet152)进行特征提取，并本文档来自技高网...

【技术保护点】
一种基于深度卷积神经网络的服装属性检索方法，其特点在于，包括以下步骤：S01：采用快速的基于区域的卷积神经网络对输入图像进行人像检测；S02：使用预训练的深度卷积神经网络进行属性特征提取，并保留最后池化层的特征；S03：通过共享层连接最后池化层保留的特征，并融合所有属性的特征信息；S04：建立属性树，将服装属性进行分类，将共享层按照分类进行分支，每个属性分支用于一组相关属性预测；S05：将属性分支的输出串联叠加，进行归一化，通过局部敏感哈希法进行相似度衡量，得出结果。

【技术特征摘要】
1.一种基于深度卷积神经网络的服装属性检索方法，其特点在于，包括以下步骤：S01：采用快速的基于区域的卷积神经网络对输入图像进行人像检测；S02：使用预训练的深度卷积神经网络进行属性特征提取，并保留最后池化层的特征；S03：通过共享层连接最后池化层保留的特征，并融合所有属性的特征信息；S04：建立属性树，将服装属性进行分类，将共享层按照分类进行分支，每个属性分支用于一组相关属性预测；S05：将属性分支的输出串联叠加，进行归一化，通过局部敏感哈希法进行相似度衡量，得出结果。2.根据权利要求1所述的基于深度卷积神经网络的服装属性检索方法，其特征在于，所述步骤S01具体包括：使用选择性搜索在输入图像中生成多个感兴趣区域候选框，输入到全卷积的卷积神经网络中，在最后一个卷积层上对每个感兴趣区域求映射关系，并用感兴趣区域池化层统一大小；通过全连接层得到特征向量，特征向量经由各自的全连接层，得到两个输出向量：一个是使用交叉熵损失函数得到的分类，另一个是每一类的边界位置回归。3.根据权利要求1所述的基于深度卷积神经网络的服装属性检索方法，其特征在于，所述步骤S04中的属性分支包括类别、性别、颜色和图案。4.根据权利要求3所述的基于深度卷积神经网络的服装属性检索方法，其特征在于，所...

【专利技术属性】
技术研发人员：张百灵，夏翌彰，武芳宇，吕文进，
申请(专利权)人：西交利物浦大学，
类型：发明
国别省市：江苏,32