基于膨胀卷积残差网络的服装图像检索系统及方法技术方案

本发明专利技术涉及一种基于膨胀卷积残差网络的服装图像检索系统及方法，传统的特征提取方法不能有效地提取深层的语义特征，本发明专利技术提出了基于膨胀卷积残差网络模型的服装图像特征提取方法，该网络模型融合膨胀卷积较大感受野的优势以及残差网络提取深层语义特征的优势。实验充分证明，DCRN模型提升了特征提取的准确度和鲁棒性。本发明专利技术还提出了混合距离度量算法(MD)，该方法融合了余弦距离和马氏距离。余弦距离擅长稳定地距离计算，同时马氏距离的度量学习在不同类型样本中拥有很强的泛化能力。因此，本发明专利技术所提出的MD能利用余弦距离和马氏距离度量学习的互补优势来稳定、高效地对特征向量进行排序，进而得到较准确的检索结果。

【技术实现步骤摘要】
基于膨胀卷积残差网络的服装图像检索系统及方法
本专利技术涉及图像检索领域，具体涉及一种基于膨胀卷积残差网络的服装图像检索系统及方法。
技术介绍
服装检索系统中，服装的特征抽取是非常重要的一环，特征提取的准确度影响到服装检索的最终结果。在传统的特征提取中，吴传彬等人使用方向梯度的直方图(HOG)提取了服装图像的边缘特征，但该方法对服装的形状等其他浅层信息考虑不足。Weng等人在颜色特征中加入位置信息形成颜色矩。然后，通过级联颜色矩得到级联颜色矩特征，该算法改善了传统颜色矩算法精度低的问题，但是，运算效率低。近年来还有其他传统特征提取方法，例如，Gabor变换域积分直方图、改进型局部二值算法，但是，特征提取的性能都没有本质性改变。在传统的特征提取发展的同时，基于深度神经网络(DNN)的特征提取方法也取得了丰硕的成果。而其中的卷积神经网络(CNN)是一种高效的深度学习框架。在众多的特征提取应用中，CNN都取得了很好的效果。Hinton等人的开创性工作之后，基于CNN的方法开始逐渐占据主导地位。王振等人利用可变卷积实现服装特征提取，该方法的优势在于精度高，但其泛化能力较差。王志伟等人通过YOLOv3模型提取服装的全局、主体和部件的特征，然后，通过稠密网络叠加这三种服装特征，有效提高了特征提取准确度，但也大幅度地增加了时间消耗。Schuster等人利用膨胀卷积获取较大的接收野，然后通过叠加卷积融合多层次的图像特征，该方法有效地提升了特征提取的准确率，但在网络深度上还有待提高。
技术实现思路
本专利技术要解决的技术问题是针对以上不足，提供一种基于膨胀卷积残差网络的服装图像检索系统及方法。为解决以上技术问题，本专利技术采用以下技术方案：基于膨胀卷积残差网络的服装图像检索方法，包括以下步骤：步骤1、对待检索的服装图像进行预处理，得到预处理后的服装图像；步骤2、通过Stem模块提取预处理后的服装图像的服装细节信息；步骤3、将步骤2得到的服装细节信息通过膨胀卷积残差网络模块进行处理得到相应的深层次语义特征；步骤4、对上步所获得的深层次语义特征经过二值检索向量模块生成高维向量；步骤5、采用主成分分析(PrincipalComponentAnalysis，PCA)算法将上一步得到的高维向量进行降维，得到待检索的服装图像的特征向量x，通过混合距离度量算法分别计算特征向量x与图像数据库中各个图像的特征向量的空间距离，利用空间距离计算图像数据库中所有图像与待检索的服装图像的相似性，并进行相似性排序；步骤6、按顺序输出图像数据库中相似度排序靠前的前k个图像结果。进一步的，Stem模块用于提取服装的边缘、转角和颜色信息，Stem模块包括7个串联的卷积层、第8层卷积组和第9层叠加层，第1层卷积到第7层池化层是多个小尺寸的卷积层串联,第8层卷积组用于并行提取多个感受野，第8层卷积组包括四个水平层，其中第1水平层采用最大池化层进行特征融合，第2、3和4水平层用于分别提取尺寸由小到大的感受野的特征图，第3水平层中，采用1*5的非对称卷积层和5*1的非对称卷积层。进一步的，所述膨胀卷积残差网络模块包括4个串联的膨胀卷积残差网络单层。进一步的，所述膨胀卷积残差网络单层中包括跳线结构，且都使用padding＝same模式。进一步的，所述二值检索向量模块包括顺次串联的最大池化层、全局平均池化层和全连接层。基于膨胀卷积残差网络的服装图像检索方法，所述混合距离度量算法包括以下步骤：步骤1、对于图像数据库的图像信息建立优化函数，计算出能够反映样本空间特性的度量矩阵M；步骤2、计算向量x和向量y之间的余弦距离计算特征向量x和图像数据库中一个图像的特征向量y之间的马氏距离步骤3、根据公式dist(x,y)＝distC(x,y)+distM(x,y)计算得到向量x和特征向量y之间的空间距离。进一步的，利用triple损失函数对度量矩阵M进行反向传播优化。进一步的，步骤5中利用高维近似近邻搜索的随机算法计算图像数据库中所有图像与待检索的服装图像的相似性。基于膨胀卷积残差网络的服装图像检索系统，包括预处理模块、Stem模块、膨胀卷积残差网络模块、二值检索向量模块、混合距离度量算法计算模块和高维近似近邻搜索的随机算法计算模块；预处理模块用于对待检索的服装图像进行预处理，得到预处理后的服装图像；Stem模块用于提取预处理后的服装图像的服装细节信息；膨胀卷积残差网络模块用于对得到的服装细节信息通过进行处理得到相应的深层次语义特征；二值检索向量模块用于利用上步所获得的深层次语义特征生成高维向量；混合距离度量算法计算模块用于采用主成分分析算法将高维向量进行降维，得到待检索的服装图像的特征向量x，通过混合距离度量算法分别计算特征向量x与图像数据库中各个图像的特征向量的空间距离；高维近似近邻搜索的随机算法计算模块用于利用空间距离计算图像数据库中所有图像与待检索的服装图像的相似性，并进行相似性排序，并按顺序输出图像数据库中相似度排序靠前的前k个图像结果。本专利技术的有益效果为：1、传统的特征提取方法不能有效地提取深层的语义特征，本专利技术提出了基于膨胀卷积残差网络(DilatedConvolutionalResidualNetworks，DCRN)模型的服装图像特征提取方法，该网络融合膨胀卷积较大感受野的优势以及残差网络提取深层语义特征的优势。实验充分证明，DCRN模型提升了特征提取的准确度和鲁棒性。2、在样本的种类改变时，传统的距离函数，例如余弦距离和欧式距离，需要重新训练参数。马氏距离的计算效率低,在计算过程中，由于协方差矩阵可能不存在，马氏距离的度量学习存在一定的局限性。本专利技术提出混合距离度量算法(MD)。余弦距离擅长稳定地距离计算，同时马氏距离的度量学习在不同类型样本中拥有很强的泛化能力。因此，本专利技术所提出的MD能利用余弦距离和马氏距离度量学习的互补优势来稳定、高效地对特征向量进行排序。附图说明图1为本专利技术的方法流程示意图；图2为Stem模块结构图；图3为膨胀卷积残差网络(DCRN)模块结构图；图4为膨胀卷积残差网络(DCRN)单层结构图；图5为二值检索向量模块结构图；图6为本专利技术DCRN+MD的Top-5检索效果图；图7为不同特征提取模块top-k准确率的对比图；图8为不同排序模块top-k准确率的对比图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，本专利技术的方法包括以下步骤：步骤1、输入一张待检索的服装图像，对其进行预处理，包括:图像降噪，切割和增广处理；步骤2、通过Stem模块提取服装细节信息，例如服装的纹理、颜色等底层信息；步骤3、将这些细节信息通过膨胀卷积残差网络模块(DCRN)得到相应本文档来自技高网...

【技术保护点】
1.基于膨胀卷积残差网络的服装图像检索方法，其特征在于，包括以下步骤：/n步骤1、对待检索的服装图像进行预处理，得到预处理后的服装图像；/n步骤2、通过Stem模块提取预处理后的服装图像的服装细节信息；/n步骤3、将步骤2得到的服装细节信息通过膨胀卷积残差网络模块进行处理得到相应的深层语义特征；/n步骤4、对上步所获得的深层次语义特征经过二值检索向量模块生成高维向量；/n步骤5、采用主成分分析算法将上一步得到的高维向量进行降维，得到待检索的服装图像的特征向量x，通过混合距离度量算法分别计算特征向量x与图像数据库中各个图像的特征向量的空间距离，利用空间距离计算图像数据库中所有图像与待检索的服装图像的相似性，并进行相似性排序；/n步骤6、按相似度由小到大的顺序输出图像数据库中前k个图像结果。/n

【技术特征摘要】
1.基于膨胀卷积残差网络的服装图像检索方法，其特征在于，包括以下步骤：
步骤1、对待检索的服装图像进行预处理，得到预处理后的服装图像；
步骤2、通过Stem模块提取预处理后的服装图像的服装细节信息；
步骤3、将步骤2得到的服装细节信息通过膨胀卷积残差网络模块进行处理得到相应的深层语义特征；
步骤4、对上步所获得的深层次语义特征经过二值检索向量模块生成高维向量；
步骤5、采用主成分分析算法将上一步得到的高维向量进行降维，得到待检索的服装图像的特征向量x，通过混合距离度量算法分别计算特征向量x与图像数据库中各个图像的特征向量的空间距离，利用空间距离计算图像数据库中所有图像与待检索的服装图像的相似性，并进行相似性排序；
步骤6、按相似度由小到大的顺序输出图像数据库中前k个图像结果。


2.根据权利要求1所述的基于膨胀卷积残差网络的服装图像检索方法，其特征在于，Stem模块用于提取服装的边缘、转角和颜色信息，Stem模块包括7个串联的卷积层、第8层卷积组和第9层叠加层，第1层卷积到第7层池化层是多个小尺寸的卷积层串联,第8层卷积组用于并行提取多个感受野，第8层卷积组包括四个水平层，其中第1水平层采用最大池化层进行特征融合，第2、3和4水平层用于分别提取尺寸由小到大的感受野的特征图，第3水平层中，采用1*5的非对称卷积层和5*1的非对称卷积层。


3.根据权利要求2所述的基于膨胀卷积残差网络的服装图像检索方法，其特征在于，所述膨胀卷积残差网络模块包括4个串联的膨胀卷积残差网络单层。


4.根据权利要求3所述的基于膨胀卷积残差网络的服装图像检索方法，其特征在于，所述膨胀卷积残差网络单层中包括跳线结构，且都使用padding＝same模式。


5.根据权利要求1所述的基于膨胀卷积残差网络的服装图像检索方法，其特征在于，所述二值检索向量模块包括顺次串联的最大池化层、全局...

【专利技术属性】
技术研发人员：陈佳，张毅，胡新荣，何儒汉，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：湖北;42