一种基于深度学习的服装图像搜索方法技术

本发明专利技术公开了一种基于深度学习的服装图像搜索方法，通过深度学习算法对图像进行分析建立图像特征矢量描述；当用户输入查询图像时，用相同的特征提取方法提取查询图像的特征得到查询向量，计算查询向量与图像特征库中各个图像特征的相似性大小，按相似性大小进行排序。本发明专利技术结合卷积神经网络和全新的图像相似度特征计算方法，是对现有图像搜索方法在服装图像领域的全面升级；在服装类型识别时将服装图像分割为多个部分，模型会对服装的整体和细节进行有效学习，最终的融合步骤可有效提高模型的识别性能；在搜索过程中对深度卷积神经网络xeption增加多分支结构，不同的分支结构表达服装的不同外观属性，从而有针对性的提取相似度特征，提升搜索效果。

【技术实现步骤摘要】
一种基于深度学习的服装图像搜索方法
本专利技术涉及图像智能处理领域，特别涉及一种基于深度学习的服装图像搜索方法。
技术介绍
互联网时代随着淘宝、微信、Facebook、Instagram等网站和APP的流行，图像、视频等非结构化数据每天都在以惊人的速度爆炸式增长。针对这些包含丰富视觉信息的海量图片，如何从浩瀚的图像库中方便、快速、准确地查询并搜索到用户所需的或感兴趣的图像，是多媒体信息搜索领域研究的难题，图像搜索和图像推荐是解决这一难题的关键技术。基于文本的图像搜索是目前图像搜索引擎采用最多的方法。但是这种基于文本描述的方式有明显的缺陷：首先，它需要人工标注或外部信息标记，而人工标注和外部信息未必准确；其次，”一图胜千言”，对于需要精确的查询，用户有时很难用简短的关键字来描述出自己真正想要获取的图像。由于图像本身能够给人“所见即所得”的感受，目前用户表达查询意图的方式由原来的基于文字改变为图像。本专利技术即提供了一种基于图像内容的搜索方式。深度学习特征向量的发展使得图像的特征描述能力提高，图像相似搜索成为可能。此外，本专利技术面向服装图像这一垂直领域，其技术背景是由我国服装行业信息化发展的方向和趋势所决定的。在服装商品维度的信息化和数据化发展，由于近十年淘宝、京东等电商平台的大力发展，已经形成完整和充分的生态链。然而在服装商品成品前的阶段，信息化水平仍然不够充分。在服装设计环节，大量依靠非信息化手段进行管理，尤其数据孤岛情况严重，数据不能互通互联。服装图像作为服装设计行业的重要载体，服装设计师在日常工作中需要调阅海量的服装图像，以确保设计兼顾新颖性和实用性。因此服装行业亟需针对性的服装图像搜索系统，以提升该行业的生产效率。目前的通用图像搜索技术，无法针对服装图像特有的分类逻辑和视觉特征进行优化，导致相似搜索结果无法达到用户预期。
技术实现思路
本专利技术的目的在于克服上述现有技术的不足，提供一种基于深度学习的服装图像搜索方法，旨在解决现有技术中基于文字的图像搜索方法无法准确表达查询意图，以及基于内容的通用图像搜索方法无法有效计算图像相似性，导致查询效率低的技术问题。本专利技术是一种基于内容的图像搜索技术，通过深度学习算法对图像进行分析，建立图像特征矢量描述并存入图像特征库。当用户输入一张查询图像时，用相同的特征提取方法提取查询图像的特征得到查询向量，然后计算查询向量与图像特征库中各个图像特征的相似性大小，最后按相似性大小进行排序并顺序输出对应的图片。实现的具体步骤如下：1)利用已有服装图像库，训练服装检测与识别模型，识别服装图像中的服装类型，具体如下：把一张服装图像分割为多个部分，每个部分送入到不同的深度神经网络中进行特征向量的提取及识别训练，把各个部分的特征向量融合后再次进行识别训练，将多个神经网络的损失函数进行平均后，可得最终识别所使用的损失函数。2)提取已有服装图像库中服装图像的相似度特征，建立相似度特征库，具体如下：取服装图像库中任一张图像，通过crop截取操作和flip翻转操作，获取一组相关图像；对该组图像一一采用深度神经网络进行相似度特征提取，对所得所有相似度特征向量求平均值，结果即为该图像所对应的相似度特征向量；所述深度神经网络在xeption基础结构上增加多分支结构，不同分支结构对应服装的不同外观属性，从而有针对性的提取服装各个外观属性的特有特征。3)用户输入服装图像，并框选服装在图像中的所在区域，获得查询区域。4)将用户输入的服装图像输入步骤1)训练好的服装检测与识别模型，获得服装类型信息，并根据服装类型信息从服装图像库中筛选出待匹配图像集合。5)对用户输入的服装图像的查询区域进行相似度特征提取，得到查询区域对应的相似度特征向量。6)将步骤5)所得查询区域对应的相似度特征与步骤4)所得待匹配图像集合中的每一图像的相似度特征一一进行相似度匹配的计算，返回图像库中相似度超过阈值的图像。7)根据相似度和图像质量指标，将相似度符合要求的图像集合进行重新排序，作为最终结果呈现给用户。进一步地，所述步骤1)中，将服装图像分割为上下两个部分和一个整体部分，得到三张待处理服装图像；将三张图像分别送入神经网络进行特征向量的提取及识别；对整体部分而言，采用两组特征向量，分别进行训练：一组是全连接层平整化后的维数为2048的向量，另一组是维数为1024的向量，两组向量分别计算损失函数HingeLoss，两个损失函数的平均数即为整体部分的损失函数；图像上下两个部分的特征向量，全连接层平整化后的维数为512的向量，分别通过损失函数HingeLoss进行识别训练；将整体部分的两组特征向量和上下两个部分的特征向量进行融合，得到维数为4096的向量，再通过损失函数HingeLoss进行识别训练。进一步地，所述步骤2)中，一张服装图像首先采用xeption网络计算通用图像相似度特征；然后在xeption网络增加三个分支结构，分别用于提取服装领型、袖型、版型这三种不同外观属性的相似度特征，进一步提取表达服装特性的特征向量；特征提取结束后，不同相似度特征之间两两组合，并送入损失函数进行训练；所述损失函数采用triplet_loss和AM_loss的结合。进一步地，所述步骤3)具体为：获取用户输入的用于查询的服装图像，当用户点击搜索功能时，由用户上传本地的服装图像或者由用户提供图像的网络链接；获得图像后，由前端界面提供用户交互功能，帮助用户框选待查询的服装区域。进一步地，所述步骤6)具体为：取查询区域对应的相似度特征F和待匹配图像集合中的第i个图像所对应的相似度特征Fi，计算F与Fi的相似度Si，公式如下：当Si≥σ，说明第i个图像与查询图像的相似度高，将被作为查询结果返回；服装图像库中所有符合Si≥σ的图像，组成了查询结果集合，σ为相似度阈值。进一步地，所述步骤7)具体为：对步骤6)所得查询结果集合中服装图像对应的图像质量指标进行计算；最终，查询结果集合中的服装图像由图像质量指标Ti和相似度Si共同评价，公式为：根据Ri值，对查询结果集合中的服装图像进行排序，按照排序的结果展示查询结果集合中的服装图像。进一步地，所述步骤7)中图像质量指标Ti由图像的色彩、图像的清晰度组成。与现有技术相比，本专利技术的有益效果在于：1、现有的图像搜索方法中，尚未存在针对服装图像的卷积神经网络改造与优化。本专利技术结合了现有图像搜索技术中的卷积神经网络和全新的特征计算方法，是对现有图像搜索方法在服装图像领域的全面升级。2、本专利技术在服装分类标签识别时将服装图像分割为多个部分，可以有效学习到服装的不同特征，模型会对服装的整体和细节进行有效学习；最终的融合步骤，可以有效提高模型性能。3、在搜索过程中对深度卷积神经网络xeption增加了多分支结构，不同的分支结构对应服装的不同部分，可以有针对性的提取服装各个部分的特有特征。附图说明图1为图像服装检测与识别示意图；图2为服装图像特征向量提取示意图；图3为根据用户所给定服装图像，提供相似的服装图像示意图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步详细说明。本专利技术提供的一种基于深度学习的服装图像搜索方法，该方法包括以下步骤：1)利用已有服装图像库，训练服装检测与识别模型，识别服装图像中的服装类型；2)提取已有服本文档来自技高网...

【技术保护点】
1.一种基于深度学习的服装图像搜索方法，其特征在于，该方法包括以下步骤：1)利用已有服装图像库，训练服装识别模型，识别服装图像中的服装类型，具体如下：把一张服装图像分割为多个部分，每个部分送入到不同的深度神经网络中进行特征向量的提取及识别训练，把各个部分的特征向量融合后再次进行识别训练，将多个神经网络的损失函数进行平均后，可得最终识别所使用的损失函数。2)提取已有服装图像库中服装图像的相似度特征，建立相似度特征库，具体如下：取服装图像库中任一张图像，通过crop截取操作和flip翻转操作，获取一组相关图像；对该组图像一一采用深度神经网络进行相似度特征提取，对所得所有相似度特征向量求平均值，结果即为该图像所对应的相似度特征向量；所述深度神经网络在xeption基础结构上增加多分支结构，不同分支结构对应服装的不同外观属性，从而有针对性的提取服装各个外观属性的特有特征。3)用户输入服装图像，并框选服装在图像中的所在区域，获得查询区域。4)将用户输入的服装图像输入步骤1)训练好的服装检测与识别模型，获得服装类型信息，并根据服装类型信息从服装图像库中筛选出待匹配图像集合。5)对用户输入的服装图像的查询区域进行相似度特征提取，得到查询区域对应的相似度特征向量。6)将步骤5)所得查询区域对应的相似度特征与步骤4)所得待匹配图像集合中的每一图像的相似度特征一一进行相似度匹配的计算，返回图像库中相似度超过阈值的图像。7)根据相似度和图像质量指标，将相似度符合要求的图像集合进行重新排序，作为最终结果呈现给用户。...

【技术特征摘要】
1.一种基于深度学习的服装图像搜索方法，其特征在于，该方法包括以下步骤：1)利用已有服装图像库，训练服装识别模型，识别服装图像中的服装类型，具体如下：把一张服装图像分割为多个部分，每个部分送入到不同的深度神经网络中进行特征向量的提取及识别训练，把各个部分的特征向量融合后再次进行识别训练，将多个神经网络的损失函数进行平均后，可得最终识别所使用的损失函数。2)提取已有服装图像库中服装图像的相似度特征，建立相似度特征库，具体如下：取服装图像库中任一张图像，通过crop截取操作和flip翻转操作，获取一组相关图像；对该组图像一一采用深度神经网络进行相似度特征提取，对所得所有相似度特征向量求平均值，结果即为该图像所对应的相似度特征向量；所述深度神经网络在xeption基础结构上增加多分支结构，不同分支结构对应服装的不同外观属性，从而有针对性的提取服装各个外观属性的特有特征。3)用户输入服装图像，并框选服装在图像中的所在区域，获得查询区域。4)将用户输入的服装图像输入步骤1)训练好的服装检测与识别模型，获得服装类型信息，并根据服装类型信息从服装图像库中筛选出待匹配图像集合。5)对用户输入的服装图像的查询区域进行相似度特征提取，得到查询区域对应的相似度特征向量。6)将步骤5)所得查询区域对应的相似度特征与步骤4)所得待匹配图像集合中的每一图像的相似度特征一一进行相似度匹配的计算，返回图像库中相似度超过阈值的图像。7)根据相似度和图像质量指标，将相似度符合要求的图像集合进行重新排序，作为最终结果呈现给用户。2.根据权利要求1所述的一种基于深度学习的服装图像搜索方法，其特征在于，所述步骤1)中，将服装图像分割为上下两个部分和一个整体部分，得到三张待处理服装图像；将三张图像分别送入神经网络进行特征向量的提取及识别；对整体部分而言，采用两组特征向量，分别进行训练：一组是全连接层平整化后的维数为2048的向量，另一组是维数为1024的向量，两组向量分别计算损失函数HingeLoss，两个损失函数的平均数即为整体部分的损失函数；图像上下...

【专利技术属性】
技术研发人员：郑泽宇，温苗苗，尚文祥，何治，李娜，
申请(专利权)人：杭州知衣科技有限公司，
类型：发明
国别省市：浙江,33