一种基于双路径深层语义网络的手绘式服装商品图像检索方法技术

本发明专利技术公开了一种基于双路径深层语义网络的手绘式服装商品图像检索方法。第一，该方法利用手绘服装草图和服装商品图像数据集为驱动，提出一种双路径的深层语义网络架构模型，来建立手绘草图与服装商品图像之间的语义关联性，实现这两种不同领域数据的语义特征的自动学习和提取。第二，本发明专利技术提出了一种基于跨域语义特征相似性度量的深度排序模型，将这两个不同领域的特征映射到同一个语义空间，并建立了一套跨域语义特征相似性的计算准则，从而实现手绘服装草图对服装商品图像的跨域检索。本发明专利技术提出的方法着重解决由于用户手绘风格多样导致检索准确率低下等难题，使得手绘交互这种检索查询方式更加适合用户检索需求的自由表达。

A Hand-drawn Clothing Product Image Retrieval Method Based on Dual-Path Deep Semantic Network

The invention discloses a hand-drawn garment commodity image retrieval method based on dual-path deep semantic network. Firstly, driven by hand-drawn clothing sketches and clothing commodity image data sets, this method proposes a two-path deep semantic network architecture model to establish the semantic relevance between hand-drawn sketches and clothing Commodity images, and to realize automatic learning and extraction of the semantic features of data in these two different fields. Secondly, the invention proposes a depth ranking model based on cross-domain semantic feature similarity measurement, maps the features of these two different fields into the same semantic space, and establishes a set of cross-domain semantic feature similarity calculation criteria, so as to realize cross-domain retrieval of clothing Commodity images by hand-drawn clothing sketches. The method of the invention focuses on solving the difficult problems such as low retrieval accuracy due to the diversity of user's hand-painted styles, and makes the hand-painted interaction more suitable for the free expression of user's retrieval needs.

【技术实现步骤摘要】
一种基于双路径深层语义网络的手绘式服装商品图像检索方法
本专利技术涉及一种基于双路径深层语义特征提取的手绘式服装商品图像检索方法，属于计算机图像及多媒体信息检索

技术介绍
随着电子商务和计算机辅助服装设计等技术的快速发展，服装商品图像数量的增长达到了前所未有的速度，而其中虚拟试衣等新型产业的兴起，更是极大激发人们对服装的外观、风格、款式变化等方面提出了各种个性化的设计和购买需求。在不同应用领域，常常需要变换不同类型的服装以满足人物以及场景之间的匹配。因此，在巨大且迫切的市场和工业界的需求下，如何帮助用户在大规模的商品图像数据库中快速、准确地搜寻到其所需要的服装图像成为了当前多媒体信息检索领域急需解决的关键课题。然而不同服装的款式和外观千变万化，传统的基于关键词等检索方式无法让用户准确表达出检索意图，在交互性和实用性等方面都存在着较大的局限性。近年来随着智能手机、平板电脑等触屏设备的普及，人机交互的方式发生了很大的改变，人们可以快速地把头脑中想象的事物在触摸屏上手绘出来，形成手绘草图。而将这种基于手绘的人机交互方式引入到服装商品图像检索中有着明显的先天优势。在工业界，服装设计师在早期进行概念设计的时候，都是习惯于用手绘的方式来设计服装的结构样式，从而得到服装草图，然后再根据设计的草图形象进行服装打样、裁剪等工作。因此基于手绘交互的检索方式提供给了用户一种更加自然直接和灵活随意的表达方法，并且十分符合服装设计师和普通用户的使用习惯，使得用户勿需掌握复杂的专业服装计算机辅助设计软件自己去动手设计服装，只需通过简单的手绘交互，便可以检索到的自己喜欢的衣服款式，从而满足用户各种个性化服装制作和购买需求。然而，传统的基于手绘交互的检索往往只局限于基本类别进行检索，而忽略了类内之间变化的差异。与普通的三维模型不同，服装商品图像作为一种特殊的数据形态，用户希望通过手绘草图检索不仅仅要获得正确类别的服装模型(如衣服、裤子、裙子)，而更加关注于能否检索得到能够区分类间差异，达到细粒度级别的检索结果(如长袖T恤，短袖T恤)。但目前并没有针对可以达到细粒度级的服装商品图像检索算法，因而缺乏真正的实用性能。并且，服装商品图像具有复杂的颜色、形状和纹理等特征，而手绘草图则是用轮廓线条对其检索意图的一种模糊逼近，它们之间存在着领域和维度差距。所以仅依靠低层次的传统视觉特征即手绘草图外观上体现出来的信息是无法准确地识别出用户所要检索的服装商品图像，并且无法区分相同类别但不同款式服装之间的细微外观差异，因此需要从提取和挖掘手绘草图中所蕴含的高层次的语义信息来理解用户的检索意图，设计更加具有区分度的深层语义特征提取方法来表示对服装商品图像的类别属性及款式风格等知识的理解，这也是本专利技术的目的所在。参考文献：[1]LinM,ChenQ,andYanS.Networkinnetwork.In:ProceedingsoftheInternationalConferenceonLearningRepresentations(ICLR),2014.
技术实现思路
针对现有技术存在的不足，本专利技术提出一种基于双路径深层语义特征提取的服装商品图像检索方法，给用户提供一种准确而又快捷的服装商品图像检索模型方法。本专利技术的目的是通过以下技术方案来实现的：为了提取手绘服装草图和服装商品图像的语义关联特征，从而跨越这两种不同领域数据形态之间的‘语义鸿沟’。本专利技术提出了一种双路径深层语义网络，提取出手绘服装草图和服装商品图像的语义关联特征，为它们之间建立起一个语义桥梁。首先分别建立不同手绘风格和类型款式的手绘服装草图和服装图像数据库，并且对草图和服装图像进行服装类别和服装部件标记，将标记好的服装部件作为双路径深层语义网络每条路径的训练输入，每个深度子网络用来学习和输出该数据域下对应的高层语义特征，最后采用双线性的方式把整体和所有部件特征组合在一起构成一个特征向量作为输出；实现具有更强区分能力的语义特征的提取。为了度量手绘服装草图和服装商品图像之间的相似性，本专利技术提出一种基于跨域语义特征相似性度量的深度排序模型，在一批已标注好的训练样本中，分别选择与服装草图具有相同和不同款式的服装商品图像作为输入，将这两个来自不同领域的语义特征映射到同一个语义空间，并且建立出一套语义特征相似性的计算规则，使之能够准确地将含有与手绘草图相同语义属性的服装商品图像返回给用户。同时，在最后的检索结果排序中，本专利技术所设计的相似性度量要具备有能够区分服装款式细节信息的能力，尽量接近用户真实的检索意图。比如：用户在手绘输入短袖衬衫草图时，那么半袖的衬衫模型应该要排在长袖衬衫的前面。因此我们要根据语义属性特征之间的结构层次关系，研究提供一种从粗糙到精细的相似性度量模式，从而满足用户对模型检索在效率、准确性、査全性等方面不同的要求。本专利技术所述技术的有益效果主要包含以下两点：(1)由于细粒度检索中不同类别间相似性非常大，早期的基于特征袋的特征提取方法无法表示出手绘草图与服装商品图像之间所蕴含的语义关系，对于服装商品图像的细粒度检索并不能取得很好的效果。本专利技术提出了一种双路径的特征提取模型，对手绘服装草图和服装商品图像的语义特征进行跨域学习，学习到的语义特征将成为对输入低层语义类别的高阶特征描述，从而建立语义类别的层次结构。同时，将分割好的服装部件以及其对应的语义属性特征融入到模型架构中，实现具有更强区分能力的语义特征的提取。(2)在得到手绘服装草图和服装商品图像的深层语义特征后，为了将所提取的语义特征融合到同一个语义空间进行相似性度量，本专利技术提出了一种基于跨域语义特征相似性度量的深度排序模型，将这两个不同领域的特征映射到同一个语义空间，并建立出一套跨域语义特征相似性的计算准则，而根据相似性计算所得到的检索结果排序，不仅能够得到与用户输入的手绘服装草图相同类别的服装商品图像，而且能够进一步区别特定类别下服装商品图像不同款式之间的精细差异，从而准确地将有相似部件形态和样式的服装商品图像给检索出来并返回给用户。附图说明图1为本专利技术收集的服装商品图像和手绘服装草图数据示例图。图2为服装草图部件款式分类示例图。图3为双路径深层语义特征提取网络架构图。图4为双线性插值组合服装部件的深层语义特征示意图。图5为深度排序网络模型架构示意图。具体实施方式本专利技术方案主要是包含两个模块：语义关联特征提取模块和跨域语义特征相似性度量模块。下面将结合附图，对本专利技术中这两个模块的实现细节做详细说明：1基于双路径的手绘服装草图深层语义特征提取的网络架构模型由于手绘服装草图和服装商品图像来自于不同的数据领域，而现有基于手绘交互的特征提取方法主要是基于特征袋：首先通过稀疏或密集采样，提取出底层局部特征(包括SIFT、HOG等)，然后对底层视觉特征进行编码，最后进行空间池化。但由于服装类别之间款式的相差非常大，在视觉单词量化中会丢失部分重要的细节信息，导致上述特征提取方法直接应用于服装模型的细粒度检索效果并不好。随着深度学习模型、尤其是卷积神经网络在计算机视觉领域(如：图像分类、图像检索)取得突破性进展，其所提取的深度特征相对于传统的基于特征袋的方法用于细粒度检索时具有明显的性能提升。因此本专利技术设计一个深度神经网络模型的架本文档来自技高网...

【技术保护点】
1.一种基于双路径深层语义网络的手绘式服装商品图像检索方法，其特征在于：以手绘服装草图和服装图像为数据集，建立双路径的深层语义特征提取的网络架构模型；并建立基于跨域语义特征相似性度量的深度排序模型，将两个不同领域的特征映射到同一个语义空间；并建立出一套跨域语义特征相似性的计算准则，进行相似性的度量；若两者达到设定的相似度，则反馈服装图像的信息，实现手绘服装草图对服装图像的跨域检索。

【技术特征摘要】
2018.12.11 CN 20181150976671.一种基于双路径深层语义网络的手绘式服装商品图像检索方法，其特征在于：以手绘服装草图和服装图像为数据集，建立双路径的深层语义特征提取的网络架构模型；并建立基于跨域语义特征相似性度量的深度排序模型，将两个不同领域的特征映射到同一个语义空间；并建立出一套跨域语义特征相似性的计算准则，进行相似性的度量；若两者达到设定的相似度，则反馈服装图像的信息，实现手绘服装草图对服装图像的跨域检索。2.根据权利要求1所述的方法，其特征在于，包括以下步骤：(1)构建深度神经网络模型：分别建立手绘服装草图和服装图像的数据库，并且对手绘服装草图和服装图像的服装类别和服装部件进行标记；将标记好的手绘服装草图的服装类别和服装部件作为一个深度神经网络的训练输入，将标记好的服装图像的服装类别和服装部件作为另一个深度神经网络的训练输入；每个深度神经网络路径分别用来学习和输出该领域数据所对应的高层语义特征；在深度神经网络结构的设计中，利用多层感知机来代替传统卷积层的线性卷积操作；在训练的过程中，加入数据库中手绘服装草图和服装图像中所标记好的服装部件，并且通过在深度神经网络结构中叠加一个空间金子塔池层来处理不同尺度下的服装部件图像...

【专利技术属性】
技术研发人员：雷浩鹏，陈思敏，易玉根，罗国亮，李玉华，
申请(专利权)人：江西师范大学，
类型：发明
国别省市：江西,36