一种草图识别方法以及该方法在商品检索中的应用技术

本发明专利技术公开了一种草图识别方法，该方法包括以下步骤：S1.获取待处理图片；S2.对收集到的图片进行具有语义信息的部件分割，得到草图的部件图；S3.利用深度学习网络模型通过对部件图的识别,得出部件的标签；S4.将部件的语义信息同部件所属对象的语义信息相关联；S5.输出经过语义树得到的部件所属对象的标签。以及草图识别方法在商品检索中的应用，其特征在于，包括以下步骤：1)获取图片信息，2)检索系统利用所述草图识别方法，根据图片获得用户想要寻找的物品的标签，3)根据识别的标签，为用户推荐相应的商品。本发明专利技术提高了对完整草图识别的正确率，并且可以节约用户挑选商品的时间，增强用户体验。

【技术实现步骤摘要】
一种草图识别方法以及该方法在商品检索中的应用
本专利技术涉及图像处理领域，特别是涉及一种融合深度学习和语义树的草图识别方法。
技术介绍
随着网络的普及，网上购物成了当今社会人们首选的消费方式，用户只需要在购物网站上输入需要物品名称，即可挑选物品，随即下单，即方便了用户，减小了购物成本，又方便了商家，减少了中间商的中转成本。但是，目前用户的选购商品的方式，只限于输入商品名称或者输入实物的照片，再得到推荐列表。而现实生活中，某些情况下，用户并不知晓商品确切的名称，也没有商品实物照片，脑海中只有一个大致的物品形状。这种情况下，选购到令用户满意的商品就成了一种耗时且困难的事情。随着便携设备的普及，随时随地都可以获取到草图，使用手绘草图来描绘客观世界，已经成为一种流行趋势。草图识别精度的提升对于草图检索有重要的理论意义和应用价值，如购物网站商品检索，客户无需知道商品名称，也无需拥有实物照片，即可通过手绘简单的草图绘制来检索目标商品。
技术实现思路
本专利技术的目的即是提供一种高效且便捷的草图识别方法，以方便用户检索商品。为实现上述目的，本专利技术提供了一种草图识别方法，该方法包括以下步骤：S1.获取待处理图片；S2.对收集到的图片进行具有语义信息的部件分割，得到草图的部件图；S3.利用深度学习网络模型通过对部件图的识别,得出部件的标签；S4.将部件的语义信息同部件所属对象的语义信息相关联，获得部件所属对象的标签。本专利技术的技术特征还在于：步骤S2包括以下流程：1)将草图拆分到笔画层，2)将笔画的序列组合为笔画组，3)利用现有的3D形状库，将笔画组与3D形状库中的部件图进行迭代比对，然后利用3D部件的标注信息给2D的笔画组进行语义标注，得到基于笔画的草图标注文件，4)将标注文件中相同标签的笔画进行连接，绘制草图的部件图。步骤S2中，对完整的草图进行分割后，再对部件图像进行数据增强。步骤S4，包括以下流程：1)利用语义树，得到部件标签与部件所属对象标签的关联关系，2)使用语义相似度度量方法，获得部件的潜在语义标签，3)根据部件的潜在语义标签，使用基于上下文的语义融合策略，获得部件最终所属对象的标签。所述草图识别方法在商品检索中的应用，其特征在于，包括以下步骤：1)获取图片信息，2)检索系统利用所述草图识别方法，根据图片获得用户想要寻找的物品的标签，3)根据识别的标签，为用户推荐相应的商品。步骤1)中，获取的图片信息，包括用户绘制完成的草图，或用户手绘的过程中，系统响应的草图。采用以上技术方案，本专利技术具有以下技术优点：1.草图的构成简单，没有纹理色彩等信息，本专利技术认为草图是由具有语义信息的不同部件组成，通过对部件图的识别提高对完整草图识别的正确率。2.本专利技术将WordNet语义树中蕴含的丰富语义信息引入草图的识别中，使得草图的识别过程更具有可解释性。3.使用基于上下文的语义融合方式，构建草图部件图与完整草图间联系的桥梁，有效的缓解了WordNet中普遍存在的共享语义的情况，对于部件与部件对象间的相似度计量提供了很好的鲁棒性。4.本专利技术通过这种部件分割的方法，对收集的草图进行了一定程度上的数据集扩充，使得小数据集也能够通过卷积神经网络提取特征。通过利用语义树构建部件标签同部件所属对象标签之间的联系，缓和了草图从单张图像的像素级别的低层特征直接到语义级别的高层特征之间的语义鸿沟。5.本专利技术提供了一种高效的、便捷的草图识别方法，可以满足用户多样性检索需求，提高用户挑选商品的满意度，节约用户挑选时间，增强用户体验。附图说明图1是本专利技术的步骤示意图。图2是本专利技术步骤示意图的放大示意图。图3是本专利技术步骤示意图的放大示意图。图4是本专利技术应用于商品检索的示意图。具体实施方式下面结合附图和实施例对本专利技术做进一步详细说明。实施例1：如图1、图2和图3所示，本实施例以一飞机草图进行说明，一种草图识别方法，包括以下步骤：S1.获取草图：具体到本实施例中，用户手绘草图，并输入系统。S2.系统对获取到的草图进行具有语义信息的部件分割：具体到本实施例中，可以在获取用户的手绘草图图像后，使用数据驱动的草图分割标注算法，将草图拆分到笔画层，再将笔画的序列组合为笔画组，包括将笔画的序列进行逐一的组合；再利用现有的3D形状库，如3Dshapegalleries，Shaperepository等，将笔画组与3D形状库中的部件图进行迭代比对，然后利用3D部件的标注信息给2D的笔画组进行语义标注，得到基于笔画的草图标注文件，然后将标注文件中相同标签的笔画进行连接，绘制草图的部件图。借助3D形状库可以较好的对草图进行分割，原因有两点：1)从二维平面图像到三维立体图形的过程类似人类视觉系统的视觉记忆；2)3D图形的部件图库不仅包含了部件个体的局部结构特征，而且包含了各个部件间相对的几何结构特征。此处需要说明的是，草图分割方法并非限于本实施例所述的内容，凡是可以实现本专利技术目的的方法，均可运用到本专利技术中来进行草图分割。对于一张用户绘制的飞机草图，可以按照其语义分割成八个部件，包括两个引擎，两个机翼，两个水平尾翼，一个垂直尾翼，一个机身。需要注意的是：分割后的部件图，以及部件图标签，均用以实现训练数据集的监督学习任务。因为针对这些部件图数据，虽然可以通过部件比对的方式将图片进行分割开，但是大多数情况下，并不能得到有效的部件标注信息，所以，需要对已有的2D部件图以及其标签进行监督学习，以达到对2D部件图直接标注的目的。所以，需要进行S3步骤。S3.利用部件图对预训练的深度学习框架进行网络参数微调，微调的过程是在每一次的监督学习过程中根据误差的梯度下降法来动态调整卷积核的参数值，训练完成后，可以根据该网络计算得出需要识别图片的预测标签。具体到本实施例中，使用AlexNet作为本专利技术中部件识别的基准网络，在该网络下，通过对部件图的识别，微调网络参数，以适应目标数据集。AlexNet是卷积神经网络的一种，由Alex在2012年提出，该网络模型包括5个卷积层和3个全连接层，AlexNet是在大型的自然图片数据库中使用两个GTX5803GB的GPU上训练的。使用ReLU作为激活函数，避免梯度消失；使用局部响应标准化，实现侧抑制；使用重叠池化方式避免过拟合。使用AlexNet识别部件预测标签的步骤如下：1)训练过程：数据：将草图数据集中的所有草图图像进行部件分割，分割后的草图部件图作为训练集；标签：草图部件图对应的标签信息；该训练过程是一个监督学习的过程，在该过程中，卷积核逐层的提取部件图的特征，从第一层的低层像素特征，逐层的组合为第五层的中层图像特征，本专利技术删去了AlexNet原有的第六、第七、第八层三层全连接层，用三个新的随机初始化的全连接层替换，通过全连接层，获取到图片的高层语义(即部件预测标签)，根据该部件预测标签与部件标签的误差，计算目标函数的梯度，从而向着梯度下降的方向微调网络参数，直至目标函数收敛。2)应用过程：数据：待识别图片分割后的草图部件图作为数据集；标签：草图部件图对应的标签信息；在该过程中，使用前馈运算，计算得出数据的部件预测标签。此处需要说明，深度学习框架并非只有本实施例中的一种，实际上，也可以使用其他深度学习框架来实现。S4.利用语义树，得到部件预测标签与所有本文档来自技高网...

【技术保护点】
1.一种草图识别方法，其特征在于，包括以下步骤：S1.获取待处理图片；S2.对收集到的图片进行具有语义信息的部件分割，得到草图的部件图；S3.利用深度学习网络模型通过对部件图的识别,得出部件的标签；S4.将部件的语义信息同部件所属对象的语义信息相关联，获得部件所属对象的标签。

【技术特征摘要】
1.一种草图识别方法，其特征在于，包括以下步骤：S1.获取待处理图片；S2.对收集到的图片进行具有语义信息的部件分割，得到草图的部件图；S3.利用深度学习网络模型通过对部件图的识别,得出部件的标签；S4.将部件的语义信息同部件所属对象的语义信息相关联，获得部件所属对象的标签。2.根据权利要求1所述的一种草图识别方法，其特征在于，步骤S2包括以下流程：1)将草图拆分到笔画层，2)将笔画的序列组合为笔画组，3)利用现有的3D形状库，将笔画组与3D形状库中的部件图进行迭代比对，然后利用3D部件的标注信息给2D的笔画组进行语义标注，得到基于笔画的草图标注文件，4)将标注文件中相同标签的笔画进行连接，绘制草图的部件图。3.根据权利要求1或2所述的一种草图识别方法，其特征在于，步骤S2中，对完...

【专利技术属性】
技术研发人员：赵鹏，冯晨成，韩莉，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽,34