一种基于语义映射的服装图像检索方法技术

本发明专利技术属于计算机多媒体技术领域，公开了一种基于语义映射的服装图像检索方法。具体包括构建服装领域知识库步骤、获取服装图像的语义信息步骤以及检索待查询服装图像步骤。本发明专利技术的方法依靠已有的服装图像和相应的文本描述信息，通过多类特征聚类的方式构建服装领域知识库，通过Graph?Cut模型融合知识库中的服装图像信息、知识库中的服装图像与描述文本的共生信息、知识库中的服装描述文本信息，对提交的待查询图像进行服装语义的获取，并根据获取的服装语义对提交的服装图像进行相似服装图像的检索。

【技术实现步骤摘要】

本专利技术属于计算机多媒体
，具体涉及一种图像检索技术。
技术介绍
伴随着我国经济的高速发展，人们生活水平的逐步提高以及互联网交易平台的逐渐发展完善，如今网络购物已经成为了日常消费的重要形式之一，而网络购物与传统购物最大的区别在于商品信息的获取方式上，传统购物可以通过询问、观察、触摸得到大量的第一手信息，通过走街串巷寻找类似的商品，但是在网络购物环境下顾客只能依靠搜索引擎来完成相似的活动，几乎国内外各大购物网站都提供了文本搜索的服务，但是文本搜索服务一般适用于标准化程度较高的产品或者消费者要有较强的领域背景，才能够比较迅速的定位到合适的商品，而对于标准化较低、个性化显著的商品，消费者所付出的搜索时间是相当可观的，而服装恰恰是这样一种个性化较强的大众日常消费品。据国内知名大型网上购物网站公布的统计数据，每天该网站商品搜索的关键字中有60%是与服装有关的，由此可以看出对于服装检索的市场需求是巨大的，而与此对应的是服装搜索手段的单一化，现存的商用服装搜索都是依靠文本检索来完成，这不但要求商家手工添加服装的描述信息，而且还要要求消费者具有一定的服装领域知识，而相比于文本搜索更为直观的图像搜索技术则由于不能有效的抽取层次化、结构化的图像语义信息，而且面向通用图像检索技术设计的语义抽取方式不能够有效的表达服装图像的语义信息，从而使得服装检索的手段一直停留在文本关键字检索的阶段。在处理服装检索时也出现了一些图像搜索的方法。在公开号为CN 101271476公开了一种“网络图像搜索中基于聚类的相关反馈检索方法”，该方法主要注重用户反馈信息的使用，而且以关键字为查询，对于以图像为主要表现形式的服装而言，适用性有限，并且该方法需要用户进行手工的标注，对用户的参与度要求较高，不能通过自主学习的机制判断用户的查询概念是否与图像包一致，推广性有限。在公开号为CN 101329677公开了一种“基于图像内容的图像搜索引擎”，本专利技术使用图像名称、地址信息、页面文字等文本信息进行图像语义的提取，并没有将图像底层特征与图像的语义特征进行关联，不能直接通过图像底层特征获取图像语义特征，不具有稳定性，而且不利于推广，适用性有限。
技术实现思路
本专利技术的目的是为了解决现有的服装检索存在的问题，提出了。本专利技术的技术方案是，包括构建服装领域知识库步骤、获取服装图像的语义信息步骤以及检索待查询服装图像步骤，其中，构建服装领域知识库步骤具体过程如下Si.提取服装图像的底层特征对服装图像数据库中的服装图像进行预处理，在预处理的基础之上，提取服装图像的底层特征；S2.构建服装领域知识库依靠服装图像的底层特征构建服装领域知识库，依次对服装图像的底层特征进行特征聚类，从归属于某一类别的服装图像所对应的服装网页中，提取高频词，作为描述该类别服装特征的领域知识，在得到该类别的服装领域知识之后，从该类别服装图像中剔除掉对该类别领域知识贡献度小于设定阈值的服装图像；获取服装图像的语义步骤具体过程如下S3.依靠服装领域知识库，对待获取语义信息的服装图像进行语义获取，首先提取待获取语义信息的服装图像的底层特征，将得到的底层特征分配到距离最近的服装图像类别集中，将该类别集所对应的高频词库作为初始的语义信息，通过计算与所属类别集中所有服装图像的特征距离与语义距离之积的总和，来度量待获取语义信息的服装图像与已有服装图像的图像与图像，图像与语义的关联程度，并通过计算初始语义信息的语义距离来度量待获取语义信息的服装图像与已有服装图像的语义与语义的关联程度，最后从初始的语义信息中抽取用于描述待获取语义信息的服装图像的语义信息；检索待查询服装图像步骤具体过程如下S4.根据步骤S3，获取待查询服装图像的语义信息，然后依据获取到的语义信息对服装图像进行检索，依照检索的结果从服装图像数据库中提取相应的服装图像作为查询结果返回。这里，步骤Sl中所述的底层特征包括颜色特征、纹理特征、梯度特征、形状特征以及局部点特征。优选的，步骤S3具体采用Graph Cut模型从初始的语义信息中抽取用于描述服装图像的语义信息。本专利技术的有益效果为了满足对服装图像进行语义层次上的检索需要，本专利技术的方法依靠已有的服装图像和相应的文本描述信息，通过多类特征(颜色、纹理、梯度、形状以及局部点)聚类的方式构建服装领域知识库，通过Graph Cut模型融合知识库中的服装图像信息、知识库中的服装图像与描述文本的共生信息、知识库中的服装描述文本信息，对提交的待查询的图像进行服装语义的获取，并根据获取的服装语义对提交的服装图像进行相似服装图像的检索。附图说明图1为本专利技术基于语义映射的服装图像检索方法流程示意图。图2为服装图像领域知识库构建流程示意图。图3为服装图像语义映射模型结构示意图。图4为基于语义映射的服装图像检索结果展示图。具体实施例方式下面结合附图对本专利技术作进一步详细的描述如图1，图中描述的为基于语义映射的服装图像检索总体流程图。在构建服装领域知识库和获取服装图像的语义信息的基础上，用户提交待查询的服装图像，对待查询图像进行预处理，并且在预处理的基础之上提取待查询图像的颜色特征、纹理特征、梯度特征、形状特征以及局部点特征。根据这些提取出来的待查询服装图像的底层特征，计算与各类特征样本库中已有簇的距离，为待查询服装图像确定其底层特征的所属类别，至此待查询服装图像，在服装颜色样本库中应该确定了其颜色的所属图像簇，同理在服装纹理样本库、 服装梯度样本库、服装形状样本库以及服装局部点样本库中确定了所属样本簇，接下来根据所确定的五个样本簇到服装图像高频词库中寻找对应的高频词簇，这样待查询服装图像就分别在服装颜色高频词库、服装纹理高频词库、服装梯度高频词库、服装形状高频词库以及服装局部点高频词库中确定了其对应的高频词簇，这些高频词簇作为待查询图像初始的语义信息集，将初始的语义信息集中的每一个语义词作为一个图节点，根据已经确定的服装颜色样本簇、服装纹理样本簇、服装梯度样本簇、服装形状样本簇、服装局部特征点样本簇以及其相对应的高频词簇，分别计算服装图像与图像的相关性、服装图像与语义词共生性、服装语义与语义相关性，通过这些计算为构建Graph Cut模型提高了边权重，通过Graph Cut模型的优化操作，得到适应度最高的语义词集，至此待查询图像即被映射成为特定的语义词集，以语义词集为新的查询请求，在服装图像语义索引库中进行文本检索，根据检索的结果从服装图像数据库中取出相应的服装图像作为待查询服装图像的检索结果。具体过程如下提取服装图像的底层特征对服装图像数据库中的服装图像进行预处理，在预处理的基础之上，对服装图像进行图像底层特征的提取。具体可以采用如下分步骤Sll.对服装图像数据库中的服装图像进行中值滤波，滤除服装图像中存在的椒盐噪音；S12.对滤波的服装图像进行灰度值拉伸；S13.提取服装图像颜色特征描述符，采用RGB颜色空间的非线性混合运算作为特征描述子；S14.提对服装图像纹理特征描述符，采用局部二值模式(LBP)作为特征描述子；S15.提取服装图像梯度特征描述符，采用梯度直方图(HOG)作为特征描述子；S16.提取服装图像形状特征描述符，采用形状上下文(Siape Context)作为特征描述子；S17.提取服装本文档来自技高网...

【技术保护点】
１．一种基于语义映射的服装图像检索方法，包括构建服装领域知识库步骤、获取服装图像的语义信息步骤以及检索待查询服装图像步骤，其中，构建服装领域知识库步骤具体过程如下：Ｓ１．提取服装图像的底层特征：对服装图像数据库中的服装图像进行预处理，在预处理的基础之上，提取服装图像的底层特征；Ｓ２．构建服装领域知识库：依靠服装图像的底层特征构建服装领域知识库，依次对服装图像的底层特征进行特征聚类，从归属于某一类别的服装图像所对应的服装网页中，提取高频词，作为描述该类别服装特征的领域知识，在得到该类别的服装领域知识之后，从该类别服装图像中剔除掉对该类别领域知识贡献度小于设定阈值的服装图像；获取服装图像的语义步骤具体过程如下：Ｓ３．依靠服装领域知识库，对待获取语义信息的服装图像进行语义获取，首先提取待获取语义信息的服装图像的底层特征，将得到的底层特征分配到距离最近的服装图像类别集中，将该类别集所对应的高频词库作为初始的语义信息，通过计算与所属类别集中所有服装图像的特征距离与语义距离之积的总和，来度量待获取语义信息的服装图像与已有服装图像的图像与图像，图像与语义的关联程度，并通过计算初始语义信息的语义距离来度量待获取语义信息的服装图像与已有服装图像的语义与语义的关联程度，最后从初始的语义信息中抽取用于描述待获取语义信息的服装图像的语义信息；检索待查询服装图像步骤具体过程如下：Ｓ４．根据步骤Ｓ３，获取待查询服装图像的语义信息，然后依据获取到的语义信息对服装图像进行检索，依照检索的结果从服装图像数据库中提取相应的服装图像作为查询结果返回。...

【技术特征摘要】

【专利技术属性】
技术研发人员：周景磊，叶茂，丁剑，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：90