基于多模态的服装图像检索方法技术

本发明专利技术提供一种综合服装文本信息和图像信息的基于多模态的服装图像检索方法。该方法根据用户输入待检索服装图像和文本描述，通过文本检索和图像多特征检索得到候选集，再根据用户反馈对候选集进行重排得到最终检索结果。本发明专利技术通过文本和服装图像两种模态对服装的描述，构建两层检索和重排过程，提高服装图像检索的查全率和查准率，同时也提高了检索效率。

【技术实现步骤摘要】
【专利摘要】本专利技术提供一种综合服装文本信息和图像信息的。该方法根据用户输入待检索服装图像和文本描述，通过文本检索和图像多特征检索得到候选集，再根据用户反馈对候选集进行重排得到最终检索结果。本专利技术通过文本和服装图像两种模态对服装的描述，构建两层检索和重排过程，提高服装图像检索的查全率和查准率，同时也提高了检索效率。【专利说明】
本专利技术属于数字图像处理
，具体涉及一种。
技术介绍
随着互联网的广泛普及以及电子商务的迅速发展，每天都有数以万计的商品信息涌入人们的眼帘，尤其是服装商品信息。如何能快速并有效的从海量的数据中寻找到人们所感兴趣的服装信息，成为迫切需要解决的问题。服装信息包括对服装的文字描述和图像表现。如今市面上，最多的关于服装检索的搜索引擎都是基于文本关键字的，例如淘宝，京东，亚马逊，ebay等。虽然这些搜索引擎被越来越多的用户所熟知和使用，但是其本身的局限性是有目共睹的。当用户想寻找某一款具体的衣服时，只能通过详尽的关键字描述，然后从数千计的候选列中一一筛选出自己感兴趣的衣服，用户进行的大量操作极度考验用户的耐心，浪费了用户的大量时间和精力。此外，服装图像本身也是一种检索内容，以服装图像作为输入得到其相同或类似的服装信息。类似的以图搜图的系统有:百度识图，谷歌的图片搜索，TinEye，Gaz0Pa等，其中基于内容的图像检索是以图搜图的关键技术之一。基于内容的图像检索是通过图像特征的提取以及描述，得到相同或者相似的图像检索。然而传统的基于内容的图像检索技术对本问题不能进行有效的建模以达到准确检索的目标。现有基于内容的图像检索技术的基本实现步骤为:(I)构建图像库；(2)提取图像特征；(3)通过计算特征之间距离(如欧式距离，曼哈顿距离等)，得到两幅图像的相似程度；(4)用户输入图像，得到与其相同或者相似的图像。此方法应用在服装图像检索系统存在以下几个问题:1)忽视了服装信息所包含的文本信息；2)计算图像间相似度需要进行高维向量间距离计算，线性遍历的效率极低；3)缺少用户与系统之间的交互，缺乏对检索结果的验证过程。长春工业大学的侯阿临等人发表在《现代电子技术》2010年第6期总第317期的论文《基于多特征的服装图像检索》中提出了一种基于多特征的服装图像检索的方法，该方法存在以下三个问题:1)忽视了服装信息中的文本关键字，文本关键字信息对于服装分类以及初选有重要作用；2)只提取了服装图像中的形状特征和颜色特征，忽视了其他特征对服装图像的影响，例如纹理特征；3)采取分层检索的方式，每层检索只使用一个特征，大大影响检索结果，降低查全率。CN102254043公开了一种基于语义映射的服装图像检索方法，该专利技术存在以下缺陷:1)提出的提取服装图像底层特征构建服装领域知识库，获取服装图像的语义信息的过程中存在视觉特征到语义信息的转换鸿沟；2)提出通过设置阀值得到某一特征类中服装图像的高频词，但是此高频词并不能准确的对此类中所有服装进行描述，也就是存在视觉特征与高频词不对等的问题，影响检索的准确率和查全率。
技术实现思路
为解决上述问题，本专利技术提供了一种。本专利技术的具体技术方案为:一种，具体实现步骤为:S1:构建服装图像文本库；S2:构建服装图像特征库；S3:用户输入待检索服装图像和文本描述；S4:通过文本检索得到候选集Ql ；S5:通过图像多特征检索得到候选集Q2 ；S6:根据用户反馈对候选集Q2进行重排得到结果集R。进一步的，步骤SI中所述的构建服装图像文本库的具体步骤为:Sll:通过网页分析，提取出对应服装图像的网页文本信息；S12:将文本信息存储到数据库中；S13:对文本信息进行分词；S14:创建文本索引文件。进一步的，步骤S2中所述的构建服装图像特征库的具体步骤为:S21:对服装图像进行预处理操作，包括灰度处理和尺度归一化过程；S22:分别提取图像的形状特征、颜色特征和纹理特征；S23:对三种图像特征拼接而成的新特征进行聚类；S24:得到每张服装图像所对应的聚类中心描述；S25:创建图像索引文件。进一步的，步骤S3中所述服装图像是本地上传的包含服装的图像，所述文本描述可以通过勾选服装类别或者用户输入自定义文本获取得到。进一步的，步骤S4中所述的通过文本检索得到候选集Q1，是利用用户勾选的服装类别或输入的自定义文本，通过文本检索接口，得到对应的检索候选集Ql。进一步的，步骤S5中所述的通过图像多特征检索得到候选集Q2，具体步骤为:S51:对待检索服装图像进行预处理操作，包括灰度处理和尺度归一化；S52:提取待检索服装图像的形状特征、颜色特征和纹理特征；S53:根据特征库的聚类中心获取待检索图像的聚类中心描述；S54:通过图像多特征检索接口，对图集Ql中的所有候选图进行筛选，得到图像特征相同或相似的候选集Q2。进一步的，步骤S6中所述的根据用户反馈对候选集Q2进行重排得到结果集R，具体步骤为:S61:经过步骤S5，系统反馈给用户初步的候选集Q2，用户从候选集Q2中选择符合自己检索要求的服装作为反馈信息提交给系统；S62:系统获取用户的反馈信息，通过数据库查询到其具体特征描述；S63:通过计算与候选集Q2中其他图像的特征距离，得到服装图像间的相似度；S64:按照相似度由高到低，对候选集Q2中图像进行重新排列，得到最终结果集R。本专利技术提供一种综合服装文本信息和图像信息的。该方法根据用户输入待检索服装图像和文本描述，通过文本检索和图像多特征检索得到候选集，再根据用户反馈对候选集进行重排得到最终检索结果。本专利技术通过文本和服装图像两种模态对服装的描述，构建两层检索和重排过程，提高服装图像检索的查全率和查准率，同时也提高了检索效率。【专利附图】【附图说明】图1为基于多模态的服装检索方法流程图；图2为服装特征库构建流程示意图；图3为服装图像检索结果示意图。【具体实施方式】下面结合附图对本专利技术做进一步详细描述，本实施例是基于已实例化的工程项目进行阐述，相关图像检索结果展示在图3中。如图2所示，图像库中包含一万多张服装图像，图像经过预处理，得到图像尺寸大小为128像素*128像素的灰度图像。本专利技术中预处理过程包含对服装图像背景消除处理。如图1所述，本专利技术提供的一种，该方法的具体实现步骤为:S1:构建服装图像文本库，通过网页分析，分析市面上的服装购物网站，提取出对应服装图像的网页文本信息，并对服装图像进行下载和保存；然后将文本信息存储到数据库，再对文本信息进行分词，创建文本索引文件。所述文本采用Lucene技术建立文本索引，所述分词采用JE分词技术。S2:构建服装图像特征库，首先对服装图像进行预处理操作，分别提取图像的形状特征、颜色特征和纹理特征，并对服装图像该三类特征的拼接结果进行聚类，然后根据聚类中心对服装图像进行描述，并创建图像索引文件。所述聚类过程涉及特征向量之间的距离计算，本专利技术采用欧式距离。此外，服装多特征采用K-means进行聚类；图像特征索引采用倒排索引结构。S3:用户输入待检索服装图像和文本描述，其中服装图像是本地上传的包含服装的图像，文本描述可以通过勾选服装类别或者用户输入自定义文本获取得到。所述服装图像的格式为BMP、JPEG、TIFF、GIF等opencv支持的图像格式。S4:本文档来自技高网...

【技术保护点】
基于多模态的服装图像检索方法，其特征在于，其实现的具体步骤为：S1：构建服装图像文本库；S2：构建服装图像特征库；S3：用户输入待检索服装图像和文本描述；S4：通过文本检索得到候选集Q1；S5：通过图像多特征检索得到候选集Q2；S6：根据用户反馈对候选集Q2进行重排得到结果集R。

【技术特征摘要】

【专利技术属性】
技术研发人员：叶茂，赵苗苗，刘启和，蔡小路，占伟鹏，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51