一种基于感性认知的图像检索结果排序方法技术

本发明专利技术公开了一种基于感性认知的图像检索结果排序方法，该方法主要基于图像的客观特征和主观感性认知对图像结果进行排序。在对图像理解的基础上，提取图像特征，获取相似度，并基于用户体验对显示方式进行布局。本发明专利技术在文本无法准确表达的情况下，用户可在该平台上更好地展示自己的购物需求，减少用户对商品的查找时间，更加有效地促成网络商品交易。同时，本发明专利技术将促进新型电子购物平台的发展，使中国电子商务网络平台更加多元化。

【技术实现步骤摘要】

本专利技术涉及图像搜索
，尤其涉及一种基于感性认知的图像检索结果排序 方法。
技术介绍
目前市场上存在几个典型的搜索引擎，包括百度、Google、搜狐的搜狗和微软的 Bing。上述搜索引擎面向文本，适合各种用户，且已经基本占领了文本搜索的市场。但是文本搜索引擎也具有某些不足和缺陷。当人们要搜索某些无法确切描述的 内容时，或者需要搜素的内容含有主观概念，又或者需要搜索和已知格式的数据(音频、视 频、图像、3D网格等各种多媒体数据)很类似的结果时，文本搜索就显示了它的不足。为此， 市场上出现了一些基于图像的搜索引擎。基于图像的搜索引擎需要输入样例图，然后从数据库中查找和样例图的图像特 征相似的结果。比如，www, tinyeye. com, www. like, com就是基于图像检索(记为CBIR Content Based Image Retrieval)的例子。大部分基于图像的搜索引擎以图像内容理解和 模式识别等技术为基础，且面向各种各种的图像。现有的CBIR具有以下不足之处对于服饰类的CBIR系统，现有的应用仅仅依靠图 像的视觉特征进行检索，而没有考虑人们在现实中的购买环境，缺乏真实体验感。另外，现 有系统中的图像数据都相对比较统一，数据量也不多。随着互联网上各类数据的爆炸式增长，人们寻找目标产品所需的时间越来越多。 另外，虽然存在各种功能强大的文本搜索引擎，但对于服饰类产品，用户常常无法利用文字 准确描述需求。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于感性认知的图像检索结果 排序方法。本专利技术利用样图描述用户的需求，在基于图像内容的理解上，帮助用户快速寻找 到目标产品(主要是服饰类产品)。本专利技术主要基于图像的客观特征和主观感性认知对图像结果进行排序。在对图像 理解的基础上，提取图像特征，取得相似度，并基于用户体验对显示方式进行布局。这种方 式不但能及时找到用户的目标产品，而且能给用户极大的视觉冲击，积极引导用户进入购 物环节。这是文本检索无法实现的，是一种新型的电子导购平台。为了建立这样一种方便直观的智能导购平台，本专利技术采取以下步骤作为技术方案。1)首先，建立含有大量图像的原始数据库。为了建立图像数据库，需要利用网络爬虫去各种含有服饰类图像的网站抓取原始 数据。2)针对库中的每张图像，获取图像中目标所在的精确区域，记为MASK区域(掩膜区域记为MASK)。为了获取MASK区域，需要开发一种半自动的目标定位子系统，用于确定服饰在图 像中的大概位置，并在此基础上利用图像分割技术获得准确的区域。3)根据每张图像的MASK区域获取各种图像特征。针对服饰类图像，能用于特征表述的参数有颜色、形状、纹理和图案等。不同种类 的衣服可能需要获取不同的特征。比如T恤不需要形状特征，但需要图案特征。4)建立含有图像和特征数据的综合数据库。整个数据库由原始图像数据库和特征数据库组成。为了方便存储和访问，需要将 图像数据和特征数据分段存储。库中每新增一张图像，都需要提取其特征，并将其存入特征 数据库。每删除一张图像，需要同时删除原始图像和其特征数据。5)搭建B/S结构平台，向用户提供基于样例图的检索服务。综合数据库放在服务器，客户端建立一个入口平台，方便用户上传图像，或者从库 中选择图像作为样例图进行检索。服务器端根据图像的颜色、形状、局部图案等特征，按照 相似性返回数据库中与样例图比较接近的系列图像，最终检索结果显示在客户端。6)检索结果图中，根据感知相似度对结果进行排序。基于样图检索得到的结果图列表中，按照布局方式，以客观特征(颜色特征、形状 或图案特征等)和主观特征(产品风格等)的相似性进行结果图的展示。结果图中同时含 有商品价格、相应网络商家链接等信息。单击结果图，将可以该张结果图作为输入图进行新 一轮的检索。本专利技术的有益效果是作为一种新型的电子购物引导平台，在文本无法准确表达 的情况下，结合主观特征和客观特征的图像相似性可以更快、更准确地找到目标商品。用户 可在该平台上更好地展示自己的购物需求，减少商品的查找时间，更加高效地促成网络商 品交易。同时，本专利技术将促进新型电子购物平台的发展，使中国电子商务网络平台更加多元 化。附图说明图1是系统框架图；图2是颜色特征提取流程图；图3是形状特征提取示意图；图4是B/S架构示意图；图5是局部匹配模块流程图；图6是客户端页面的搜索结果显示效果示意图。具体实施例方式下面以服饰类图像的检索和显示为例，结合附图对本专利技术做进一步详细的说明。 本专利技术涉及到的操作可综合为下表所示，而整个系统的框架及流程见图1所示。本专利技术的基于感性认知的图像检索结果排序方法，包括以下步骤1. 1)在构建图像特征库前，采用目标自动定位方法，获取入库图像的掩膜区域。由图1可见，目标提取模块包括网络数据抓取、初步过滤子模块、目标定位子模块、图像掩码提取子模块等四个步骤。网络数据抓取模块利用网络爬虫机器人，从互联网上 搜集相关的服饰图像。但是爬虫机器人只根据图像格式的判断进行抓取，因此并不是所有 下载到的图像都是所需的服饰类图像。初步过滤子模块的功能就是删除一些明显的非服饰 类图像，过滤策略包括格式过滤，即只下载特定格式的图像。尺寸过滤，即根据图像大小、 长宽比等数据过滤一些无用的图像。图像属性过滤，去除所有非彩色的图像。由于网络上 各类图像没有标准和规范，非常不统一。因此很多图像中，没有固定的背景，一张图像中可 能含有好几件衣服或者服饰类物品，图像中可能含有模特等等。目标定位子模块主要用来 确定衣服等目标区域所在的大概位置。在目标定位子模块中，需要对原始图像数据进行分类，对不同的分类采取不同的 方法进行定位。目前的分类有 衣服平铺类基于平铺时拍摄者会将衣服放在与衣服颜色有区分度的背景下的 假设，因此采用大津法(0STU算法)直接进行二值化处理，然后分析二值图中的连通区域信 息，最终确定目标的合理位置。该类的定位效果比较理想，且能直接获得掩膜MASK数据，省 略了后面的掩膜区域获取子模块的处理。 衣服模特类很多衣服图像中都有模特，可采用人脸检测的算法，获得衣服的大 致区域。 衣服分格类首先检测衣服的分格区间，然后再每个区间分别采用不同的方法。 其它分类除了上述分类的其它分类。目标定位结果只是一个长方形的框，框内除了目标物以外，还有可能存在其它物 体或者背景。因此，需要得到目标物的精确区域，这就需要掩码提取。图像掩码提取子模块 是在目标定位子模块的基础上，获取图像中目标的精确位置。目前采用基于最小能量的收 敛算法。1. 2)获得图像的掩膜区域后，提取图像的颜色特征。颜色特征的提取方法如图2所示。步骤如下 颜色量化将每个通道8位共256级量化为16级，红、绿、蓝三原色RGB三个通 道共4096级，即4096个格子Bin。 颜色聚类根据量化后的颜色分布，获取颜色直方图。取前N(目前N = 8)位颜 色为初始聚类中心，利用K-Means进行颜色聚类。特征保存将最终聚类后的颜色从RGB转换到色调-饱和度-亮度颜色空间(HSV 空间)。HSV空间被量化为36000级，分别是H值360级，S值和V值各10级。将转换后的 HSV颜色分类以及该类颜色占的比重保存到特征文件。1. 3)得到图像的本文档来自技高网...

【技术保护点】
一种基于感性认知的图像检索结果排序方法，其特征在于，包括如下步骤：（１）构建图像特征库。１．１）在构建图像特征库前，预先获得入库图像的掩膜区域。１．２）获得图像的掩膜区域后，得到图像的颜色特征。１．３）获得图像的掩膜区域后，得到图像的形状特征。１．４）获得图像的掩膜区域后，对于Ｔ恤等特殊类别服装，得到图案特征。１．５）构建检索数据库，整个数据库由原始图像和特征文件两部分构成。（２）以Ｂ／Ｓ架构在客户端建立导购平台，用户可选择库中图像或其它图像作为输入进行检索，检索结果返回客户果图中同时含有商品价格、相应网络商家链接。单击结果图，将可以该张结果图作为输入图进行新一轮的检索。端。（３）基于感性认知的相似性显示检索结果。３．１）根据图像的颜色、形状、图案特征，以及款式、风格主观特征对检索结果进行排序。３．２）显示页面中，以基于相似性的顺序排列或者基于特征的纵横交错布局，分别根据颜色、形状、图案特征的相似度进行排序。３．３）显示页面中，每张结果图同时含有商品价格、商家链接、比价链接等多种属性。其中，所述步骤（１．１）中，所述图像掩膜区域的获取方法是：采用目标自动定位方法，粗略估算图像中目标物体所在的长方形区域。对于自动定位不准确的图像，采用人工画框确定长方形区域。确定长方形区域后，利用图像分割算法获得目标的非规则性准确区域，即掩膜区域。所述步骤（１．２）中，图像的颜色特征获取方法为：首先将红、绿、蓝三原色进行量化，形成有限个格子。根据量化后的颜色分布，得到颜色直方图。取前Ｎ位颜色为初始聚类中心，利用Ｋ－均值算法进行颜色聚类。将最终聚类后的颜色从红、绿、蓝三原色转换到色调－饱和度－亮度颜色空间。色调－饱和度－亮度颜色空间空间被量化为Ｍ级，分别是Ｈ值Ｍ↓［１］级，Ｓ值和Ｖ值各Ｍ↓［２］级。最终将转换后的色调－饱和度－亮度颜色空间颜色分类以及该类颜色占的比重保存到特征文件。所述步骤（１．３）中，图像的形状特征获取方法为：在掩膜区域利用Ｎ线法，衡量每条线和掩膜区域宽度的比例，以Ｎ条线的比例值数组作为形状特征。而对于箱包之类的图像，形状特征还包括长宽比。所述步骤（１．４）中，图像的图案特征获取方法为：首先采用目标自动定位方法，粗略估算掩膜区域区域中图案所在的长方形区域。对于自动定位不准确的图像，采用人工画框确定长方形区域。确定长方形区域后，获取图案区域的缩放、旋转不变的特征变换ＳＩＦＴ特征作为图案特征。所述步骤（１．５）中，整个...

【技术特征摘要】

【专利技术属性】
技术研发人员：王海洋，黄琦，徐舒畅，郑聃，林建聪，
申请(专利权)人：杭州淘淘搜科技有限公司，
类型：发明
国别省市：86[中国|杭州]