一种基于手绘风格推荐的图像检索方法及系统技术方案

本发明专利技术实施例公开了一种基于手绘风格推荐算法的图像检索方法及系统，其中，该方法包括：从现有图片数据库中提取待检索图片及获取用户的手绘草图，对所述待检索图片及所述手绘草图进行提取处理，获得所述待检索图片及所述手绘草图的图像特征；记录当前用户手绘草图的绘画风格，更新至历史用户手绘风格数据库中，对其进行计算、预测处理，获得与当前用户的手绘风格最相似的前10位历史用户手绘风格图片；获取所述与当前用户的手绘风格最相似的前10位历史用户手绘风格的用户检索行为记录数据，进行计算判断处理，获得与当前用户手绘草图最为相似的图片推荐给当前用户。实施本发明专利技术实施例，能够通过挖掘手绘风格的深层语义信息提高检索的准确率，加快检索效率，减少检索时间。

An Image Retrieval Method and System Based on Hand-drawn Style Recommendation

The embodiment of the present invention discloses an image retrieval method and system based on the hand-drawn style recommendation algorithm, which includes: extracting the pictures to be retrieved from the existing picture database and obtaining the user's hand-drawn sketches, extracting and processing the pictures to be retrieved and the hand-drawn sketches, obtaining the image features of the pictures to be retrieved and the hand-drawn sketches, and recording the current situation; The drawing style of the user's hand-drawn sketch is updated to the database of the historical user's hand-drawn style, calculated and predicted, and the top 10 historical user's hand-drawn style pictures which are most similar to the current user's hand-drawn style are obtained; the first 10 historical user's hand-drawn style data of the user's retrieval behavior records which are the most similar to the current user's hand-drawn style are obtained for calculation and judgment. Processing, get the most similar picture to the current user's sketch and recommend it to the current user. The embodiment of the present invention can improve the retrieval accuracy, speed up the retrieval efficiency and reduce the retrieval time by mining the deep semantic information of the hand-drawn style.

【技术实现步骤摘要】
一种基于手绘风格推荐的图像检索方法及系统
本专利技术涉及计算机视觉及图像检索
，尤其涉及一种基于手绘风格推荐的图像检索方法及系统。
技术介绍
伴随着互联网与移动终端的飞速发展，图片作为信息的主要载体之一早已融入到人们生活的方方面面。数据量的激增，使人们不得不面临这样一个问题：如何快速有效地从庞大的图片集中筛选出自己想要的内容。目前，对于解决图像检索问题，绝大多数检索系统采用的是基于图像内容检索的方法，即通过查询每张图片事先标注好的“关键字”来进行“关键字”的检索，当然这里的“关键字”并不是文字，而是图像的颜色、纹理、形状、空间位置关系等特征。但CBIR并不能完全满足用户的需求。例如，用户所想要检索的图片并没有数字格式，即图像存于大脑，无法使用CBIR以图搜图，用户也无法通过语言来描述该图，或描述过程过于复杂，或描述方式不够准确。鉴于上述场景，行之有效的方法就是让用户将脑海里的图片，以草图的形式绘制下来，然后通过草图来检索图片：提取图片库的特征，与检索请求中草图的特征进行相关度计算，系统返回相关度排序后值最大的前k张图片，记作top-k，该top-k序列的图片子集即是检索结果，这就是基于草图的图像检索的核心思路。由于使用草图检索图片的步骤属于“跨域”的过程，即如何将草图与图片联系在一起。现有的SBIR系统多采用提取图片边缘的方式来连接草图域与图片域：使用图像边缘提取算子，提取图片边缘，然后对边缘提取特征，与草图的特征进行比较。目前手绘草图检索系统面临的难题有三方面：1)特征表示：将手绘的线条图与图片库中的图片以一种计算机能够识别的数据形式进行表示。绝大多数的手绘图特征表示形式一般分为三个类别，分别是全局特征描述符、局部特征描述符、混合特征描述符。a)全局特征描述符：从全局出发，着重描述图片整体内容，例如图片的颜色、空间结构信息。它拥有较局部特征描述符特征空间更小、匹配速度更快的优点，但由于是“宏观”的描述，所以缺失图像细节，匹配准确率低。b)局部特征描述符：与全局特征描述符的描述方式相反，它是从单张图片的某一特定区域提取特征，着重于图像细节的刻画，因此较全局特征描述符，其匹配准确率更高，这也是近年来SBIR系统最为推崇的特征描述方式。c)混合特征描述符：一种从提取图像显著区域的轮廓入手，将问题域转换到三维模型检索中，使用草图轮廓检索图像轮廓。2)特征匹配：根据特征表示方法，定义合理的度量来匹配手绘草图与图片的特征，从而计算两者的相似度。通过对相似度数据顺序排序，手绘草图检索系统返回与手绘草图最相似的图片。3)建立索引结构：由于现实生活中图片库的数量级是百万级别，当进行手绘草图检索的时候，检索系统会依次比较图片库中所有图片与手绘草图的相似度，返回最相似的检索结果。若希望系统能够在极短时间内返回检索结果，则需要建立一种有效的检索结构，优化手绘草图-图像的匹配顺序，加速系统的检索速度，使得系统检索又快又准。目前较为成熟的手绘检索系统是于2010年被提出的基于BoF框架、使用改进HOG特征描述算法SHOG的手绘检索系统。该系统分为两个部分：手绘草图特征提取部分，以及特征匹配部分，分别对应着特征描述算法SHOG与BoF框架。1)特征描述算法SHOG不同于HOG的全局特性，SHOG是局部特征描述子，在提取出图像的边缘(黑色粗线条表示)后，对图像进行随机采样，对每个采样点(浅色圆圈)进行如下操作：以该点为中心，设置网格，统计每个包含边缘的网格的HOG特征，后得到所有采样点的HOG特征集合，称之为SHOG特征。2)BoF框架本框架将每张图像(手绘草图与待检索图片)的特征空间中的每个特征向量视作一个视觉词汇，而整个特征空间则是由多个视觉词汇构成的视觉文档，所有图像视觉词汇集合称之为视觉词袋。在进行草图-图片匹配的时候，BoF框架将两者特征空间的比较转化成了两者视觉文档的比较，这是一种类似特征空间降维的过程，加快了特征匹配速度，使本系统能够在百万级别的图库中进行快速查询。其流程描述如下：a)设置视觉词袋的数目；b)以上步设定的视觉词袋的数目作为类心数目，对所有图片的特征向量集合进行聚类操作，聚类操作得到的类心集合视为该图片集合的视觉词袋；c)统计每张图像(手绘草图与待检索图片)拥有的视觉词汇数目，即计算每张图像的特征向量与视觉词袋中的视觉词汇i的特征向量的欧式距离，若小于设定阈值，则视该图像拥有视觉词汇i，统计结果记为本图像的视觉文档特征；d)使用TF-IDF算法对视觉文档特征集合进行加权处理；e)计算手绘草图的视觉文档特征与图片集的视觉文档特征集合的欧式距离，对距离结果进行倒排索引，返回top-k作为检索结果。但前述的手绘检索系统拥有两方面的缺陷：1)未建立索引结构或是进行类似的优化处理现有技术一使用了BoF框架加快了特征匹配速度，使系统能够在百万数量级别的图片数据库中进行手绘草图检索操作。但面对亿万数量级别的图片数据库，未建立合理的索引结构，系统的检索速度将大幅度地减缓，并且，若按照现有技术一的特征匹配步骤，需要将图片数据库中所有图片特征均载入到系统内存中，后对每例特征计算欧式距离得到相似度，上述步骤将会加剧系统的运算消耗。因此，将现有技术一应用到亿万数量级别图片数据的场景中是不合理的。2)检索准确率较低直观上讲，导致系统检索准确率较低的主要原因是图像(手绘草图与待检索图片)特征描述符未能提取到完整、准确表达该图像内容的图像特征，现有的提高系统检索准确率的一般方法即是修改、优化某一特定的特征描述符。深层次讲，由于人类手绘风格的多样性，一位没有接受过绘画训练的人所绘制的草图是粗糙、抽象、单一的，导致这张手绘草图含有极少的图像特征信息，图像特征的缺失将会极大地影响特征匹配效果，进一步影响系统检索的准确率。因此，如果能够挖掘人类手绘的风格信息，减少因为主观绘画风格所带来的歧义性，将会从源头上提高系统的检索准确率。
技术实现思路
本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于手绘风格推荐算法的图像检索方法及系统，通过挖掘手绘风格的深层语义信息提高了系统的检索准确率。使用图像特征度量人类的绘画风格、习惯，通过挖掘绘画风格的深层语义信息，为使用本手绘检索系统的当前用户推荐与之手绘风格近似的历史用户，检索历史用户的历史检索记录，若特征匹配成功，则返回该条历史检索记录；建立了历史用户检索信息数据库，通过减小特征匹配数据量的方式提高了系统检索效率。本系统在每个用户完成检索步后记录用户的检索历史，构成历史用户检索图片数据集，以历史用户检索信息数据库的形式储存于服务器，其图片数量级是远小于待检索图片数量级的，当对历史用户检索图片数据集进行检索的时候，减少了特征匹配的数据量，加快了系统检索的效率。为了解决上述问题，本专利技术提出了一种基于手绘风格推荐的图像检索方法，所述方法包括：从现有图片数据库中提取待检索图片及获取用户的手绘草图，对所述待检索图片及所述手绘草图进行提取处理，获得所述待检索图片及所述手绘草图的图像特征；记录当前用户手绘草图的绘画风格，更新至历史用户手绘风格数据库中，对其进行计算、预测处理，获得与当前用户的手绘风格最相似的前10位历史用户手绘风格图片；获取所述与当前用户的手绘风格最相似的前10位历史用户手绘风格本文档来自技高网...

【技术保护点】
1.一种基于手绘风格推荐的图像检索方法，其特征之一在于，所述方法包括：从现有图片数据库中提取待检索图片及获取用户的手绘草图，对所述待检索图片及所述手绘草图进行提取处理，获得所述待检索图片及所述手绘草图的图像特征；记录当前用户手绘草图的绘画风格，更新至历史用户手绘风格数据库中，对其进行计算、预测处理，获得与当前用户的手绘风格最相似的前10位历史用户手绘风格图片；获取所述与当前用户的手绘风格最相似的前10位历史用户手绘风格图片的用户检索行为记录数据，进行计算判断处理，获得与当前用户手绘草图最为相似的图片推荐给当前用户。

【技术特征摘要】
1.一种基于手绘风格推荐的图像检索方法，其特征之一在于，所述方法包括：从现有图片数据库中提取待检索图片及获取用户的手绘草图，对所述待检索图片及所述手绘草图进行提取处理，获得所述待检索图片及所述手绘草图的图像特征；记录当前用户手绘草图的绘画风格，更新至历史用户手绘风格数据库中，对其进行计算、预测处理，获得与当前用户的手绘风格最相似的前10位历史用户手绘风格图片；获取所述与当前用户的手绘风格最相似的前10位历史用户手绘风格图片的用户检索行为记录数据，进行计算判断处理，获得与当前用户手绘草图最为相似的图片推荐给当前用户。2.根据权利要求1所述的一种基于手绘风格推荐的图像检索方法，其特征之一在于，所述对所述待检索图片及所述手绘草图进行提取处理的具体步骤包括：获取所述待检索图片及所述手绘草图进行灰度化处理，获得灰度检索图；对所述灰度检索图进行高斯滤波处理，获得滤波结果；将所述滤波结果进行边缘检测处理后提取出边缘图像；将所述检索图片中所有层次中所述提取的边缘图像进行融合，取边缘属性为1的点集进行随机采样，提取出其特征进行整合，获得所述检索图片的图像特征集。3.根据权利要求1所述的一种基于手绘风格推荐的图像检索方法，其特征之一在于，所述与当前用户的手绘风格最相似的前10位历史用户手绘风格图片的具体步骤包括：对当前用户的手绘草图风格相似矩阵存储至历史用户手绘风格数据库中，进行更新成用户手绘风格数据库；对所述用户手绘风格数据库利用设置词袋大小为3500的BoF框架进行计算相似度，为用户手绘风格相似矩阵赋值：Ui,j＝[similarity(Ri,m,Rj,n)]m*n其中，Ui,j表示第i位用户与第j位用户间的手绘风格相似度矩阵，Ri,m表示第i位用户绘制草图所匹配第m张图片的草图特征，若第i位用户与第j位用户分别绘制了m、n张草图，那么Ui,j的矩阵大小应为m*n。对所述用户手绘风格相似矩阵进行分解，预测填补所述用户手绘风格相似矩阵缺失值，获取分解结果存储至历史用户手绘风格数据库中，进行再更新处理；根据预测填补缺失值后的用户手绘风格相似矩阵，将历史用户手绘风格与当前用户手绘风格的相似度按由大到小排序，获得与当前用户的手绘风格最相似的前10位历史用户手绘风格图片。4.根据权利要求1所述的一种基于手绘风格推荐的图像检索方法，其特征之一在于，所述获得当前用户手绘草图最为相似的图片作为当前用户手绘风格图片推荐给用户的具体步骤包括：获取所述与当前用户的手绘风格最相似的前10位历史用户手绘风格图片的用户历史检索图片及当前用户手绘草图的图像特征，利用BoF框架进行计算相似度；获得所述与当前用户的手绘风格最相似的前10位历史用户手绘风格图片的用户历史检索图片Top-50的图片作为潜在检索结果；对潜在检索结果进行判断处理，当所述潜在结果的最大相似度高于设定的阈值0.3时，判断为所述潜在结果符合当前用户的检索图片...

【专利技术属性】
技术研发人员：姜俊锟，林淑金，周凡，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44