本发明专利技术属于图像检索技术领域，具体为一种基于图像动态分割的手绘草图图像检索方法与系统。本发明专利技术具体步骤为：数据库图像预处理；图像兴趣点局部特征提取；图像动态分割处理；图像兴趣点全局特征提取；图像兴趣点特征构造；手绘草图特征提取；图像-手绘草图相似性计算,相似性最高的K幅图像将作为最后的检索结果返回给用户。其中涉及四个主要算法：局部特征自适应量化算法、基于兴趣点分布的图像动态分割算法、基于兴趣点分布的全局特征提取算法、图像-手绘草图分区域加权相似性算法。本发明专利技术对于海量图像的检索具有非常重要的意义，能够很好的解决基于文本的图像检索的缺点，提高图像的检索精度，增强用户体验，在图像检索领域具有广泛的应用价值。
【技术实现步骤摘要】
本专利技术属于图像检索
，具体涉及一种基于图像动态分割的手绘草图图像 检索方法与系统。
技术介绍
在过去的十多年中，随着网络的不断发展以及电子照相机等数码设备的流行，无 论是在线上或者线下，图片数据均有着爆发式的增长。举例而言，图片分享网站Flickr每 天拥有超过百万规模的图片上传量。那么如果用户想从如此庞大的图片数据集合中寻找特 定的图片，仅仅通过简单的浏览方式来进行图片检索将耗费大量的时间和精力。在这样的 情况下，用户需要一种更加有效的图片检索方式。 基于文本的图片检索（Text-Based Image Retrieval)是一种常见的图片检索方 式，已被google、baidu、yahoo、bing等网络搜索引擎所使用。用户可以通过输入待检索图 片的关键字来进行相关图片的检索。但是，该类方法通常需要事先知道图片中的语义信息， 但是并非所有图片都拥有与之相关的语义信息。使用人工标注这些信息无疑是巨大的工作 量，而基于图片上下文提取关键字或者自动标注等方式则存在一定的局限性 。另一方面， 对于一些非常复杂的图片，很难使用简单的文本来进行描述。除了基于文本的方式来进行 图片检索以外，还有一些网络搜索引擎如google、baidu、tineye等提供了相似图片检索或 者以图找图的功能，用户可以提供一张图片来检索与该图片相似的图片。尽管用户可以通 过提供图片的网络地址或者自行从本地上传图片等多种方式来进行检索，但是其仍存在一 定的不足。因为在某些情况下，用户可能无法提供可供检索使用的图片。 手绘草图检索（Sketch-Based Image Retrieval) 的目的在于通过用户提供 的手绘草图，检索出与之相关的图片。不同于上述基于文本的图片检索和相似图片检索的 方式，手绘草图检索拥有更大的灵活性。因为用户可以通过自行绘制草图来决定待检索图 片的轮廓分布、大小以及位置等信息。而且伴随着触摸式输入设备如平板电脑、触屏手机等 的流行，用户可以随时随地方便的绘制草图。实际上，人类在很早以前就已经开始使用草图 来记述信息，不少古代象形文字则是由现实生活中对应物体的形状演化而来。一般而言，用 户所绘制的草图主要包含了物体内部和外部的轮廓信息，而许多物体所对应的轮廓中包含 了足够的信息可以让人识别出该物体具体的类别。Eitz 等研宄了人类对于手工绘制的草 图的识别情况，在其实验中，对于生活中常见的物体，手工绘制其所对应的草图。在使用这 些草图进行物体识别时，实验人员可以达到76%左右的准确率。这说明手绘草图可以在一 定程度上描述物体的结构与轮廓信息，那么如果可以充分的利用这些信息，则可以通过手 绘草图的来进行相关图片的检索。 尽管基于内容的图像检索在近些年来受到了越来越多的关注，但是其中专门针对 于手绘草图检索的研宄并不是非常的丰富。手绘草图检索首先需要解决的问题是如何衡量 一张草图与一张图片之间的相似程度。对于该问题，目前主要的方法是基于区域之间的匹 配方法和基于边界点之间的匹配方法。而对于如何提高手绘草图检索效率这一问题，目前 主要是通过建立反向索引及通过对特征进行聚类以减少搜索量等方式来进行优化。在手绘 草图检索当中，手工所绘制的草图所表示的物体与待检索图片中存在的对应物体的位置、 大小、角度等都有可能有存在一定得差异 。比如用户在草图的中心绘制了一个花瓶，而 在实际图片中，花瓶可能出在图片中的任何一个位置，并且大小可能有一定得差异，轮廓也 无法完全与手绘草图中的内容保持一致。那么，在计算一张草图与一张图片之间的相似度 的时候，应当考虑到这类由仿射变换所导致的差异。 根据是否对图像进行分割可以把手绘草图检索方法分为基于全局匹配（不对图 像进行分割）的检索算法和基于分割的检索算法。视觉词袋模型（Bag-of-Visual-Word)被 广泛应用在基于全局匹配的检索框架中 。借鉴于文本检索中所使用的Bag of Words模 型，视觉词袋模型尝试将图片描述为视觉单词的集合。但是与文本检索不同：（1)对于图片 而言，单个像素点通常无法像文本中的单词那样具有特定的含义；（2)在图片中，边界是很 模糊的概念，无法与文本中的词、语句、段落等相对应。因此，视觉单词（visual word)通常 由特征描述符聚类得出。在一个典型的视觉词袋的框架中，首先对所有图片提取计算某种 特征描述符(如SIFT 、!1(?等)，然后使用无监督的聚类如kmeans等方法将特征聚为k 个类，称之为codebook。然后对于每一张图片，都可以根据codebook来统计出视觉单词的 直方图分布。那么在检索时，对于输入的草图可以计算其视觉单词的直方图分布，然后通过 比较直方图之间的差异来进行相关图片的检索。视觉词袋方法虽然可以在一定程度上提高 检索的速度，但是对于精确度会造成一定的损失，这是由于对于特征进行聚类所导致的。如 果在聚类中codebook选的过大，则对于速度的提升不够显著。反之，如果codebook选取的 过小，则可能无法充分的描述待检索图片特征的中心点分布。目前对于codebook的选取， 在手绘草图检索的部分研宄工作中主要是通过经验以及实验对比来进行选择。 在视觉词袋模型中选择何种特征描述符表示图像和手绘草图很大程度上决定了 最后的检索精度，在计算机视觉领域中已经存在着许多经典的特征描述符用来表征图像并 取得了良好的效果，比如颜色分布直方图 、边缘直方图、SIFT特征、HOG特征，然而手绘 草图和自然图像之间存在着非常明显的区别，手绘草图仅仅由一些简单的黑白线条组成， 其包含的信息非常少，直接把自然图像中的特征描述符应用到手绘草图上往往不能取得很 好的检索效果。基于此，许多研宄致力于寻找更优的特征描述符，这种更优的特征描述符 不仅能很好的表征自然图像同时也能很好的表征手绘草图，如Hu 等提出了一种新的特 征描述符Gradient Field HOG (GF-HOG)并把它用在了视觉词袋模型中，这种新的特征 描述符是HOG特征描述符的变体，在Hu等的工作中，其对于每张图像，首先计算其梯度场 (Gradient Field)分布，然后再使用HOG方法来提取特征进行匹配计算。其中图像的梯度 场是由图像原始的边界分布估算所得的，GF-HOG中使用了 Poisson filling方法进行估 算。由于是对于梯度场的分布未知信息，因此该方法的结果很大程度上依赖于该未知信息 的估算。根据Hu等的实验表明，在手绘草图检索当中，该方法相比于直接应用方向梯度直 方图的方法可以取得更好的效果。 视觉词袋模型应用在手绘草图检索系统中最大的缺点是视觉词袋模型只是统计 了每个视觉单词在图像中出现的频率而完全忽略了视觉单词在图像中出现的空间位置 ，然而由于手绘草图仅有一些黑白线条组成，这些线条的相对位置确定了手绘草图的形 状，因此视觉单词的空间位置信息对于手绘草图非常重要，丢失视觉单词的空间位置信息 将会很大程序上降低检索精度。基于此，很多研宄致力于把图像分割成若干个区域，然后 从这些区域中分别提取特征描述符并按一定的顺序串联在一起作为图像的全局特征描述 符。在图像和手绘草图的匹配过程中，只有相同区域中的特征描述符才会进行比本文档来自技高网...
【技术保护点】
一种基于图像动态分割的手绘草图图像检索方法，其特征在于具体步骤如下：(1) 数据库图像预处理，针对图像数据库中的每一个图像，用globalPb边缘检测算法进行边缘检测，得到每一个图像的边界图像；(2)图像兴趣点局部特征提取,对于图像上的每一个兴趣点，计算其局部特征，计算分为两个部分：第一个部分是计算每个兴趣点的HOG特征，第二个部分是将HOG特征通过局部特征自适应加权量化算法进行量化，量化后得到的特征作为每一个兴趣点最终的局部特征；(3)图像动态分割处理,根据图像上兴趣点的分布情况将图像数据库中的每一个图像分割为一系列大小不等的矩形区域；对于兴趣点越密集的区域，将其分割为更小的子区域，在这些更小的子区域上进行更细致的匹配；(4)图像兴趣点全局特征提取，全局特征表征的是在分割后的一系列的矩形区域中某个兴趣点在这个区域中的空间位置信息，采用基于兴趣点分布的全局特征提取算法计算得到图像兴趣点全局特征；(5)图像兴趣点特征构造，经过步骤(2)和步骤(4)，对于图像上的每一个兴趣点都得到了其局部特征和全局特征，图像兴趣点特征构造就是把这个局部特征和全局特征结合在一起作为每个兴趣点最终的特征；(6)手绘草图特征提取，对于用户提交给检索系统的手绘草图，将其上的每一个边界点当做兴趣点，然后，对于每一个兴趣点分别计算其局部特征和全局特征，最后构造得到兴趣点最终的特征；(7)图像‑手绘草图相似性计算,计算手绘草图和图像数据库中的每一个图像之间的相似性，对于每一个图像，首先，对其进行边界点筛选，只保留那些在视觉上对于表现物体结构比较重要的边界点以提升图像和手绘草图的之间的相似性；然后，采用基于图像‑手绘草图分区域加权相似性算法计算手绘草图和每一个图像之间的相似性，相似性最高的K幅图像将作为最后的检索结果返回给用户。...
【技术特征摘要】
【专利技术属性】
技术研发人员：金城，王浙明，袁建伟，张玥杰，薛向阳，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。