一种基于草图的交互式图像搜索与融合方法技术

一种基于草图的交互式图像搜索与融合方法，包括下列操作步骤：(1)图像库建立索引文件过程；(2)基于草图获得图像检索结果过程；(3)图像融合过程。本发明专利技术方法在整体处理时间上相对于Sketch2Photo大大缩短，而且提供了更加自由化的用户交互，而相比于Photosketcher，本发明专利技术方法能够提供较高的检索精度，并大大减少用户检索的次数，为用户提供更加合理、丰富的素材。

A method of interactive image search and fusion based on sketches

A sketch based interactive image search and fusion method includes the following steps: (1) image library building index file process; (2) getting image retrieval results based on sketch; (3) image fusion process. The method of the invention is greatly shortened compared with Sketch2Photo in the overall processing time, but also provides more free user interaction, and compared to the Photosketcher, the method of the invention can provide higher retrieval precision, and greatly reduce the number of users, to provide more reasonable and rich material for the user.

【技术实现步骤摘要】
一种基于草图的交互式图像搜索与融合方法
本专利技术涉及一种基于草图的交互式图像搜索与融合方法，属于信息
，特别是属于计算机视觉

技术介绍
随着社交网络的普及，人们对图像进行处理的需求越来越旺盛。一些简单易用的图像处理软件变得十分火热。分析其成功背后的原因，无非是为非专业用户提供了简单方便的图像编辑的平台。但目前为止还没有一款软件为用户提供简易的自由图像合成的功能。早在2010年左右，已经有研究人员针对于方便、快捷的合成一幅图像进行了研究。核心问题是如何方便快捷的获取目标物体以及背景图像？目前可用的检索手段只有两种：基于文本的图像检索以及基于草图的图像检索。单一的依靠文本检索，往往难以获得满足特定形状特征的物体；而仅仅依靠目前的草图检索技术，在检索精度上又会大打折扣。Sketch2Photo(参见Chen,T.,Cheng,M.,Tan,P.,Shamir,A.,Hu,S.2009.Sketch2Photo:InternetImageMontage.ACMTrans.Graph.28,5,Article124(December2009),10pages.DOI＝10.1145/1618452.1618470)将两种方式相结合，实现了自动由草图合成真实图片。但直接在线处理互联网上的图片，经过层层过滤来找到满足合成需要的图片往往需要很长时间，难以满足用户需求。为了满足时间的需求，就需要对图片提前进行离线的预处理，这就需要自建图像库。Photosketcher(参见EitzM,RichterR,HildebrandK,BoubekeurT,AlexaM.Photosketcher:interactivesketch-basedimagesynthesis.IEEEComputGraphAppl.2011Nov-Dev；31(6):56-66.doi:10.1109/MCG.2011.67)采用了离线式图像库进行图像检索，不需要附加文本信息。这样虽然加快了检索速度，但精度却难以令人满意。其中一个原因是：photosketcher采用的特征提取的方法对于图像的位置、方向、尺寸上存在局限性，在BOVW模型下无法考虑特征点的空间位置信息。目前已有的草图检索技术，图像库中的图片往往是图标型图片或者场景，还没有人对日常生活中自然场景下图片进行过检索。而且就目前的应用场景来说，减少用户检索的次数，为用户返回更加精准丰富的物体素材才是检索的重点。因此如何通过草图来对日常生活中自然场景图片进行检索，并将检索物体与目标场景合成成为目前计算机视觉领域一个急需要解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的是专利技术一种方法，实现以日常复杂场景图片为图片库，用户只需要输入某一物体的草图，就能返回出现该物体的场景图像，并将检索物体与目标场景合成。为了达到上述目的，本专利技术提出了一种基于草图的交互式图像搜索与融合方法，所述方法包括下列操作步骤：(1)图像库建立索引文件过程，具体内容是：将图像库中源图像分割为只包含单一物体的子图像，记录其映射关系；获取子图像中物体轮廓，并且利用GF-HOG算法计算其对应的特征向量；根据BoVW视觉词袋模型，对所得特征向量进行聚类，获得视觉词典；然后对每一子图计算其视觉单词词频的统计直方图；按照倒排索引的方式，建立所述图像库的索引文件；(2)基于草图获得图像检索结果过程，具体内容是：根据用户输入的草图，计算该草图的特征向量；根据步骤(1)中所得到的视觉词典，获取草图的统计直方图；根据该直方图，利用步骤(1)所得的索引文件，计算草图与各子图像的相似度，对子图像按照相似度进行排序；结合子图像的标签信息，对排序结果进行反馈；根据步骤(1)中所述的映射关系，将子图像所对应的源图像返回给用户；(3)图像融合过程，具体内容是：从所述步骤(2)获得的检索图像，使用Grabcut算法抠出所需要的物体；使用Possion融合方法把抠出的物体放进背景图像，实现图像融合。所述步骤(1)中获取子图像中物体轮廓的具体内容是包括如下操作步骤：(1101)使用物体检测算法YOLO，对图像库中每一幅图像中的物体进行检测，获得只包含单个物体的子图像、其对应的标签信息以及标签准确度；(1102)对上述的每个子图像，使用显著性区域检测算法SaliencyCut进行显著性区域检测，将子图像中前景即物体与背景分割开，形成二值化图像；(1103)对上述的二值化图像，使用Canny算法计算得到物体的轮廓。所述步骤(1)中根据所得到的子图像中物体轮廓，计算其对应的特征向量的具体内容是包括如下操作步骤：(1201)首先，以二值化轮廓图M作为输入，其中M(x,y)＝1表示轮廓像素点,M(x,y)＝0表示非轮廓像素点，x,y分别表示像素点的行和列坐标，运用以下公式求得轮廓像素点的梯度方向θ(x,y)，从而获得轮廓图M的稀疏梯度方向场Ψ：(1202)在保持轮廓像素点梯度方向不变的情况下，对非轮廓像素点的梯度方向进行插值处理，从而获得稠密梯度方向场ΘΩ；同时为使所述的稠密梯度方向场ΘΩ在整个图像坐标Ω∈R2满足平滑性，需要对稠密梯度方向场ΘΩ进行拉普拉斯平滑约束，具体如下式：该式中，Θ表示待求的像素点的梯度方向，Ω表示整个图像坐标，∫∫Ω是在整个图像坐标系中对运算符内数值求积分操作，表示求梯度操作，v是对所述的稀疏梯度方向场Ψ计算其梯度后得到的引导场，即||||2表示对运算符内数值求模的平方，表示轮廓像素点，θ是轮廓像素点的梯度方向；(1203)在满足狄利克雷边界条件的基础上，上式用如下泊松方程来进行求解：该式中，表示拉普拉斯算子，div是求散度操作，上述方程在离散状态下可表示为如下方程：其中，对于图像中任一像素点p，Np表示像素点p的四个邻域点的集合，在四邻域条件下|Np|＝4，q表示Np内一点，表示轮廓像素点，vpq＝θp-θq，该式可以通过求解线性代数的方式进行求解，从而获得所述的稠密梯度方向场ΘΩ；(1204)在获得所述的稠密梯度方向场ΘΩ后，以轮廓像素点为中心，利用HOG算法对ΘΩ进行多尺度采样，构造该轮廓图的特征向量。所述步骤(1)中对所计算得到的物体的特征向量进行聚类所采用方法是k-means聚类方法。步骤(1)中所述的按照倒排索引的方式，建立所述图像库的索引文件的具体内容是包含如下操作步骤：(1301)根据BoVW模型，将所有子图像的词频统计直方图合并在一起组成一个N行K列的直方图矩阵，其中N为图像库中子图像的个数，K为聚类中心数，将矩阵保存到文件中；(1302)按列遍历上述直方图矩阵，统计每一列中值不为0的图像的标号，并将统计结果写入文件中，这样就获得了所需要的倒排索引文件。所述步骤(2)的具体内容是包含如下操作步骤：(21)按照步骤(1)中所述方法，计算输入草图的特征向量；(22)利用步骤(1)中获得的视觉词典，统计视觉单词出现的频率，得到草图对应的统计直方图Q；(23)利用步骤(1301)和(1302)获得的倒排索引结构以及矩阵，计算查询草图与子图像的相似度，相似度公式定义如下：该式中，Q表示查询草图的统计直方图，Di表示图像库中子图像i的统计直方图，N是图像库中子图像的个数，p表示视觉词典中聚类中心的标号，fp是图像本文档来自技高网...

【技术保护点】
一种基于草图的交互式图像搜索与融合方法，其特征在于：所述方法包括下列操作步骤：(1)图像库建立索引文件过程，具体内容是：将图像库中源图像分割为只包含单一物体的子图像，记录其映射关系；获取子图像中物体轮廓，并且利用GF‑HOG算法计算其对应的特征向量；根据BoVW视觉词袋模型，对所得特征向量进行聚类，获得视觉词典；然后对每一子图计算其视觉单词词频的统计直方图；按照倒排索引的方式，建立所述图像库的索引文件；(2)基于草图获得图像检索结果过程，具体内容是：根据用户输入的草图，计算该草图的特征向量；根据步骤(1)中所得到的视觉词典，获取草图的统计直方图；根据该直方图，利用步骤(1)所得的索引文件，计算草图与各子图像的相似度，对子图像按照相似度进行排序；结合子图像的标签信息，对排序结果进行反馈；根据步骤(1)中所述的映射关系，将子图像所对应的源图像返回给用户；(3)图像融合过程，具体内容是：从所述步骤(2)获得的检索图像，使用Grabcut算法抠出所需要的物体；使用Possion融合方法把抠出的物体放进背景图像，实现图像融合。

【技术特征摘要】
1.一种基于草图的交互式图像搜索与融合方法，其特征在于：所述方法包括下列操作步骤：(1)图像库建立索引文件过程，具体内容是：将图像库中源图像分割为只包含单一物体的子图像，记录其映射关系；获取子图像中物体轮廓，并且利用GF-HOG算法计算其对应的特征向量；根据BoVW视觉词袋模型，对所得特征向量进行聚类，获得视觉词典；然后对每一子图计算其视觉单词词频的统计直方图；按照倒排索引的方式，建立所述图像库的索引文件；(2)基于草图获得图像检索结果过程，具体内容是：根据用户输入的草图，计算该草图的特征向量；根据步骤(1)中所得到的视觉词典，获取草图的统计直方图；根据该直方图，利用步骤(1)所得的索引文件，计算草图与各子图像的相似度，对子图像按照相似度进行排序；结合子图像的标签信息，对排序结果进行反馈；根据步骤(1)中所述的映射关系，将子图像所对应的源图像返回给用户；(3)图像融合过程，具体内容是：从所述步骤(2)获得的检索图像，使用Grabcut算法抠出所需要的物体；使用Possion融合方法把抠出的物体放进背景图像，实现图像融合。2.根据权利要求1所述的一种基于草图的交互式图像搜索与融合方法，其特征在于：所述步骤(1)中获取子图像中物体轮廓的具体内容是包括如下操作步骤：(1101)使用物体检测算法YOLO，对图像库中每一幅图像中的物体进行检测，获得只包含单个物体的子图像、其对应的标签信息以及标签准确度；(1102)对上述的每个子图像，使用显著性区域检测算法SaliencyCut进行显著性区域检测，将子图像中前景即物体与背景分割开，形成二值化图像；(1103)对上述的二值化图像，使用Canny算法计算得到物体的轮廓。3.根据权利要求1所述的一种基于草图的交互式图像搜索与融合方法，其特征在于：所述步骤(1)中根据所得到的子图像中物体轮廓，计算其对应的特征向量的具体内容是包括如下操作步骤：(1201)首先，以二值化轮廓图M作为输入，其中M(x,y)＝1表示轮廓像素点,M(x,y)＝0表示非轮廓像素点，x,y分别表示像素点的行和列坐标，运用以下公式求得轮廓像素点的梯度方向θ(x,y)，从而获得轮廓图M的稀疏梯度方向场Ψ：(1202)在保持轮廓像素点梯度方向不变的情况下，对非轮廓像素点的梯度方向进行插值处理，从而获得稠密梯度方向场ΘΩ；同时为使所述的稠密梯度方向场ΘΩ在整个图像坐标Ω∈R2满足平滑性，需要对稠密梯度方向场ΘΩ进行拉普拉斯平滑约束，具体如下式：该式中，Θ表示待求的像素点的梯度方向，Ω表示整个图像坐标，∫∫Ω是在整个图像坐标系中对运算符内数值求积分操作，表示求梯度操作，v是对所述的稀疏梯度方向场Ψ计算其梯度后得到的引导场，即||||2表示对运算符内数值求模的平方，表示轮廓像素点，θ是轮廓像素点的梯度方向；(1203)在满足狄利克雷边界条件的基础上，上式用如下泊松方程来进行求解：该式中，表示拉普拉斯算子，div是求散度操作，上述方程在离散状态下可表示为如下方程：

【专利技术属性】
技术研发人员：王敬宇，戚琦，赵宇，王晶，廖建新，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11