基于多视角融合的图像前景自动提取方法技术

本发明专利技术公开了一种基于多视角融合的图像前景自动提取方法，主要解决现有基于技术提取过程繁琐和提取前景边缘不精确的问题。其实现方案是：先对SVM分类器进行训练，再获取待提取图像的灰度图像；通过训练好的SVM分类器在灰度图像中检测包含前景的子图像；将子图像在待提取图像中的位置坐标作为GrabCut算法的输入，对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果；以SLIC算法对待提取图像生成超像素视角下的图像；将超像素视角下的图像和像素视角下的提取结果进行融合，得到待提取图像前景提取结果。本发明专利技术简化了前景提取过程，提高了提取的效率和精度，可用于立体视觉、图像语义识别，三维重建和图像搜索。

【技术实现步骤摘要】
基于多视角融合的图像前景自动提取方法
本专利技术属于图像处理
，更进一步涉及一种基于多视角融合的图像前景自动提取方法，本专利技术可用于立体视觉、图像语义识别，图像搜索等的应用与研究。
技术介绍
前景提取是一种在图像中提取感兴趣目标的手段。它把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，并且已经成为从图像处理到图像分析的关键步骤。具体解释为根据灰度、颜色、纹理和形状等特征把图像划分成若干互补交叠的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域间呈现出明显的差异。经过了几十年的发展与变化，前景提取逐步形成了自己的科学体系，新的提取方法层出不穷，已然成为了一个跨学科的领域，并且引起了各个领域的研究人员和应用人士的广泛关注，如医学领域，航空航天遥感领域，工业检测，安防与军事领域等。当前前景提取方法主要包括基于阈值的前景提取方法、基于边缘的前景提取方法、基于区域的前景提取方法、基于图切割的前景提取方法、基于能量泛函的前景提取方法和基于深度学习的图像前景提取方法等。其中基于图切割的前景提取方法因为提取精度高，操作简单而受到青睐，基于图切割的前景提取方法是一种基于图论的组合优化方法,根据用户的交互信息，它将一幅图像映射成一个网络图，并建立关于标号的能量函数，运用最大流最小割算法对网络图进行有限次的迭代切割，得到网络图的最小割，作为图像的前景提取结果。但是因为人机交互的存在，对多幅图像进行提取时，人工操作量太大，限制了其在工程中的应用。例如，MengTang等人2013年在2013IEEEInternationalConferenceonComputerVision上发表的《GrabCutinOneCut》，通过用户选择前景区域，然后将前景所在区域映射为图，通过OneCut对映射图进行有限次迭代切割，获得图像的前景提取结果，但是需要人机交互标定前景所在区域，导致前景提取过程比较繁琐，而且有限次的能量迭代优化只能获得较优解的最小割，难以得到精确的前景边缘。
技术实现思路
本专利技术的目的在于针对上述已有技术的不足，提出了一种基于多视角融合的图像前景自动提取方法，用于解决现有基于图切割的前景提取方法中，因为人机交互的存在导致的前景提取过程比较繁琐和有限次的能量迭代优化导致的前景边缘不精确的问题。为实现上述目的，本专利技术采取的技术方案包括如下：(1)对SVM分类器进行训练，得到训练好的SVM分类器；(2)对待提取图像进行灰度化，得到灰度图像；(3)通过训练好的SVM分类器，在灰度图像中检测包含前景目标的子图像pk；(3a)采用多尺度窗口，按照设定的间隔在灰度图像中进行逐行滑动，得到由多个子图像组成的图像集P＝{p1,p2,...pk,...,pq}，其中，k∈[1,q],pk为第k个子图像，q为子图像的数量；(3b)提取图像集P中各子图像pk的方向梯度直方图HOG特征，并将其输入到训练好的SVM分类器中进行分类，计算得到子图像pk的标签lpk；(3c)判断子图像pk的标签lpk是否为正，若是，则子图像pk包含前景目标，记录子图像pk在待提取图像的位置，即子图像pk左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，执行步骤(4)，否则，丢弃图像pk；(4)对待提取图像进行前景提取：采用子图像pk左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，对GrabCut算法的人机交互进行替换，并利用替换结果对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果S1(x,y)；(5)采用简单线性迭代聚类算法SLIC计算待提取图像的超像素，得到超像素视角下的图像：B＝{b1,b2,...,bi,...,bm}，i∈[1,m],bi为第i个超像素，m为超像素的数量；(6)对超像素视角下的图像B和待提取图像的像素视角下的提取结果S1(x,y)进行多视角融合，得到待提取图像前景S2(xi,yi)。本专利技术与现有技术相比，具有如下优点：1)本专利技术采用训练的SVM分类器获得待提取图像中前景所在的子图像，并采用子图像在待提取图像中的位置坐标替换GrabCut算法的人机交互获得的矩形区域作为算法输入，实现对待提取图像的前景提取，充分结合了SVM分类器和GrabCut算法，可以自动完成图像前景提取过程，解决了现有基于图切割的前景提取方法中，因为人机交互的存在导致的前景提取过程比较繁琐的问题，有效地提高了图像前景提取的效率。2)本专利技术采用SLIC算法对待提取图像进行超像素提取，充分利用了超像素块内一致性较好的特点，通过对超像素视角下的图像和像素视角下的提取结果进行融合，可得到待提取图像的前景精确提取结果，3)本专利技术通过引入超像素，使前景提取结果更加精确，平滑，解决了现有基于图切割的前景提取方法中，因为有限次的能量迭代优化导致的前景边缘不精确的问题，提高了图像前景提取的精度。附图说明图1是本专利技术的实现流程图；图2是本专利技术中的样本图像集结构图；图3是本专利技术中提取HOG特征的示意图；图4是本专利技术中对HOG特征的可视化展示图；图5是用本专利技术对行人、树叶作为前景的提取实验结果图。具体实施方式以下结合附图和具体实施例，对本专利技术作进一步详细描述。参照图1，基于多视角融合的图像前景自动提取方法，包括以下步骤：步骤1，对SVM分类器进行训练。(1a)采集含有前景类别的样本图像集，并对其中的所有样本图像进行灰度化，得到样本灰度图像集；含有前景类别的样本图像集的结构图如图2所示，其包含正样本、负样本和样本标签文件，其中正样本为包含前景的图像，负样本为不包含前景的图像，样本标签文件用于对正样本和负样本的类别和存储位置进行说明；所述的对样本图像集中的所有样本图像进行灰度化，是将样本图像中的三通道的红色分量R，绿色分量G，蓝色分量B，进行加权平均，得到样本图像的灰度图像灰度值Gray：Gray＝R×0.299+G×0.587+B×0.114；(1b)提取样本灰度图像集中各图像的方向梯度直方图HOG特征：参照图3，本步骤的具体实现如下：(1b1)将输入图像分为连通相邻且不重叠的若干个单元，在每个单元内计算像素的梯度幅值G(x,y)和梯度方向α(x,y)，计算公式分别为：其中，Gx(x,y)＝H(x+1,y)-H(x-1,y)表示输入图像中像素点(x,y)处的水平方向梯度，Gy(x,y)＝H(x,y+1)-H(x,y-1)表示输入图像中像素点(x,y)处的垂直方向梯度，H(x,y)表示输入图像中像素点(x,y)处的像素值；(1b2)将所有梯度方向α(x,y)划分为9个角度，作为直方图的横轴，每个角度范围所对应的梯度值累加作为直方图的纵轴，得到梯度直方图；(1b3)统计每个单元的梯度直方图，得到每个单元的特征描述子；(1b4)将8×8个单元组成一个块，串联一个块内所有单元的特征描述子，得到该块的方向梯度直方图HOG特征描述子；(1b5)将输入图像内所有块的方向梯度直方图HOG特征描述子进行串联，得到该输入图像的方向梯度直方图HOG特征，其中方向梯度直方图HOG特征的可视化展示图如图4所示，其中图4(a)为示例样图，图本文档来自技高网...

【技术保护点】
一种基于多视角融合的图像前景自动提取方法，其特征在于：(1)对SVM分类器进行训练，得到训练好的SVM分类器；(2)对待提取图像进行灰度化，得到灰度图像；(3)通过训练好的SVM分类器，在灰度图像中检测包含前景目标的子图像pk；(3a)采用多尺度窗口，按照设定的间隔在灰度图像中进行逐行滑动，得到由多个子图像组成的图像集P＝{p1,p2,...pk,...,pq}，其中，k∈[1,q],pk为第k个子图像，q为子图像的数量；(3b)提取图像集P中各子图像pk的方向梯度直方图HOG特征，并将其输入到训练好的SVM分类器中进行分类，计算得到子图像pk的标签lpk；(3c)判断子图像pk的标签lpk是否为正，若是，则子图像pk包含前景目标，记录子图像pk在待提取图像的位置，即子图像pk左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，执行步骤(4)，否则，丢弃图像pk；(4)对待提取图像进行前景提取：采用子图像pk左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，对GrabCut算法的人机交互进行替换，并利用替换结果对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果S1(x,y)；(5)采用简单线性迭代聚类算法SLIC计算待提取图像的超像素，得到超像素视角下的图像：B＝{b1,b2,...,bi,...,bm}，i∈[1,m],bi为第i个超像素，m为超像素的数量；(6)对超像素视角下的图像B和待提取图像的像素视角下的提取结果S1(x,y)进行多视角融合，得到待提取图像前景S2(xi,yi)。...

【技术特征摘要】
1.一种基于多视角融合的图像前景自动提取方法，其特征在于：(1)对SVM分类器进行训练，得到训练好的SVM分类器；(2)对待提取图像进行灰度化，得到灰度图像；(3)通过训练好的SVM分类器，在灰度图像中检测包含前景目标的子图像pk；(3a)采用多尺度窗口，按照设定的间隔在灰度图像中进行逐行滑动，得到由多个子图像组成的图像集P＝{p1,p2,...pk,...,pq}，其中，k∈[1,q],pk为第k个子图像，q为子图像的数量；(3b)提取图像集P中各子图像pk的方向梯度直方图HOG特征，并将其输入到训练好的SVM分类器中进行分类，计算得到子图像pk的标签lpk；(3c)判断子图像pk的标签lpk是否为正，若是，则子图像pk包含前景目标，记录子图像pk在待提取图像的位置，即子图像pk左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，执行步骤(4)，否则，丢弃图像pk；(4)对待提取图像进行前景提取：采用子图像pk左上角的像素在待提取图像的相应位置(xmin,ymin)和右下角的像素在待提取图像的相应位置(xmax,ymax)，对GrabCut算法的人机交互进行替换，并利用替换结果对待提取图像进行前景提取，得到待提取图像的像素视角下的提取结果S1(x,y)；(5)采用简单线性迭代聚类算法SLIC计算待提取图像的超像素，得到超像素视角下的图像：B＝{b1,b2,...,bi,...,bm}，i∈[1,m],bi为第i个超像素，m为超像素的数量；(6)对超像素视角下的图像B和待提取图像的像素视角下的提取结果S1(x,y)进行多视角融合，得到待提取图像前景S2(xi,yi)。2.根据权利要求1所述的方法，其中步骤(1)中对SVM分类器进行训练，按如下步骤进行：(1a)采集含有前景类别的样本图像集，并对其中的所有样本图像进行灰度化，得到样本灰度图像集；(1b)提取样本灰度图像集中各图像的方向梯度直方图HOG特征，得到样本方向梯度直方图HOG特征集；(1c)采用样本方向梯度直方图HOG特征集中所有的方向梯度直方图HOG特征对SVM分类器进行训练，得到训练好的SVM分类器。3.根据权利要求2所述的方法，其特征在于：步骤(1a)中对样本图像集中的所有样本图像进行灰度化，是将样本图像中的三通道红色分量R，绿色分量G，蓝色分量B进行加权平均，得到样本灰度图像的灰度值Gray：Gray＝R×0.299+G×0.587+B×0.114。4.根据权利要求2所述的方法，其特征在于：步骤(1b)中提取样本灰度图像集中每个图像的HOG特征，按照如下步骤进行：(1b1)将输入图像分为连通相邻、又不重叠的若干个单元，在每个单元内计算像素的梯度幅值G(x,y)和梯度方向α(x,y)：其中，Gx(x,y)＝H(x+1,y)-H(x-1,y)，Gy(x,y)＝H(x,y+1)-H(x,y-1)分别表示输入图像中像素点(x,y)处的水平方向梯度和垂直方向梯度，H(x+1,y)表示输入图像中像素点(x+1,y)处的像素值，H(x-1,y)表示输入图像中像素点(x-1,y)处的像素值，H(x,y+1)表示输入图像中像素点(x,y+1)处的像素值，H(x,y-1)表示输入图像中像素点(x,y-1)处的像素值；(1b2)将所有梯度方向α(x,y)划分为9个角度，作为直方图的横轴，每个角度范围所对应的梯度值累加作为直方图的...

【专利技术属性】
技术研发人员：王敏，马宏斌，侯本栋，
申请(专利权)人：西安电子科技大学昆山创新研究院，西安电子科技大学，
类型：发明
国别省市：江苏,32