一种联合像素与超像素的交互式图像分割方法技术

本发明专利技术提供一种联合像素与超像素的交互式图像分割方法，包括步骤S1、采用MeanShift算法对输入图像进行预分割，提取超像素，并采用颜色直方图对每个超像素进行建模以表示超像素的颜色分布；S2、根据用户输入的交互信息，以超像素为节点建立图模型，采用最大流最小割算法完成超像素级分割；S3、在超像素级分割结果的基础上，采用形态学操作在目标边缘构造一个窄带区域；S4、在构造好的窄带上为前景和背景区域分别建立相应的前景和背景模型，并对窄带区域以像素点为节点建立图模型，再采用最大流最小割算法完成像素级分割。本发明专利技术通过将像素信息和超像素信息有机结合来提高执行效率，并在尽量少的用户交互条件下获得更为准确的分割结果。

An interactive image segmentation method combining pixels and hyper pixels

The invention provides a combined pixel and the interactive image super pixels segmentation method, which comprises the following steps: S1, using the MeanShift algorithm to the input image pre segmentation, extraction of super pixels, and the color histogram of each pixel is modeled to represent super super pixel color distribution; S2, according to the interactive information input by the user with super pixels to establish node graph model, the maximum flow minimum cut algorithm to complete the super pixel segmentation; S3, in the super pixel level segmentation results based on the morphology operation in the edge structure of a narrow band region; S4, in the narrow band structure for foreground and background regions respectively establish the foreground and background of the corresponding model and the narrow regional nodes and builds a model based on the pixel point, then the maximum flow minimum cut algorithm of pixel level segmentation. The invention improves the execution efficiency by combining the pixel information with the super pixel information, and obtains the more accurate segmentation result under the condition of the least user interaction.

【技术实现步骤摘要】
一种联合像素与超像素的交互式图像分割方法
本专利技术涉及图像处理
，具体涉及一种联合像素与超像素的交互式图像分割方法。
技术介绍
图像分割是图像处理中的一个基本问题，其主要目的是将感兴趣目标从复杂背景中提取出来，以便进行目标检测、跟踪、识别以及场景分析等，在模式识别与计算机视觉等领域中有着十分广泛的应用。根据用户是否提供先验知识，可将图像分割方法分为自动分割方法和交互式分割方法。对于那些类型多样、内容复杂的自然图像，交互式分割方法使得分割结果更符合并且能够直接反应用户的主观意愿，因此逐渐被受到重视。其中，GraphCut交互式分割方法因其具有全局最优、数值鲁棒性强、执行效率高、分割加权图的拓扑结构自由以及N-D图像分割能力等，而获得了研究者们的广泛关注。一个优秀的交互式图像分割系统必须满足尽量少的用户交互、尽量短的反馈时间以及尽可能准确的分割结果等条件。GraphCut算法是将像素点作为节点构建一个加权有向图，然后利用最大流最小割算法进行全局求解。遗憾的是，该算法仅利用图像灰度信息，而未考虑颜色信息，以致当图像内容较复杂时，其分割结果并不理想；然而当前景和背景在灰度信息上十分接近时，为获得理想的分割结果GraphCut算法通常需要用户输入大量的交互信息；此外，由于是将像素点作为节点，随着图像尺寸的增大，由此构建的图模型中的节点数目大幅度增多，从而导致最大流最小割算法的执行需要耗费大量时间。针对这些缺点，Li等人提出了LazySnapping分割算法。该算法首先采用分水岭(WaterShed)算法对图像进行预分割，将分割区域作为节点重新构建一个加权有向图，然后采用最大流最小割算法进行全局求解，最后再采用一套手动调整方案使得分割结果更为准确。美中不足的是，该算法也存在几个主要问题：由于WaterShed算法仅利用灰度图像的梯度信息，过分割现象严重，并且其预分割结果中的区域数仍然较多；该算法利用颜色均值表征每个区域，这种表示方式过于简单，无法准确表示每个区域的颜色分布；在建模过程中选用了较为简单的K-Means聚类算法，其聚类效果受初始条件及干扰因素影响较大；在交互过程中该算法需要大量的粗调和微调操作，使得整个交互过程过于繁琐等。相对WaterShed算法而言，MeanShift分割算法借助其优秀的分割性能而得到了更为广泛的研究及应用。该算法充分利用了颜色信息，其过分割现象较轻，并且分割区域数得到了明显减少。Ning等人利用MeanShift算法进行预分割，并采用颜色直方图表示每个区域，提出了一种基于最大相似度的区域合并(MSRM)算法。不同于最大流最小割算法，MSRM算法利用一种区域自动合并机制完成了彩色图像分割。但本专利技术的专利技术人经过研究发现，该算法仅考虑区域间的相似度，而未考虑各区域与交互信息间的相互关系，并在区域合并过程中需要多次统计区域颜色直方图以及多次计算区域间的相似度，使得整个算法的时空开销较大；另外，MSRM算法没有考虑MeanShift算法的过分割问题，因此在目标边缘存在着大量误分割。为简化用户交互过程，Rother等人提出了GrabCut算法。该算法根据用户标记的矩形区域建立初始前景和背景模型，由于矩形区域内部同时包含前景信息和背景信息，因此该算法通过迭代以学习的方式来不断更新前景和背景模型，直到全局求解得到的能量收敛时迭代停止。但本专利技术的专利技术人经过研究发现，由于GrabCut算法仅确定出背景区域，而没有准确确定出前景区域，因此初始背景模型建立准确与否将直接影响最终的分割结果。因此，针对前述方法存在的一些问题，设计一种高效而精准的交互式图像分割方法显得尤为重要。
技术实现思路
针对现有图像分割方法中存在的技术问题，本专利技术提供一种联合像素与超像素的交互式图像分割方法，该方法通过将像素信息和超像素信息有机结合，来提高现有交互式图像分割方法的执行效率，以及在尽量少的用户交互条件下获得更为准确的分割结果。为了解决上述技术问题，本专利技术采用了如下的技术方案：一种联合像素与超像素的交互式图像分割方法，该方法包括以下步骤：S1、采用MeanShift算法对输入图像进行预分割，以完成超像素提取，并采用颜色直方图对每个超像素进行建模，以准确表示超像素的颜色分布；S2、根据用户输入的交互信息，以超像素为节点建立图模型，并采用最大流最小割算法进行全局求解，以完成超像素级分割过程；S3、在超像素级分割结果的基础上，采用形态学操作在目标边缘构造一个窄带区域；S4、在构造好的窄带上为前景和背景区域分别建立相应的前景和背景模型，并对窄带区域以像素点为节点建立图模型，最后再次采用最大流最小割算法进行全局求解，以完成像素级分割过程。进一步，所述步骤S2包括以下步骤：S21、由用户输入交互信息，标记为目标的超像素集合记为F，标记为背景的超像素集合记为B，未标记超像素集合记为U；S22、将步骤S1中得到的预分割图像以超像素为节点表示成一个有向加权图G＝(V,E,W)，其中V表示图中节点的集合，对应图像中的每个超像素；E表示图中边的集合，对应图像中连接相邻超像素间的边；W表示图中边的权重，用于表示相邻节点被划分到同一类属的倾向程度；对于任意两相邻超像素i和j，利用其颜色直方图，采用巴氏距离计算其相似度δ(i,j)，并用于表示该两相邻超像素边的权重；S23、根据用户输入的交互信息采用颜色直方图分别对前景和背景进行建模，并构造两个虚拟节点：对应前景模型的source节点和对应背景模型的sink节点；其中，集合V中的任意节点与source和sink节点所形成边的权重分别表示该节点隶属于前景和背景的倾向程度；对于未标记超像素i，利用其颜色直方图，采用巴氏距离分别计算其与source节点和sink节点的相似度δ(i,F)和δ(i,B)；S24、针对上述图模型，定义如下能量函数：其中，第一项为区域信息项，用于度量各超像素与交互信息间的相似程度；第二项为边缘信息项，用于度量超像素间的相似程度；区域信息项和边缘信息项的定义分别如下：b(ιi,ιj)＝λ·δ(i,j)式(7)其中，ιi表示节点i的类属编号，ιi＝1对应于前景，ιi＝0对应于背景，表示超像素节点的邻域集合，λ为控制参数；在以上建立好的图模型基础上，执行最大流最小割算法即可获得基于超像素级的全局最优解。进一步，所述步骤S3包括以下步骤：S31、记由步骤S2分割得到的二值图像为S，通过对二值图像S进行形态学腐蚀操作，即可得到仅含目标的区域SF＝SΘb，相应像素集合记为TrimapForeground；其中b为(2d+1)×(2d+1)大小的正方形结构元素，式中d为正整数；S32、对二值图像S进行形态学膨胀操作，并与目标区域SF做差运算即可得到一个同时含有目标和背景的窄带区域SU＝(S⊕b)-(SΘb)，相应像素集合记为TrimapUnknown；S33、仅含背景信息的区域可表示为SB＝S-(SU+SF)，相应像素集合记为TrimapBackground，这样就可以得到一个三元掩模图像，其中包括已建立好的窄带区域SU。进一步，所述步骤S4包括以下步骤：S41、将步骤S3中得到的目标区域SF和背景区域SB分别看作虚拟source节点和虚拟sink节点，然后采用主成分分析法分别对其本文档来自技高网...

【技术保护点】
一种联合像素与超像素的交互式图像分割方法，其特征在于，该方法包括以下步骤：S1、采用MeanShift算法对输入图像进行预分割，以完成超像素提取，并采用颜色直方图对每个超像素进行建模，以准确表示超像素的颜色分布；S2、根据用户输入的交互信息，以超像素为节点建立图模型，并采用最大流最小割算法进行全局求解，以完成超像素级分割过程；S3、在超像素级分割结果的基础上，采用形态学操作在目标边缘构造一个窄带区域；S4、在构造好的窄带上为前景和背景区域分别建立相应的前景和背景模型，并对窄带区域以像素点为节点建立图模型，最后再次采用最大流最小割算法进行全局求解，以完成像素级分割过程。

【技术特征摘要】
1.一种联合像素与超像素的交互式图像分割方法，其特征在于，该方法包括以下步骤：S1、采用MeanShift算法对输入图像进行预分割，以完成超像素提取，并采用颜色直方图对每个超像素进行建模，以准确表示超像素的颜色分布；S2、根据用户输入的交互信息，以超像素为节点建立图模型，并采用最大流最小割算法进行全局求解，以完成超像素级分割过程；S3、在超像素级分割结果的基础上，采用形态学操作在目标边缘构造一个窄带区域；S4、在构造好的窄带上为前景和背景区域分别建立相应的前景和背景模型，并对窄带区域以像素点为节点建立图模型，最后再次采用最大流最小割算法进行全局求解，以完成像素级分割过程。2.根据权利要求1所述的联合像素与超像素的交互式图像分割方法，其特征在于，所述步骤S2包括以下步骤：S21、由用户输入交互信息，标记为目标的超像素集合记为F，标记为背景的超像素集合记为B，未标记超像素集合记为U；S22、将步骤S1中得到的预分割图像以超像素为节点表示成一个有向加权图G＝(V,E,W)，其中V表示图中节点的集合，对应图像中的每个超像素；E表示图中边的集合，对应图像中连接相邻超像素间的边；W表示图中边的权重，用于表示相邻节点被划分到同一类属的倾向程度；对于任意两相邻超像素i和j，利用其颜色直方图，采用巴氏距离计算其相似度δ(i,j)，并用于表示该两相邻超像素边的权重；S23、根据用户输入的交互信息采用颜色直方图分别对前景和背景进行建模，并构造两个虚拟节点：对应前景模型的source节点和对应背景模型的sink节点；其中，集合V中的任意节点与source和sink节点所形成边的权重分别表示该节点隶属于前景和背景的倾向程度；对于未标记超像素i，利用其颜色直方图，采用巴氏距离分别计算其与source节点和sink节点的相似度δ(i,F)和δ(i,B)；S24、针对上述图模型，定义如下能量函数：其中，第一项为区域信息项，用于度量各超像素与交互信息间的相似程度；第二项为边缘信息项，用于度量超像素间的相似程度；区域信息项和边缘信息项的定义分别如下：b(ιi,ιj)＝λ·δ(i,j)式(7)其中，ιi...

【专利技术属性】
技术研发人员：龙建武，冯欣，田芳，张建勋，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：重庆,50