一种基于grabcut算法的交互式图像分割与融合方法技术

本发明专利技术公开了一种基于grabcut算法的交互式图像分割与融合方法，包含以下步骤：首先采用金字塔下采样降低图像的分辨率，用少量典型像素点估计GMM参数；其次采用交互式技术，标记出图像的前景和背景，进行分水岭分割，对分割得到的掩膜图像加以修改，传递给grabcut做精细分割；先对分割图像作形态学处理，再对处理后的图像继续进行像素变换和形态学处理，得到trimap三分图；以trimap三分图和源图像为输入，使用shared matting共享抠图算法得到前景图像的alpha通道图像；最后以alpha通道图像，源图像和新背景图像为输入，使用alpha blending透明混合算法得到融合后的图像。

An interactive image segmentation and fusion method based on grabcut algorithm

The invention discloses an interactive grabcut algorithm for image segmentation and fusion based method, which comprises the following steps: firstly, using Pyramid down sampling to reduce the image resolution, with a small amount of typical pixel GMM parameter estimation; secondly the use of interactive technology, marking the foreground and background image, watershed segmentation, the modification of the mask image segmentation the grabcut passed to do fine segmentation; the image segmentation for morphological processing, the processed image to pixel transform and morphological processing, trimap three points; three points with trimap map and the source image as input image using shared matting alpha channel sharing matting algorithm get the foreground image; the alpha channel image, the original image and the new background image as input, using alpha blending transparent hybrid algorithm fusion After the image.

【技术实现步骤摘要】
一种基于grabcut算法的交互式图像分割与融合方法
本专利技术涉及基于交互式的图像分割和融合
，特别涉及一种基于grabcut算法的交互式图像分割与融合方法。
技术介绍
目标分割和融合是计算机视觉领域的一个重要研究课题，其中目标分割是目标融合的基础，目标分割结果的优劣将直接影响后续的分类，识别，理解的效果，如何提高目标分割的精度和速度具有重大的研究意义，也是近年来研究的热点问题。2001年，Boykov等人首次将图割理论引入图像分割领域，图割是一种基于区域和边界的交互式图像分割算法，其主要理论：将图像映射为一个网络，像素对应图的顶点，相邻两像素间的相似性对应两定点边的权值，而割的容量对应其能量函数，为像素分别做不同的标记，则相应的边将被赋予不同的权重，利用最大流/最小割算法对网络切割得到最小割，获得物体的轮廓。这种方法具有速度快、全局最优、抗噪声强及扩展性好的优点。缺点是仅适用于灰度图像，用户交互复杂，对低对比度图像的模糊核边缘部分分割效果差。2004年，Rother等人提出了grabcut算法，首先利用彩色图像的高斯混合模型代替灰度直方图模型来描述前景与背景像素的分布，对彩色图像的每个像素的每个通道都使用GMM建模；其次使用迭代方法实现图的能量函数最小化，取代一次最小化估计来完成能量最小化过程；最后通过非完全标号降低了交互过程的工作量。该方法取得了高精度的分割能力和比较方便快捷的人机交互效果，但确定GMM参数的成本较高，成为制约其效率的瓶颈。随着技术的发展，科技人员提出了许多掩膜图像的方法，如Xu等人首先对图像进行分水岭变换，然后在其变换后的过分割图像上，把每个小区作为一个像素单元进行grabcut分割。该方法获得了相对稳定的分割效果，速度提高很多，缺点是由于它不是基于像素级别进行的分割，获得的边界比较粗糙，难以取得很好的分割效果。
技术实现思路
本专利技术的目的是为了克服现有技术中的不足，提供一种基于grabcut算法的交互式图像分割与融合方法，本专利技术以grabcut分割为基础，运用图像金字塔下采样降低图像的分辨率，用少量典型像素点估计GMM参数，提高迭代效率；利用交互式分割的优点，标记出图像中的前景部分和背景部分，进行分水岭分割，一定程度上解决了全自动分割通用性差和分割不够精准等问题；对分割得到的结果掩膜加以修改，传递给grabcut做精细分割，解决了前景和背景相近时，grabcut分割效果不好的问题；在分割完成后，再对分割曲线作形态学处理，最后得到更加理想的分割效果；再对分割后的前景二值图像进行像素变换和形态学操作处理得到trimap三分图；以trimap三分图，原图像作为输入，使用sharedmatting共享抠图算法得到前景图像的alpha通道图像；以前景图像的alpha通道图像和原图像，新背景图像为输入，使用alphablending透明混合算法得到融合后的图像，解决了使用addWeighted算法进行图像融合出现前景层次化的问题。本专利技术的目的是通过以下技术方案实现的：一种基于grabcut算法的交互式图像分割与融合方法，包含以下步骤：步骤1：对输入图像进行尺度变换，生成行列均为偶数的源图像，对源图像进行金字塔下采样得到下采样图像，其行列均为原行列的1/2，降低图像的分辨率；步骤2：针对对比度较小的源图像增大其下采样图像的对比度，然后对下采样图像进行开闭重建滤波，去除噪声和孤立的像素点；步骤3：对重建后的图像进行前景和背景的交互式标记，并使用分水岭算法进行分割，对算法输出的掩膜图像进行重标记，生成只含有四种像素值的掩膜图像；步骤4：以下采样图像和生成的掩膜图像为输入，使用grabcut算法对低分辨的图像进行预分割，生成预分割的前景图像，并得到新的掩膜图像；步骤5：对步骤4输出的掩膜图像进行基于邻近插值算法的尺度变换，生成与源图像尺寸相同的掩膜图像，即行列均为原来的两倍，以掩膜图像和源图像为输入，对源图像进行基于grabcut算法的完整分割，输出完整分割后的掩膜图像；步骤6：对步骤5生成的掩膜图像进行像素变换和形态学操作，生成trimap三分图；步骤7：以trimap三分图和源图像为输入，对源图像进行分割，得到源图像前景图像的alpha通道图像；步骤8：基于步骤7中的alpha通道图像，以源图像和新输入的背景图为输入，使用alphablending透明混合算法融合上述图像，得到融合图像。进一步的，步骤1中对输入图像进行尺度变换，具体包括以下步骤：1)对输入图像的行列数进行判断；2)如果行列数均为偶数，不进行尺度变换；如果行列数，其中之一或者两者均为奇数，则借助于resize函数进行尺度变换，生成行列均为偶数的源图像。进一步的，步骤2中对下采样图像进行开闭重建滤波，具体包括以下步骤：1)开滤波重建是先对图像进行形态学腐蚀操作，后进行形态学膨胀重建；2)对上述开重建滤波图像进行闭重建滤波，先对图像进行形态学膨胀操作，后对膨胀后的图像进行形态学腐蚀重建操作。进一步的，步骤3中对算法输出的掩膜图像进行标记生成只含有四种像素值的掩膜图像是指，作为下一步分割的基础，将掩膜图像中分割区域的像素值对应为像素值为0的背景，像素值为1的前景，像素值为2的可能背景，像素值为3的可能前景，得到新的掩膜图像。进一步的，步骤4具体包括以下步骤：1)设置下采样图像中每个像素的透明度与掩膜图像中相应像素的像素值相对应；2)求出下采样图像中每个像素xn所对应的GMM参数kn，kn＝argminDn(αn,kn,θ,xn)；其中：kn是像素xn的GMM参数，αn是像素xn的透明度，θ为GMM的高斯分布参数，Dn为GMM负对数函数；3)对下采样图像中所有像素的α标记进行优化，更新判断未知区域，包括可能前景和可能背景，像素是属于前景或者背景区域，α＝argminE(α,m,θ,x,H)；其中：α是像素的透明度，x＝(x1,x2,…xn,…,xN)是输入图像的所有像素集合，m＝(k1,k2,…kn,…,kN)是所有像素的GMM参数，θ是GMM的高斯分布参数，H是GMM的熵，E是Gibbs能量函数；4)运用最大流/最小割算法分割图像；5)重复操作3)和4)，迭代至Gibbs能量函数收敛；6)目标输出，得到目标分割前景图和新的掩膜图像。进一步的，步骤6包括以下步骤：1)提取出掩膜图像中前景部分，并标记其像素值为255，得到前景二值图像F1；2)对前景二值图像F1进行两次形态学腐蚀操作，生成图像F2，目的是消除孤立的噪声点和缩小目标前景区域；3)对前景二值图像F1进行一次腐蚀操作和两次膨胀操作，生成图像F3，目的是消除孤立噪声点，同时扩大目标区域，将图像F3中像素值为255的像素点变为像素值为128的灰色像素点图像F4；4)将图像F1和F4进行逻辑或操作，生成图像F5，这时图像F5中只包含像素值为0的背景区域，像素值为128的目标边缘区域，像素值为255的目标确定前景区域的trimap三分图，作为共享抠图算法sharedmatting的输入掩膜图像。进一步的，步骤7包括以下步骤：1)扩展Expansion，针对输入的trimap三分图，对已知区域进行小规模的扩展，使未知边缘区域像素点的个数降低；2)采样和聚集(Samplean本文档来自技高网...

【技术保护点】
一种基于grabcut算法的交互式图像分割与融合方法，其特征在于，包含以下步骤：步骤1：对输入图像进行尺度变换，生成行列均为偶数的源图像，对源图像进行金字塔下采样得到下采样图像，其行列均为原行列的1/2，降低图像的分辨率；步骤2：针对对比度较小的源图像增大其下采样图像的对比度，然后对下采样图像进行开闭重建滤波，去除噪声和孤立的像素点；步骤3：对重建后的图像进行前景和背景的交互式标记，并使用分水岭算法进行分割，对算法输出的掩膜图像进行重标记，生成只含有四种像素值的掩膜图像；步骤4：以下采样图像和生成的掩膜图像为输入，使用grabcut算法对低分辨的图像进行预分割，生成预分割的前景图像，并得到新的掩膜图像；步骤5：对步骤4输出的掩膜图像进行基于邻近插值算法的尺度变换，生成与源图像尺寸相同的掩膜图像，即行列均为原来的两倍，以掩膜图像和源图像为输入，对源图像进行基于grabcut算法的完整分割，输出完整分割后的掩膜图像；步骤6：对步骤5生成的掩膜图像进行像素变换和形态学操作，生成trimap三分图；步骤7：以trimap三分图和源图像为输入，对源图像进行分割，得到源图像前景图像的alpha通道图像；步骤8：基于步骤7中的alpha通道图像，以源图像和新输入的背景图为输入，使用alphablending透明混合算法融合上述图像，得到融合图像。...

【技术特征摘要】
1.一种基于grabcut算法的交互式图像分割与融合方法，其特征在于，包含以下步骤：步骤1：对输入图像进行尺度变换，生成行列均为偶数的源图像，对源图像进行金字塔下采样得到下采样图像，其行列均为原行列的1/2，降低图像的分辨率；步骤2：针对对比度较小的源图像增大其下采样图像的对比度，然后对下采样图像进行开闭重建滤波，去除噪声和孤立的像素点；步骤3：对重建后的图像进行前景和背景的交互式标记，并使用分水岭算法进行分割，对算法输出的掩膜图像进行重标记，生成只含有四种像素值的掩膜图像；步骤4：以下采样图像和生成的掩膜图像为输入，使用grabcut算法对低分辨的图像进行预分割，生成预分割的前景图像，并得到新的掩膜图像；步骤5：对步骤4输出的掩膜图像进行基于邻近插值算法的尺度变换，生成与源图像尺寸相同的掩膜图像，即行列均为原来的两倍，以掩膜图像和源图像为输入，对源图像进行基于grabcut算法的完整分割，输出完整分割后的掩膜图像；步骤6：对步骤5生成的掩膜图像进行像素变换和形态学操作，生成trimap三分图；步骤7：以trimap三分图和源图像为输入，对源图像进行分割，得到源图像前景图像的alpha通道图像；步骤8：基于步骤7中的alpha通道图像，以源图像和新输入的背景图为输入，使用alphablending透明混合算法融合上述图像，得到融合图像。2.根据权利要求1所述的一种基于grabcut算法的交互式图像分割与融合方法，其特征在于，步骤1中对输入图像进行尺度变换，具体包括以下步骤：1)对输入图像的行列数进行判断；2)如果行列数均为偶数，不进行尺度变换；如果行列数，其中之一或者两者均为奇数，则借助于resize函数进行尺度变换，生成行列均为偶数的源图像。3.根据权利要求1所述的一种基于grabcut算法的交互式图像分割与融合方法，其特征在于，步骤2中对下采样图像进行开闭重建滤波，具体包括以下步骤：1)开滤波重建是先对图像进行形态学腐蚀操作，后进行形态学膨胀重建；2)对上述开重建滤波图像进行闭重建滤波，先对图像进行形态学膨胀操作，后对膨胀后的图像进行形态学腐蚀重建操作。4.根据权利要求1所述的一种基于grabcut算法的交互式图像分割与融合方法，其特征在于，步骤3中对算法输出的掩膜图像进行标记生成只含有四种像素值的掩膜图像是指，作为下一步分割的基础，将掩膜图像中分割区域的像素值对应为像素值为0的背景，像素值为1的前景，像素值为2的可能背景，像素值为3的可能前景，得到新的掩膜图像。5.根据权利要求1所述的一种基于grabcut算法的交互式图像分割与融合方法，其特征在于，步骤4具...

【专利技术属性】
技术研发人员：苏寒松，张倩芳，刘高华，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12