一种实现交互式图像分割的方法、装置及终端制造方法及图纸

本文公开了一种实现交互式图像分割的方法、装置及终端。所述方法包括：将原始图像上的涂抹轨迹作为骨架生长成标记区，生成图像分割算法的输入掩模图：将标记区中的像素作为掩模图中的前景点，将标记区外的像素作为掩模图中的背景点；根据彩色图和掩模图确定各个像素的第一分割参数，根据深度图和掩模图确定各个像素的第二分割参数，对两种分割参数进行融合；将每一个像素的融合后的分割参数映射到无向图中，运行最小割‑最大流算法获得精细分割后的掩模图，从彩色图中分割出所述精细分割后的掩模图中前景点对应的图像。本文能缩短算法的运行时间，结合图像的深度信息改善图像分割的效果。

Method, device and terminal for implementing interactive image segmentation

The invention discloses a method, a device and a terminal for realizing interactive image segmentation. The method comprises the following steps: application track on original image as a skeleton growth marking area, generating the image segmentation algorithm of input mask graph: the markup in the pixel area as the foreground mask in the figure, the pixel label outside the region as a mask in the background; according to the color and figure mask pattern determines the first segmentation parameters of each pixel, according to the depth map and the mask pattern to determine each pixel second segmentation parameters, two kinds of segmentation parameter fusion; segmentation parameter mapping fusion of each pixel of the undirected graph, the minimum cut operation flow algorithm to obtain fine segmentation the mask image, color image segmentation from the fine segmentation mask patterns corresponding to the foreground image. This paper can shorten the running time of the algorithm, and combine the depth information of the image to improve the effect of image segmentation.

【技术实现步骤摘要】
一种实现交互式图像分割的方法、装置及终端
本专利技术涉及图像处理
，尤其涉及一种实现交互式图像分割的方法、装置及终端。
技术介绍
图像分割，是指将平面图像依照颜色、纹理、形状等特征将其划分为互不相连的若干区域，这是图像处理领域的一项实用的基础技术。现有的图像分割技术有基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法、基于能量泛函的分割方法、基于图论的分割方法等。其中在图论方法里比较知名的有GraphCut算法及其改进版本GrabCut算法。GraphCut算法及其改进版本GrabCut算法，是基于区域标注的交互式图像分割方法。GraphCut算法是基于马尔可夫随机场(MarkovRandomField,MRF)能量最小化框架的一种算法，优点在于可以结合多种理论知识进行全局最优求解。GrabCut算法是对GraphCut算法的改进，GrabCut算法通过在原始图像上标注出前景点(要提取的目标对象上的点)和背景点生成掩模图，利用原图和掩模图对前景、背景颜色空间建立高斯混合模型(GaussianMixtureModel，GMM)，利用GMM参数学习、估计过程中可进化的迭代算法完成能量最小化，判决出图像中的前景点和背景点，从原图中提取出由前景点像素组成的目标图像。在手机上使用GrabCut算法进行图像分割时，为了降低交互的复杂性，通常对用户如何标记不做严格要求，因此，在用户标记的前景点较少的情况下迭代次数可能很多，算法运行时间较长，影响了用户的体验。另一方面，相关技术中的GrabCut算法是基于彩色图像进行图像分割的，当要提取的目标对象的颜色特征并不明显时，利用彩色图进行分割的分割效果并不理想。
技术实现思路
本专利技术所要解决的技术问题是提供一种实现交互式图像分割的方法、装置及终端，能够缩短算法的运行时间，结合图像的深度信息改善图像分割的效果。本专利技术实施例提供了一种实现交互式图像分割的方法，包括：检测到原始图像上的涂抹轨迹后，将所述涂抹轨迹作为骨架生长成标记区，生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述原始图像上标记区外的像素作为所述掩模图中的背景点；获取包含目标对象颜色信息的彩色图和包含目标对象深度信息的深度图，根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数，根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数，所述第一分割参数和第二分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的数值差异；将所述第一分割参数与所述第二分割参数进行融合；构建无向图，将所述掩模图中的每一个像素的融合后的分割参数映射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从所述彩色图中分割出所述精细分割后的掩模图中前景点对应的图像。可选地，根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数，包括：根据所述彩色图和掩模图确定所述掩模图上各个像素的第一区域项分割参数：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的第一区域项分割参数，所述第一区域项分割参数是所述像素基于所述彩色图判决为前景点或背景点的概率；其中，所述E步骤和M步骤分别包括以下处理：E步骤：根据所述掩模图上各个像素的颜色值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景点或背景点；簇的分类包括前景点簇或背景点簇；M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。可选地，根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数，还包括：根据所述深度图和掩模图确定所述掩模图上各个像素的第二区域项分割参数：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的第二区域项分割参数，所述第二区域项分割参数是所述像素基于所述深度图判决为前景点或背景点的概率；其中，所述E步骤和M步骤分别包括以下处理：E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景点或背景点；簇的分类包括前景点簇或背景点簇；M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。可选地，根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数，还包括：根据所述彩色图和掩模图确定所述掩模图上各个像素的第一边界项分割参数：根据所述像素与相邻像素的颜色差异确定所述像素的第一边界项分割参数；其中，对任意一个像素，将RGB三个颜色通道上所述像素与邻近的各个像素之间的数值差值绝对值进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的第一边界项分割参数。可选地，根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数，还包括：根据所述深度图和掩模图确定所述掩模图上各个像素的第二边界项分割参数：根据所述像素与相邻像素的深度值差异确定所述像素的第二边界项分割参数；其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的第二边界项分割参数。可选地，将所述第一分割参数与所述第二分割参数进行融合，包括：将所述第一区域项分割参数与所述第二区域项分割参数进行融合：对任意一个像素，将所述第一区域项分割参数乘以权重(1-a)得到调整后的第一区域项分割参数，将所述第二区域项分割参数乘以权重a得到调整后的第二区域项分割参数；如果所述第一区域项分割参数指示的像素分类与所述第二区域项分割参数指示的像素分类相同，则将所述调整后的第一区域项分割参数与所述调整后的第二区域项分割参数相加的和作为融合后的区域项分割参数；如果所述第一区域项分割参数指示的像素分类与所述第二区域项分割参数指示的像素分类不相同，则将所述调整后的第一区域项分割参数与所述调整后的第二区域项分割参数中数值较大者指示的像素分类作为所述像素的最终分类，将所述调整后的第一区域项分割参数与所述调整后的第二区域项分割参数的差值的绝对值作为融合后的区域项分割参数。可选地，将所述第一分割参数与所述第二分割参数进行融合，还包括：将所述第一边界项分割参数与所述第二边界项分割参数进行融合：将所述第一边界项分割参数乘以权重(1-a)得到调整后的第一边界项分割参数，将所述第二边界项分割参数乘以权重a得到调整后的第二边界项分割参数，然后将所述调整后的第一边界项分割参数与所本文档来自技高网...

【技术保护点】
一种实现交互式图像分割的方法，包括：检测到原始图像上的涂抹轨迹后，将所述涂抹轨迹作为骨架生长成标记区，生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述原始图像上标记区外的像素作为所述掩模图中的背景点；获取包含目标对象颜色信息的彩色图和包含目标对象深度信息的深度图，根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数，根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数，所述第一分割参数和第二分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的数值差异；将所述第一分割参数与所述第二分割参数进行融合；构建无向图，将所述掩模图中的每一个像素的融合后的分割参数映射到所述无向图中，根据最小割‑最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从所述彩色图中分割出所述精细分割后的掩模图中前景点对应的图像。

【技术特征摘要】
1.一种实现交互式图像分割的方法，包括：检测到原始图像上的涂抹轨迹后，将所述涂抹轨迹作为骨架生长成标记区，生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述原始图像上标记区外的像素作为所述掩模图中的背景点；获取包含目标对象颜色信息的彩色图和包含目标对象深度信息的深度图，根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数，根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数，所述第一分割参数和第二分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的数值差异；将所述第一分割参数与所述第二分割参数进行融合；构建无向图，将所述掩模图中的每一个像素的融合后的分割参数映射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从所述彩色图中分割出所述精细分割后的掩模图中前景点对应的图像。2.根据权利要求1所述的方法，其特征在于：根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数，包括：根据所述彩色图和掩模图确定所述掩模图上各个像素的第一区域项分割参数：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的第一区域项分割参数，所述第一区域项分割参数是所述像素基于所述彩色图判决为前景点或背景点的概率；其中，所述E步骤和M步骤分别包括以下处理：E步骤：根据所述掩模图上各个像素的颜色值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景点或背景点；簇的分类包括前景点簇或背景点簇；M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类；根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数，还包括：根据所述深度图和掩模图确定所述掩模图上各个像素的第二区域项分割参数：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的第二区域项分割参数，所述第二区域项分割参数是所述像素基于所述深度图判决为前景点或背景点的概率；其中，所述E步骤和M步骤分别包括以下处理：E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景点或背景点；簇的分类包括前景点簇或背景点簇；M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。3.根据权利要求2所述的方法，其特征在于：根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数，还包括：根据所述彩色图和掩模图确定所述掩模图上各个像素的第一边界项分割参数：根据所述像素与相邻像素的颜色差异确定所述像素的第一边界项分割参数；其中，对任意一个像素，将RGB三个颜色通道上所述像素与邻近的各个像素之间的数值差值绝对值进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的第一边界项分割参数；根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数，还包括：根据所述深度图和掩模图确定所述掩模图上各个像素的第二边界项分割参数：根据所述像素与相邻像素的深度值差异确定所述像素的第二边界项分割参数；其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的第二边界项分割参数。4.根据权利要求3所述的方法，其特征在于：将所述第一分割参数与所述第二分割参数进行融合，包括：将所述第一区域项分割参数与所述第二区域项分割参数进行融合：对任意一个像素，将所述第一区域项分割参数乘以权重(1-a)得到调整后的第一区域项分割参数，将所述第二区域项分割参数乘以权重a得到调整后的第二区域项分割参数；如果所述第一区域项分割参数指示的像素分类与所述第二区域项分割参数指示的像素分类相同，则将所述调整后的第一区域项分割参数与所述调整后的第二区域项分割参数相加的和作为融合后的区域项分割参数；如果所述第一区域项分割参数指示的像素分类与所述第二区域项分割参数指示的像素分类不相同，则将所述调整后的第一区域项分割参数与所述调整后的第二区域项分割参数中数值较大者指示的像素分类作为所述像素的最终分类，将所述调整后的第一区域项分割参数与所述调整后的第二区域项分割参数的差值的绝对值作为融合后的区域项分割参数；将所述第一分割参数与所述第二分割参数进行融合，还包括：将所述第一边界项分割参数与所述第二边界项分割参数进行融合：将所述第一边界项分割参数乘以权重(1-a)得到调整后的第一边界项分割参数，...

【专利技术属性】
技术研发人员：梁舟，
申请(专利权)人：努比亚技术有限公司，
类型：发明
国别省市：广东,44