一种实现交互式图像分割的方法、装置及终端制造方法及图纸

本文公开了一种实现交互式图像分割的方法、装置及终端。所述方法包括：将原始图像上的勾勒轨迹进行封闭处理后形成标记区，生成图像分割算法的输入掩模图：将标记区中的像素作为掩模图中的前景点，将标记区外的像素作为掩模图中的背景点；获取包含目标对象深度信息的深度图，根据深度图和掩模图确定所述掩模图上各个像素的分割参数，构建无向图并将掩模图中的每一个像素的分割参数映射到无向图中，根据最小割‑最大流算法对所述无向图进行处理，获得精细分割后的掩模图，从原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。本文能缩短算法的运行时间，利用图像的深度信息改善图像分割的效果。

Method, device and terminal for implementing interactive image segmentation

The invention discloses a method, a device and a terminal for realizing interactive image segmentation. The method comprises the following steps: outline of the original image of the closed trajectory formed after the treatment of marking area, generating the image segmentation algorithm of input mask graph: the markup in the pixel area as the foreground mask in the figure, the pixel label outside the region as a mask in the background; obtain with depth map object depth information, according to the depth map and the mask pattern determines the mask image segmentation parameters of each pixel, construct the segmentation parameter mapping each pixel of the undirected graph and the mask map to an undirected graph based on minimum cut, maximum flow algorithm without processing to map the mask image to obtain a fine segmented from the original image, segmentation of the fine segmentation mask patterns corresponding to the foreground image. This paper can shorten the running time of the algorithm, and use the depth information of the image to improve the effect of image segmentation.

【技术实现步骤摘要】
一种实现交互式图像分割的方法、装置及终端
本专利技术涉及图像处理
，尤其涉及一种实现交互式图像分割的方法、装置及终端。
技术介绍
图像分割，是指将平面图像依照颜色、纹理、形状等特征将其划分为互不相连的若干区域，这是图像处理领域的一项实用的基础技术。现有的图像分割技术有基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法、基于能量泛函的分割方法、基于图论的分割方法等。其中在图论方法里比较知名的有GraphCut算法及其改进版本GrabCut算法。GraphCut算法及其改进版本GrabCut算法，是基于区域标注的交互式图像分割方法。GraphCut算法是基于马尔可夫随机场(MarkovRandomField,MRF)能量最小化框架的一种算法，优点在于可以结合多种理论知识进行全局最优求解。GrabCut算法是对GraphCut算法的改进，GrabCut算法通过在原始图像上标注出前景点(要提取的目标对象上的点)和背景点生成掩模图，利用原图和掩模图对前景、背景颜色空间建立高斯混合模型(GaussianMixtureModel，GMM)，利用GMM参数学习、估计过程中可进化的迭代算法完成能量最小化，判决出图像中的前景点和背景点，从原图中提取出由前景点像素组成的目标图像。在手机上使用GrabCut算法进行图像分割时，为了降低交互的复杂性，通常对用户如何标记不做严格要求，因此，在用户标记的前景点较少的情况下迭代次数可能很多，算法运行时间较长，影响了用户的体验。另一方面，相关技术中的GrabCut算法是基于彩色图像进行图像分割的，当要提取的目标对象的颜色特征并不明显时，利用彩色图进行分割的分割效果并不理想。
技术实现思路
本专利技术所要解决的技术问题是提供一种实现交互式图像分割的方法、装置及终端，能够缩短算法的运行时间，利用图像的深度信息改善图像分割的效果。本专利技术实施例提供了一种实现交互式图像分割的方法，包括：检测到原始图像上的勾勒轨迹后，将所述勾勒轨迹进行封闭处理后形成标记区，生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述原始图像上标记区外的像素作为所述掩模图中的背景点；获取包含目标对象深度信息的深度图，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度值差异；构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。可选地，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，包括：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的区域项分割参数，所述区域项分割参数是所述像素判决为前景点或背景点的概率；其中，所述E步骤和M步骤分别包括以下处理：E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景点或背景点；簇的分类包括前景点簇或背景点簇；M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。可选地，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，还包括：根据所述像素与相邻像素的深度值差异确定所述像素的边界项分割参数；其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的边界项分割参数。可选地，构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，包括：构建一个无向图，在所述无向图的平面外设置两个悬空点Q0和Q1，所述悬空点Q0为虚拟前景点，所述悬空点Q1为虚拟背景点；在所述无向图的平面上建立所述掩模图上各个像素的映射点，在前景点的映射点与所述悬空点Q0之间建立连线，在背景点的映射点与所述悬空点Q1之间建立连线；对掩模图中的任意一个像素Pi，将所述像素Pi的区域项分割参数作为所述无向图中映射点Pi'的权值，将所述像素Pi的边界项分割参数作为所述无向图中映射点Pi'与悬空点Q0或Q1之间连线的权值。可选地，所述根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图，包括：迭代执行以下C步骤和D步骤，在迭代运行达到收敛条件后停止迭代过程，将所述前景点集合Q中的各个像素作为精细分割后的掩模图中的前景点；其中，C步骤和D步骤分别包括以下处理：C步骤：将无向图中的一部分像素划分为与悬空点Q0同类的前景点，由划分为前景点的像素构成前景点集合Q；D步骤：计算所述前景点集合Q的权值总和，所述权值总和是所述前景点集合Q中所有前景点的权值和，再加上所述前景点集合Q中所有前景点与悬空点Q0之间连线的权值和；其中，所述收敛条件是前景点集合Q的权值总和小于阈值且变化趋于稳定。可选地，拍摄所述目标对象所获得的原始图像是彩色图、黑白图、或红外图。可选地，所述将所述勾勒轨迹进行封闭处理后形成标记区，包括：在所述勾勒轨迹已经闭合时，将所述勾勒轨迹所封闭的区域确定为标记区；在所述勾勒轨迹未闭合时，对所述勾勒轨迹做封闭处理，如果封闭成功，则将封闭后的勾勒轨迹所封闭的区域确定为标记区，如果封闭不成功，则对所述勾勒轨迹进行膨胀处理，将所述膨胀后的区域确定为标记区。可选地，所述对所述勾勒轨迹做封闭处理，包括：如果所述勾勒轨迹的起点和终点之间的距离大于或等于阈值，则获取所述勾勒轨迹的起点和终点之间的区域中的边缘线，将所述勾勒轨迹叠加上所述边缘线；如果所述勾勒轨迹叠加上所述边缘线能够形成封闭区域，则判定封闭成功，如果所述勾勒轨迹叠加上所述边缘线不能够形成封闭区域，则判定封闭失败；如果所述勾勒轨迹的起点和终点之间的距离小于阈值，则在所述起点和终点之间做线段连接，完成勾勒轨迹的闭合。可选地，所述图像分割算法是GrabCut算法。本专利技术实施例提供了一种实现交互式图像分割的装置，包括：预处理模块，用于检测到原始图像上的勾勒轨迹后，将所述勾勒轨迹进行封闭处理后形成标记区，生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述原始图像上标记区外的像素作为所述掩模图中的背景点；分割参数计算模块，用于获取包含目标对象深度信息的深度图，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度值差异；掩模图调整模块，用于构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；输出模块，用于从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前景点对本文档来自技高网...

【技术保护点】
一种实现交互式图像分割的方法，包括：检测到原始图像上的勾勒轨迹后，将所述勾勒轨迹进行封闭处理后形成标记区，生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述原始图像上标记区外的像素作为所述掩模图中的背景点；获取包含目标对象深度信息的深度图，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度值差异；构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，根据最小割‑最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。

【技术特征摘要】
1.一种实现交互式图像分割的方法，包括：检测到原始图像上的勾勒轨迹后，将所述勾勒轨迹进行封闭处理后形成标记区，生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述原始图像上标记区外的像素作为所述掩模图中的背景点；获取包含目标对象深度信息的深度图，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度值差异；构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。2.根据权利要求1所述的方法，其特征在于：根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，包括：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的区域项分割参数，所述区域项分割参数是所述像素判决为前景点或背景点的概率；其中，所述E步骤和M步骤分别包括以下处理：E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景点或背景点；簇的分类包括前景点簇或背景点簇；M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。3.根据权利要求2所述的方法，其特征在于：根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，还包括：根据所述像素与相邻像素的深度值差异确定所述像素的边界项分割参数；其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的边界项分割参数。4.根据权利要求3所述的方法，其特征在于：构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，包括：构建一个无向图，在所述无向图的平面外设置两个悬空点Q0和Q1，所述悬空点Q0为虚拟前景点，所述悬空点Q1为虚拟背景点；在所述无向图的平面上建立所述掩模图上各个像素的映射点，在前景点的映射点与所述悬空点Q0之间建立连线，在背景点的映射点与所述悬空点Q1之间建立连线；对掩模图中的任意一个像素Pi，将所述像素Pi的区域项分割参数作为所述无向图中映射点P′i的权值，将所述像素Pi的边界项分割参数作为所述无向图中映射点P′i与悬空点Q0或Q1之间连线的权值。5.根据权利要求4所述的方法，其特征在于：所述根据最小割-最大流算法对所述无向图进行处理，获...

【专利技术属性】
技术研发人员：梁舟，
申请(专利权)人：努比亚技术有限公司，
类型：发明
国别省市：广东,44