一种实现交互式图像分割的方法、装置及终端制造方法及图纸

本文公开了实现交互式图像分割的方法、装置及终端。所述方法包括：将涂抹轨迹作为骨架生长成标记区，确定包含标记区的感兴趣区域，生成图像分割算法的输入掩模图：将标记区中像素作为掩模图中前景点，将感兴趣区域中标记区外的像素作为掩模图中背景点；获取包含目标对象深度信息的深度图，根据深度图和掩模图确定所述掩模图上各个像素的分割参数，构建无向图并将掩模图中的每一个像素的分割参数映射到无向图中，根据最小割‑最大流算法对所述无向图进行处理，获得精细分割后的掩模图，从原始图像中分割出精细分割后的掩模图中前景点对应的图像。本文能缩短算法的运行时间，利用图像的深度信息改善图像分割的效果。

Method, device and terminal for implementing interactive image segmentation

The invention discloses a method, a device and a terminal for realizing interactive image segmentation. The method comprises the following steps: applying trajectory as the skeleton growth marking area, determine the area contains labeled regions of interest, image segmentation algorithm input mask pattern: mark region in the foreground pixels as mask image, pixel region of interest will mark outside the region as the background point in mask image access; depth map containing the target object depth information, according to the depth map and the mask pattern determines the mask image segmentation parameters of each pixel, construct the segmentation parameter mapping each pixel of the undirected graph and the mask map to the undirected graph, according to the small cut maximum flow algorithm no processing to map the mask image to obtain a fine segmentation, segmentation and fine segmentation after the mask before the spots corresponding patterns from the original image. This paper can shorten the running time of the algorithm, and use the depth information of the image to improve the effect of image segmentation.

【技术实现步骤摘要】
一种实现交互式图像分割的方法、装置及终端
本专利技术涉及图像处理
，尤其涉及一种实现交互式图像分割的方法、装置及终端。
技术介绍
图像分割，是指将平面图像依照颜色、纹理、形状等特征将其划分为互不相连的若干区域，这是图像处理领域的一项实用的基础技术。现有的图像分割技术有基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法、基于能量泛函的分割方法、基于图论的分割方法等。其中在图论方法里比较知名的有GraphCut算法及其改进版本GrabCut算法。GraphCut算法及其改进版本GrabCut算法，是基于区域标注的交互式图像分割方法。GraphCut算法是基于马尔可夫随机场(MarkovRandomField,MRF)能量最小化框架的一种算法，优点在于可以结合多种理论知识进行全局最优求解。GrabCut算法是对GraphCut算法的改进，GrabCut算法通过在原始图像上标注出前景点(要提取的目标对象上的点)和背景点生成掩模图，利用原图和掩模图对前景、背景颜色空间建立高斯混合模型(GaussianMixtureModel，GMM)，利用GMM参数学习、估计过程中可进化的迭代算法完成能量最小化，判决出图像中的前景点和背景点，从原图中提取出由前景点像素组成的目标图像。在手机上使用GrabCut算法进行图像分割时，为了降低交互的复杂性，通常对用户如何标记不做严格要求，因此，在用户标记的前景点较少的情况下迭代次数可能很多，算法运行时间较长，影响了用户的体验。另一方面，相关技术中的GrabCut算法是基于彩色图像进行图像分割的，当要提取的目标对象的颜色特征并不明显时，利用彩色图进行分割的分割效果并不理想。
技术实现思路
本专利技术所要解决的技术问题是提供一种实现交互式图像分割的方法、装置及终端，能够缩短算法的运行时间，利用图像的深度信息改善图像分割的效果。本专利技术实施例提供了一种实现交互式图像分割的方法，包括：检测到原始图像上的涂抹轨迹后，将所述涂抹轨迹作为骨架生长成标记区，确定包含所述涂抹轨迹的一块区域作为感兴趣区域，所述感兴趣区域包含所述标记区，生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述感兴趣区域中标记区外的像素作为所述掩模图中的背景点；获取包含目标对象深度信息的深度图，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度值差异；构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。可选地，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，包括：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的区域项分割参数，所述区域项分割参数是所述像素判决为前景点或背景点的概率；其中，所述E步骤和M步骤分别包括以下处理：E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景点或背景点；簇的分类包括前景点簇或背景点簇；M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。可选地，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，还包括：根据所述像素与相邻像素的深度值差异确定所述像素的边界项分割参数；其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的边界项分割参数。可选地，构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，包括：构建一个无向图，在所述无向图的平面外设置两个悬空点Q0和Q1，所述悬空点Q0为虚拟前景点，所述悬空点Q1为虚拟背景点；在所述无向图的平面上建立所述掩模图上各个像素的映射点，在前景点的映射点与所述悬空点Q0之间建立连线，在背景点的映射点与所述悬空点Q1之间建立连线；对掩模图中的任意一个像素Pi，将所述像素Pi的区域项分割参数作为所述无向图中映射点Pi'的权值，将所述像素Pi的边界项分割参数作为所述无向图中映射点Pi'与悬空点Q0或Q1之间连线的权值。可选地，所述根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图，包括：迭代执行以下C步骤和D步骤，在迭代运行达到收敛条件后停止迭代过程，将所述前景点集合Q中的各个像素作为精细分割后的掩模图中的前景点；其中，C步骤和D步骤分别包括以下处理：C步骤：将无向图中的一部分像素划分为与悬空点Q0同类的前景点，由划分为前景点的像素构成前景点集合Q；D步骤：计算所述前景点集合Q的权值总和，所述权值总和是所述前景点集合Q中所有前景点的权值和，再加上所述前景点集合Q中所有前景点与悬空点Q0之间连线的权值和；其中，所述收敛条件是前景点集合Q的权值总和小于阈值且变化趋于稳定。可选地，拍摄所述目标对象所获得的原始图像是彩色图、黑白图、或红外图。可选地，所述将所述涂抹轨迹作为骨架生长成标记区，确定包含所述涂抹轨迹的一块区域作为感兴趣区域，包括：获取原始图像的边缘梯度信息，从所述涂抹轨迹的像素中选取部分像素作为种子，每一个种子根据图像的边缘梯度信息分别向外生长形成一个子区域，所有的种子向外生长形成的子区域合并后形成一个扩展区域，将所述扩展区域作为标记区；根据所述涂抹轨迹的形状特点套用几何形状模板，根据所述几何形状模板生成包含所述涂抹轨迹的感兴趣区域，如果所述感兴趣区域没有包含所述标记区，则将所述感兴趣区域扩展至包含所述标记区；或者对所述标记区进行膨胀处理形成感兴趣区域。可选地，所述每一个种子根据图像的边缘梯度信息向外生长形成一个子区域，包括对每一个种子执行下述步骤A-F：步骤A：将所述种子作为起始点，为所述起始点设置能量值，将所述起始点标记为活动点；步骤B:判断当前是否存在标记为活动点的像素，是则执行步骤C，否则执行步骤F；步骤C：对任意一个标记为活动点的像素A，判断所述像素A的上、下、左、右四个相邻点中是否存在未检查过的像素B，是则执行步骤D，否则执行步骤E；步骤D：对任意一个未检查过的像素B，如果所述像素B满足生长条件，则将所述像素B标记为新的活动点，将所述像素B的能量值设置为像素A的能量值减去像素B的边缘梯度值得到的差值，返回步骤C；如果所述像素B不满足生长条件，则返回步骤C；其中，所述生长条件是：所述像素B的边缘梯度值小于或等于所述像素A的能量值；步骤E：判定所述像素A已经完成生长，去除所述像素A的活动点标记，将所述像素A归入前景点集合，返回步骤B；步骤F:由所述前景点集合中的所有像素构成的子区域是所述种子根据图像的边缘梯度信息向外生本文档来自技高网...

【技术保护点】
一种实现交互式图像分割的方法，包括：检测到原始图像上的涂抹轨迹后，将所述涂抹轨迹作为骨架生长成标记区，确定包含所述涂抹轨迹的一块区域作为感兴趣区域，所述感兴趣区域包含所述标记区，生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述感兴趣区域中标记区外的像素作为所述掩模图中的背景点；获取包含目标对象深度信息的深度图，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度值差异；构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，根据最小割‑最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。

【技术特征摘要】
1.一种实现交互式图像分割的方法，包括：检测到原始图像上的涂抹轨迹后，将所述涂抹轨迹作为骨架生长成标记区，确定包含所述涂抹轨迹的一块区域作为感兴趣区域，所述感兴趣区域包含所述标记区，生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述感兴趣区域中标记区外的像素作为所述掩模图中的背景点；获取包含目标对象深度信息的深度图，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度值差异；构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。2.根据权利要求1所述的方法，其特征在于：根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，包括：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的区域项分割参数，所述区域项分割参数是所述像素判决为前景点或背景点的概率；其中，所述E步骤和M步骤分别包括以下处理：E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景点或背景点；簇的分类包括前景点簇或背景点簇；M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。3.根据权利要求2所述的方法，其特征在于：根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，还包括：根据所述像素与相邻像素的深度值差异确定所述像素的边界项分割参数；其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的边界项分割参数。4.根据权利要求3所述的方法，其特征在于：构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，包括：构建一个无向图，在所述无向图的平面外设置两个悬空点Q0和Q1，所述悬空点Q0为虚拟前景点，所述悬空点Q1为虚拟背景点；在所述无向图的平面上建立所述掩模图上各个像素的映射点，在前景点的映射点与所述悬空点Q0之间建立连线，在背景点的映射点与所述悬空点Q1之间建立连线；对掩模图中的任意一个像素Pi，将所述像素Pi的区域项分割参数作为所述无向图中映射点Pi'的权值，将所述像素Pi的边界项分割参数作为所述无向图中映射点Pi'与悬空点Q0或Q1之间连线的权值。5.根据权利要求4所述的方法，其特征在于：所述根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图，包括：迭代执行以下C步骤和D步骤，在迭代运行达到收敛条件后停止迭代过程，将所述前景点集合Q中的各个像素作为精细分割后的掩模图中的前景点；其中，C步骤和D步骤分别包括以下处理：C步骤：将无向图中的一部分像素划分为与悬空点Q0同类的前景点，由划分为前景点的像素构成前景点集合Q；D步骤：计算所述前景点集合Q的权值总和，所述权值总和是所述前景点集合Q中所有前景点的权值和，再加上所述前景点集合Q中所有前景点与悬空点Q0之间连线的权值和；其中，所...

【专利技术属性】
技术研发人员：梁舟，
申请(专利权)人：努比亚技术有限公司，
类型：发明
国别省市：广东,44