一种实现交互式图像分割的方法、装置及终端制造方法及图纸

本文公开了一种实现交互式图像分割的方法、装置及终端。所述方法包括：构造包含涂抹轨迹的几何图形并扩展形成标记区，确定包含所述标记区的感兴趣区域；生成图像分割算法的输入掩模图：将标记区中所有的像素作为掩模图中的前景点，将感兴趣区域中标记区外的像素作为掩模图中的背景点；根据深度图和掩模图确定各个像素的分割参数，构建无向图并将掩模图中的每一个像素的分割参数映射到无向图中，根据无向图运行最小割‑最大流算法，获得精细分割后的掩模图，从原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。本文能缩短算法的运行时间，利用图像的深度信息改善图像分割的效果。

【技术实现步骤摘要】
一种实现交互式图像分割的方法、装置及终端
本专利技术涉及图像处理
，尤其涉及一种实现交互式图像分割的方法、装置及终端。
技术介绍
图像分割，是指将平面图像依照颜色、纹理、形状等特征将其划分为互不相连的若干区域，这是图像处理领域的一项实用的基础技术。现有的图像分割技术有基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法、基于能量泛函的分割方法、基于图论的分割方法等。其中在图论方法里比较知名的有GraphCut算法及其改进版本GrabCut算法。GraphCut算法及其改进版本GrabCut算法，是基于区域标注的交互式图像分割方法。GraphCut算法是基于马尔可夫随机场(MarkovRandomField,MRF)能量最小化框架的一种算法，优点在于可以结合多种理论知识进行全局最优求解。GrabCut算法是对GraphCut算法的改进，GrabCut算法通过在原始图像上标注出前景点(要提取的目标对象上的点)和背景点生成掩模图，利用原图和掩模图对前景、背景颜色空间建立高斯混合模型(GaussianMixtureModel，GMM)，利用GMM参数学习、估计过程中可进化的迭代算法完成能量最小化，判决出图像中的前景点和背景点，从原图中提取出由前景点像素组成的目标图像。在手机上使用GrabCut算法进行图像分割时，为了降低交互的复杂性，通常对用户如何标记不做严格要求，因此，在用户标记的前景点较少的情况下迭代次数可能很多，算法运行时间较长，影响了用户的体验。另一方面，相关技术中的GrabCut算法是基于彩色图像进行图像分割的，当要提取的目标对象的颜色特征并不明显时，利用彩色图进行分割的分割效果并不理想。
技术实现思路
本专利技术所要解决的技术问题是提供一种实现交互式图像分割的方法、装置及终端，能够缩短算法的运行时间，利用图像的深度信息改善图像分割的效果。本专利技术实施例提供了一种实现交互式图像分割的方法，包括：检测到原始图像上的涂抹轨迹后，构造包含所述涂抹轨迹的几何图形并对所述几何图形进行扩展形成标记区，确定包含所述涂抹轨迹的一块区域作为感兴趣区域，所述感兴趣区域包含所述标记区；生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述感兴趣区域中标记区外的像素作为所述掩模图中的背景点；获取包含目标对象深度信息的深度图，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度值差异；构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。可选地，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，包括：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的区域项分割参数，所述区域项分割参数是所述像素判决为前景点或背景点的概率；其中，所述E步骤和M步骤分别包括以下处理：E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景点或背景点；簇的分类包括前景点簇或背景点簇；M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。可选地，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，还包括：根据所述像素与相邻像素的深度值差异确定所述像素的边界项分割参数；其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的边界项分割参数。可选地，构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，包括：构建一个无向图，在所述无向图的平面外设置两个悬空点Q0和Q1，所述悬空点Q0为虚拟前景点，所述悬空点Q1为虚拟背景点；在所述无向图的平面上建立所述掩模图上各个像素的映射点，在前景点的映射点与所述悬空点Q0之间建立连线，在背景点的映射点与所述悬空点Q1之间建立连线；对掩模图中的任意一个像素Pi，将所述像素Pi的区域项分割参数作为所述无向图中映射点Pi'的权值，将所述像素Pi的边界项分割参数作为所述无向图中映射点Pi'与悬空点Q0或Q1之间连线的权值。可选地，所述根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图，包括：迭代执行以下C步骤和D步骤，在迭代运行达到收敛条件后停止迭代过程，将所述前景点集合Q中的各个像素作为精细分割后的掩模图中的前景点；其中，C步骤和D步骤分别包括以下处理：C步骤：将无向图中的一部分像素划分为与悬空点Q0同类的前景点，由划分为前景点的像素构成前景点集合Q；D步骤：计算所述前景点集合Q的权值总和，所述权值总和是所述前景点集合Q中所有前景点的权值和，再加上所述前景点集合Q中所有前景点与悬空点Q0之间连线的权值和；其中，所述收敛条件是前景点集合Q的权值总和小于阈值且变化趋于稳定。可选地，拍摄所述目标对象所获得的原始图像是彩色图、黑白图、或红外图。可选地，构造包含所述涂抹轨迹的几何图形并对所述几何图形进行扩展形成标记区，确定包含所述涂抹轨迹的一块区域作为感兴趣区域，包括：构造所述涂抹轨迹的最小外接矩形，根据所述涂抹轨迹的长度L对所述最小外接矩形进行扩展形成标记区；为所述涂抹轨迹套用几何形状模板，根据所述几何形状模板生成包含所述涂抹轨迹的感兴趣区域，如果所述感兴趣区域没有包含所述标记区，则将所述感兴趣区域扩展至包含所述标记区；或者对所述标记区进行膨胀处理形成感兴趣区域。可选地，所述构造所述涂抹轨迹的最小外接矩形，根据所述涂抹轨迹的长度L对所述最小外接矩形进行扩展形成标记区，包括：根据所述涂抹轨迹上所有像素的横纵坐标值确定出最大横坐标值x_max、最小横坐标值x_min、最大纵坐标值y_max和最小纵坐标值y_min；构造所述涂抹轨迹的最小外接矩形，所述最小外接矩形的四个顶点的坐标依次是：(x_min,y_max)，(x_min,y_min)，(x_max,y_max)，(x_max,y_min)；根据所述涂抹轨迹的长度L对所述最小外接矩形进行扩展形成标记区，所述标记区的四个顶点坐标依次是：(x_min-a,y_max+a)，(x_min-a,y_min-a)，(x_max+a,y_max+a)，(x_max+a,y_min-a)；其中，a是可调系数，a＝L*b，b是常数。可选地，生成图像分割算法的输入掩模图之前，还包括：如果当前检测到的涂抹轨迹是针对所述原始图像的第一次标记，则将当前检测到的涂抹轨迹确定出的标记区作为最终的标记区，将当前检测到的涂抹轨迹确定出的感兴趣区域作为最终的感兴趣区域；如果当前检测到的涂抹轨迹本文档来自技高网...

【技术保护点】
一种实现交互式图像分割的方法，包括：检测到原始图像上的涂抹轨迹后，构造包含所述涂抹轨迹的几何图形并对所述几何图形进行扩展形成标记区，确定包含所述涂抹轨迹的一块区域作为感兴趣区域，所述感兴趣区域包含所述标记区；生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述感兴趣区域中标记区外的像素作为所述掩模图中的背景点；获取包含目标对象深度信息的深度图，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度值差异；构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，根据最小割‑最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。

【技术特征摘要】
1.一种实现交互式图像分割的方法，包括：检测到原始图像上的涂抹轨迹后，构造包含所述涂抹轨迹的几何图形并对所述几何图形进行扩展形成标记区，确定包含所述涂抹轨迹的一块区域作为感兴趣区域，所述感兴趣区域包含所述标记区；生成图像分割算法的输入掩模图：将所述标记区中所有的像素作为所述掩模图中的前景点，将所述感兴趣区域中标记区外的像素作为所述掩模图中的背景点；获取包含目标对象深度信息的深度图，根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，所述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度值差异；构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。2.根据权利要求1所述的方法，其特征在于：根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，包括：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的区域项分割参数，所述区域项分割参数是所述像素判决为前景点或背景点的概率；其中，所述E步骤和M步骤分别包括以下处理：E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景点或背景点；簇的分类包括前景点簇或背景点簇；M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。3.根据权利要求2所述的方法，其特征在于：根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数，还包括：根据所述像素与相邻像素的深度值差异确定所述像素的边界项分割参数；其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的边界项分割参数。4.根据权利要求3所述的方法，其特征在于：构建无向图，将所述掩模图中的每一个像素的分割参数映射到所述无向图中，包括：构建一个无向图，在所述无向图的平面外设置两个悬空点Q0和Q1，所述悬空点Q0为虚拟前景点，所述悬空点Q1为虚拟背景点；在所述无向图的平面上建立所述掩模图上各个像素的映射点，在前景点的映射点与所述悬空点Q0之间建立连线，在背景点的映射点与所述悬空点Q1之间建立连线；对掩模图中的任意一个像素Pi，将所述像素Pi的区域项分割参数作为所述无向图中映射点Pi'的权值，将所述像素Pi的边界项分割参数作为所述无向图中映射点Pi'与悬空点Q0或Q1之间连线的权值。5.根据权利要求4所述的方法，其特征在于：所述根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图，包括：迭代执行以下C步骤和D步骤，在迭代运行达到收敛条件后停止迭代过程，将所述前景点集合Q中的各个像素作为精细分割后的掩模图中的前景点；其中，C步骤和D步骤分别包括以下处理：C步骤：将无向图中的一部分像素划分为与悬空点Q0同类的前景点，由划分为前景点的像素构成前景点集合Q；D步骤：计算所述前景点集合Q的权值总和，所述权值总和是所述前景点集合Q中所有前景点的权值和，再加上所述前景点集合Q中所有前景点与悬空点Q0之间连线的权值和；其中，所述收敛条件是前景点集合Q的权值总和小于阈值且变化趋于稳定。...

【专利技术属性】
技术研发人员：梁舟，
申请(专利权)人：努比亚技术有限公司，
类型：发明
国别省市：广东,44