一种实现交互式图像分割的方法、装置及终端制造方法及图纸
Method, device and terminal for implementing interactive image segmentation
The invention discloses a method, a device and a terminal for realizing interactive image segmentation. The method comprises: acquiring color map and depth map and the color icon remember the mask image foreground and background; according to the color map and mask map to determine the parameters of the first segmentation mask for each pixel on the map, according to the depth map and the map to determine the mask the mask map of each pixel of the second segmentation parameters, two kinds of segmentation parameter fusion; construct undirected graph, the segmentation mask parameter mapping patterns of each pixel in the fused to the undirected graph, according to the minimum cut maximum flow algorithm without processing the graph and the mask pattern to obtain a fine segmentation; segmentation fine segmentation after the mask before the attractions in the corresponding mold figure image from the color map. In this paper, we can combine the depth information of the image to improve the effect of image segmentation.
【技术实现步骤摘要】
一种实现交互式图像分割的方法、装置及终端
本专利技术涉及图像处理
，尤其涉及一种实现交互式图像分割的方法、装置及终端。
技术介绍
图像分割，是指将平面图像依照颜色、纹理、形状等特征将其划分为互不相连的若干区域，这是图像处理领域的一项实用的基础技术。现有的图像分割技术有基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法、基于能量泛函的分割方法、基于图论的分割方法等。其中在图论方法里比较知名的有GraphCut算法及其改进版本GrabCut算法。GraphCut算法及其改进版本GrabCut算法，是基于区域标注的交互式图像分割方法。GraphCut算法是基于马尔可夫随机场(MarkovRandomField,MRF)能量最小化框架的一种算法，优点在于可以结合多种理论知识进行全局最优求解。GrabCut算法是对GraphCut算法的改进，GrabCut算法通过在原始图像上标注出前景点(要提取的目标对象上的点)和背景点生成掩模图，利用原图和掩模图对前景、背景颜色空间建立高斯混合模型(GaussianMixtureModel，GMM)，利用GMM参数学习、估计过程中可进化的迭代算法完成能量最小化，判决出图像中的前景点和背景点，从原图中提取出由前景点像素组成的目标图像。相关技术中的GrabCut算法是基于彩色图像进行图像分割的，当要提取的目标对象的颜色特征并不明显时，利用彩色图进行分割的分割效果并不理想。
技术实现思路
本专利技术所要解决的技术问题是提供一种实现交互式图像分割的方法、装置及终端，能够基于深度图和彩色图运算图像分割算法，改善图像分割的效果。本专...
【技术保护点】
一种实现交互式图像分割的方法，包括：获取包含目标对象颜色信息的彩色图、包含目标对象深度信息的深度图和对所述彩色图标记了前景点和背景点的掩模图；根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数，根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数，所述第一分割参数和第二分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的数值差异；将所述第一分割参数与所述第二分割参数进行融合；构建无向图，将所述掩模图中的每一个像素的融合后的分割参数映射到所述无向图中，根据最小割‑最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从所述彩色图中分割出所述精细分割后的掩模图中前景点对应的图像。
【技术特征摘要】
1.一种实现交互式图像分割的方法，包括：获取包含目标对象颜色信息的彩色图、包含目标对象深度信息的深度图和对所述彩色图标记了前景点和背景点的掩模图；根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数，根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数，所述第一分割参数和第二分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的数值差异；将所述第一分割参数与所述第二分割参数进行融合；构建无向图，将所述掩模图中的每一个像素的融合后的分割参数映射到所述无向图中，根据最小割-最大流算法对所述无向图进行处理，获得精细分割后的掩模图；从所述彩色图中分割出所述精细分割后的掩模图中前景点对应的图像。2.根据权利要求1所述的方法，其特征在于：根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数，包括：根据所述彩色图和掩模图确定所述掩模图上各个像素的第一区域项分割参数：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的第一区域项分割参数，所述第一区域项分割参数是所述像素基于所述彩色图判决为前景点或背景点的概率；其中，所述E步骤和M步骤分别包括以下处理：E步骤：根据所述掩模图上各个像素的颜色值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景点或背景点；簇的分类包括前景点簇或背景点簇；M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。3.根据权利要求2所述的方法，其特征在于：根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数，包括：根据所述深度图和掩模图确定所述掩模图上各个像素的第二区域项分割参数：按EM方法进行高斯混合模型GMM计算，所述EM方法包括E步骤和M步骤；迭代运行E步骤和M步骤，在所述迭代运行达到收敛条件后停止所述迭代过程；将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类，将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的第二区域项分割参数，所述第二区域项分割参数是所述像素基于所述深度图判决为前景点或背景点的概率；其中，所述E步骤和M步骤分别包括以下处理：E步骤：根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇，确定各个簇的GMM模型；其中，像素的分类包括前景点或背景点；簇的分类包括前景点簇或背景点簇；M步骤：根据各个簇的GMM模型确定每一个像素归属于各个簇的概率，对任意一个像素，根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。4.根据权利要求3所述的方法，其特征在于：根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数，还包括：根据所述彩色图和掩模图确定所述掩模图上各个像素的第一边界项分割参数：根据所述像素与相邻像素的颜色差异确定所述像素的第一边界项分割参数；其中，对任意一个像素，将RGB三个颜色通道上所述像素与邻近的各个像素之间的数值差值绝对值进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的第一边界项分割参数。5.根据权利要求4所述的方法，其特征在于：根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数，还包括：根据所述深度图和掩模图确定所述掩模图上各个像素的第二边界项分割参数：根据所述像素与相邻像素的深度值差异确定所述像素的第二边界项分割参数；其中，对任意一个像素，将所述像素与邻近的各个像素之间的深度值差值绝对值进行累加，再对累加和进行归一化处理，得到归一化后的累加和作为所述像素的第二边界项分割参数。6.根据权利要求5所述的方法，其特征在于：将所述第一分割参数与所述第二分割参数进行融合，包括：将所述第一区域项分割参数与所述第二区域项分割参数进行融合：对任意一个像素，将所述第一区域项分割参数乘以权重(1-a)得到调整后的第一区域项分割参数，将所述第二区域项分割参数乘以权重a得到调整后的第二区域项分割参数；如果所述第一区域项分割参数指示的像素分类与所述第二区域项分割参数...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。