一种融合颜色和深度信息的图像分割方法技术

本发明专利技术公开了一种融合颜色和深度信息的图像分割方法，本发明专利技术首先利用meanshift算法对输入彩色图像作分割，得到过分割区域集合，然后计算各区域之间的相似度，包括颜色相似度和深度相似度，以及两者的融合；接着根据深度图像自动选取目标和背景种子区域；最后利用MSRM算法进行区域合并，得到最终的分割结果。本发明专利技术在计算区域之间相似度时，不仅仅利用颜色信息，还动态融合了深度信息，解决了当目标和背景颜色相近，即物体与物体之间为低对比度边缘时，无法正确分割的问题；本发明专利技术利用图像深度信息自动选取种子区域，无需人工交互地标注目标和背景的种子区域，直接利用深度图像的区域特性，而不是边缘特性来确定种子区域，具有较好的鲁棒性。

【技术实现步骤摘要】
一种融合颜色和深度信息的图像分割方法
本专利技术属于计算机视觉领域，具体涉及一种融合颜色和深度信息的图像分割方法。
技术介绍
图像分割是将图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是图像处理到图像分析的关键步骤。图像分割后提取出的目标可以用于图像语义识别，图像检索等领域。传统图像分割方法一般基于图像的外观特征，如颜色、亮度、纹理、形状、结构等。而真实的物体存在三维世界中，物体应该由物理上的连通性来定义，结合图像的深度信息来分割图像，可以有效地克服过分割和欠分割问题，获取具有一定语义的图像分割结果。目前，图像分割方法不计其数，其中[文献1]提出的基于最大相似度的区域合并的方法(以下简称MSRM算法)比较简单，对图像内容自适应，无需事先设置相似度阈值，能够从复杂背景中提取目标轮廓。MSRM算法的优势在于：与人工交互的经典算法图割(graphcut)相比，在相同的人工交互条件下，分割效果更好。局限性在于：需要标记覆盖主要的特征区域，当出现阴影、低对比度边缘和模糊区域时，分割是失败的。近年来有很多文献将深度图像引入图像分割领域，[文献2]提出一种基于深度和颜色信息的图像物体分割算法，首先利用meanshift分割算法对目标图像进行过分割，同时借助双目立体视觉算法获取立体图对的稠密深度图，依据深度不连续性从过分割结果中选取继续进行“精致”分割的种子点集，对未分配种子标签的区域用图割算法分配标签，并对彼此之间没有深度不连续边界但具有不同标签的相邻区域进行融合。该算法的局限性在于:(1)用图割算法(graphcut)进行全局优化时，仅仅用到了颜色信息；(2)获得的图像二值化深度不连续边缘强烈依赖于实验阈值，且边缘线本身是间断、不连续的，这将影响种子点选取的可靠性。[文献3]提出一种基于颜色和深度信息的多模语义分割方法，该算法将纹理、颜色描述子和3D描述子通过马尔科夫随机场模型融合到一起，为超像素分配标签。该方法需要训练，计算量大。[文献4]提出的在机器人视觉导航系统中利用彩色和深度图像定位物体，只适用于图像中几个物体颜色单一且完全一致时，利用深度的不同来区分。文献1：NingJ.,ZhangL.,ZhangD.,etal.Interactiveimagesegmentationbymaximalsimilaritybasedregionmerging.PatternRecognition,2010,43(2):445-456；文献2：皮志明，汪增福.融合深度和颜色信息的图像物体分割算法.模式识别与人工智能，2013，26(2):151-158；文献3：IslemJebari，DavidFilliat.Coloranddepth-basedsuperpixelsforbackgroundandobjectsegmentation.ProcediaEngineering，2012，41:1307-1315；文献4：José-Juan,Hernández-López,Ana-Linnet.etal.DetectingobjectsusingcoloranddepthsegmentationwithKinectsensor.ProcediaTechnology,2012,3:196-204。
技术实现思路
本专利技术的目的在于提供一种当目标和背景颜色复杂且相近时能够更准确地加以区分、且能够利用深度图像的区域特性自动选取种子区域的图像分割方法。本专利技术所采用的技术方案是：一种融合颜色和深度信息的图像分割方法，其特征在于，包括以下步骤：步骤1：利用meanshift算法对输入彩色图像作分割，得到过分割区域集合G＝{Gi}i＝1,…,RN，其中，上标i代表区域序号，RN为区域总数目；步骤2：计算G中各区域之间的相似度，包括颜色相似度Sc和深度相似度Sd，以及颜色相似度Sc和深度相似度Sd的融合；步骤3：根据深度图像自动选取目标和背景种子区域；步骤4：利用MSRM算法进行区域合并，得到最终的分割结果。作为优选，步骤2中所述的计算G中各区域之间的颜色相似度，其具体实现过程是采用Bhattacharyya系数定义G中任意两个区域R和Q的颜色相似度Sc：其中，HistR和HistQ分别为区域R和Q的归一化颜色直方图，上标u表示直方图的第u个元素，U为直方图的总柄数。作为优选，步骤2中所述的计算G中各区域之间的深度相似度，其具体实现过程是将G中每个区域的像素的深度值取算术平均作为该区域的深度值，构成区域深度集合D＝{Di}i＝1,…,RN，上标i代表区域序号，定义G中任意两个区域R和Q的深度相似度Sd：其中，max{Di}i＝1,…,RN表示所有区域深度取最大值，min{Di}i＝1,…,RN为所有区域深度除了0以外的最小值。作为优选，所述的将G中每个区域的像素的深度值取算术平均作为该区域的深度值，针对图像中部分像素的深度由于遮挡等原因不能确定，而给出的深度图像中是以0作为深度值进行填补的情况，具体处理方法为：将过分割区域集合G映射到深度图像中，若过分割区域Gi中元素的深度值全为0，表明该区域物体的深度信息不确定，那么只考虑该区域与相邻区域的颜色相似度；若过分割区域Gi中有部分元素的深度值为0，那么计算该区域深度值Di时，只对过分割区域Gi中深度不为零的那些像素点取算术平均。作为优选，步骤2中所述的颜色相似度Sc和深度相似度Sd的融合，Sc和Sd融合后总的相似度为：S＝Sc+w·Sd其中，Sc和Sd融合的权值w采用非线性的Sigmoid曲线来描述：其中A确定了Sigmoid曲线的最大逼近值，B和C分别确定了Sigmoid曲线的位移和陡峭程度。作为优选，步骤3所述的根据深度图像自动选取目标和背景种子区域，其具体实现过程是首先利用K-means算法对区域深度集合D中的元素进行聚类，类别个数取K＝2，自动聚成两大类，即目标和背景，然后分别从这两大类中随机挑选若干区域作为目标和背景的种子区域。该聚类方法简单易行，解决了宁纪峰方法中需要人工参与标注的问题。本专利技术与现有技术相比的优点在于：(1)在计算区域之间相似度时，不仅仅利用颜色信息，还动态融合了深度信息，则当图像中目标和背景颜色相近，即物体与物体之间出现低对比度边缘时，可以由深度的不同来区分；(2)利用图像深度信息自动选取种子区域，无需人工交互地标出目标和背景的种子区域，直接利用深度图像的区域特性，而不是边缘特性来确定种子区域，具有较好的鲁棒性。附图说明图1：是本专利技术流程图；图2：是本专利技术实施例中所使用的Sigmoid曲线；图3-1：是本专利技术实施例中输入的彩色图像；图3-2：是本专利技术实施例中输入的深度图像；图4：是本专利技术实施例中对彩色图像作meanshift分割的结果；图5-1：是本专利技术实施例中对区域深度作K-means聚类结果；图5-2：是本专利技术实施例中选取的种子区域；图6-1：是本专利技术实施本文档来自技高网...

【技术保护点】
一种融合颜色和深度信息的图像分割方法，其特征在于，包括以下步骤：步骤1：利用meanshift算法对输入彩色图像作分割，得到过分割区域集合G＝{Gi}i＝1,…,RN，其中，上标i代表区域序号，RN为区域总数目；步骤2：计算G中各区域之间的相似度，包括颜色相似度Sc和深度相似度Sd，以及颜色相似度Sc和深度相似度Sd的融合；步骤3：根据深度图像自动选取目标和背景种子区域；步骤4：利用MSRM算法进行区域合并，得到最终的分割结果。

【技术特征摘要】
1.一种融合颜色和深度信息的图像分割方法，其特征在于，包括以下步骤：步骤1：利用meanshift算法对输入彩色图像作分割，得到过分割区域集合G＝{Gi}i＝1,…,RN，其中，上标i代表区域序号，RN为区域总数目；步骤2：计算G中各区域之间的相似度，包括颜色相似度Sc和深度相似度Sd，以及颜色相似度Sc和深度相似度Sd的融合；其中计算G中各区域之间的深度相似度，其具体实现过程是将G中每个区域的像素的深度值取算术平均作为该区域的深度值，构成区域深度集合D＝{Di}i＝1,…,RN，上标i代表区域序号，定义G中任意两个区域R和Q的深度相似度Sd：其中，max{Di}i＝1,…,RN表示所有区域深度取最大值，min{Di}i＝1,…,RN为所有区域深度除了0以外的最小值；其中将G中每个区域的像素的深度值取算术平均作为该区域的深度值，针对图像中部分像素的深度不能确定，而给出的深度图像中是以0作为深度值进行填补的情况，具体处理方法为：将过分割区域集合G映射到深度图像中，若过分割区域Gi中元素的深度值全为0...

【专利技术属性】
技术研发人员：郑庆庆，吴谨，刘劲，邓慧萍，廖宇峰，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42