一种基于彩色图像分割的Kinect深度图修复方法技术

本发明专利技术涉及一种基于彩色图像分割的Kinect深度图修复方法，本方法将对应的彩色图像分割结果作为参考信息修复深度图，来重建深度图的无效区域，再利用彩色图像作为引导信息对重建后的深度图滤波，达到去噪的效果；以实现在同时拍摄的彩色图像的提供参考信息的基础上，通过对彩色图像分割处理，获得深度图空洞重建区域，得到较好质量的Kinect深度图。

【技术实现步骤摘要】
一种基于彩色图像分割的Kinect深度图修复方法
：本专利技术涉及一种基于彩色图像分割的Kinect深度图修复方法，属于图像处理的

技术介绍
：随着立体显示技术和视频处理技术的发展，深度图成为近年来立体视觉技术中的研究热点，并被广泛应用于三维重建、3D电视、深度图像渲染(DIBR)、图像分割等众多领域。深度图可以通过立体匹配算法或深度相机获得。立体匹配算法是在由双目相机获取的图像对中确定像素对应点来计算视差图，然后根据几何关系转换为深度图。由于该类方法计算成本高，大部分的立体匹配方法无法用于实际应用。深度相机直接获取深度信息，一般通过发射和接收反射光来计算深度信息以实现深度信息的实时提取。随着传感器技术的发展，现在市场上出现了很多深度摄像机。其中Kinect是由微软研发的深度相机，可以同时获得深度图和彩色图像。由于价格低以及实时的深度图像获取能力，Kinect相机在游戏产业和科学研究中都得到了广泛应用。但Kinect获取的深度图也存在着很多问题。首先，由于作用距离的限制以及反射、遮挡等因素影响，Kinect深度图存在很多空洞——没有有效深度的区域，特别是在前景对象的边界部分；第二，Kinect深度图中也存在着严重噪声。Kinect的深度图需修复以便用于需要高质量深度图的实际应用中，在这个问题上人们已有很多研究。DanMiao等在论文“Texture-assistedKinectDepthInpainting”中提出了利用彩色图像纹理作为辅助信息的Kinect的深度修补算法，其中，在彩色图像中纹理边缘被提取为辅助信息，在深度图中对平滑区域和边缘区域中采用不同的修复方案。JunyiLiu等人在论文“GuidedInpaintingandFilteringforKinectDepthMaps”中提出了引导快速行进算法(guidedfastmarchingmethod，GFFM)来修复Kinect深度图。S.Matyunin在论文“TemporalfilteringfordepthmapsgeneratedbyKinectdepthcamera”提出了使用从视频中物体的运动和颜色信息来处理Kinect深度图。但是现有的Kinect深度图修复方法很难处理大的空洞，在由于边界遮挡而形成空洞处也难于给出比较准确的深度值。
技术实现思路
：针对现有技术方案所存在的缺陷和不足，本专利技术提供一种基于彩色图像分割的Kinect深度图修复方法，本方法将对应的彩色图像分割结果作为参考信息修复深度图，来重建深度图的无效区域，再利用彩色图像作为引导信息对重建后的深度图滤波，达到去噪的效果；以实现在同时拍摄的彩色图像的提供参考信息的基础上，通过对彩色图像分割处理，获得深度图空洞重建区域，得到较好质量的Kinect深度图。专业技术术语：有效深度：在Kinect获得的深度图是一副灰度图，灰度取值范围在[0，255]之间，有效深度指取值范围在[1，255]之间的深度，而无效深度是指由于遮挡、反光等因素而造成的取值为0的深度，表示Kinect相机没有获得该像素的实际深度。引导滤波：是现有的一种新的滤波技术，使用一副图像(引导图像)对另一幅图像进行滤波，能够有效的保持待滤波图像的边缘信息。本专利技术的技术方案如下：一种基于彩色图像分割的Kinect深度图修复方法，包括步骤如下：A、获取彩色图像和深度图；将同时获得的彩色图像和深度图对齐；B、对彩色图像做分割预处理；对彩色图像做分割预处理，得到彩色图像的所有分割物体区域；C、缺失深度值Dp估计；对空洞边界上缺失深度值的像素p所在的分割物体区域Rk，在分割后的彩色图像中选择对应的分割物体区域Rk；在深度图的分割物体区域Rk中，选择像素p周围深度值已知的像素点的深度值Dq；利用彩色图像中的分割物体区域Rk和深度图的分割物体区域Rk中深度值Dq进行缺失深度值Dp估计，得到中间深度图；使用像素p周围深度值已知的像素点的深度值Dq计算p的深度值，并只在同一个分割物体区域Rk中的像素被选择用于计算，这避免不同的对象的深度值的干扰，因此它可以产生一个具有更精确边界的深度图；D、对中间深度图进行去噪。本专利技术所述方法包括两个大的步骤。首先基于彩色图像分割给出估计的空洞中缺失的深度值；第二，对空洞填充后的深度图进行滤波去噪。本方法的创新在于，利用彩色图像分割结果在深度图估计缺失的深度值，从而可以消除在计算深度值过程中的不同物体的影响，并在深度图中给出前景物体的更准确的边界。在深度图修复中使用彩色图像作为引导，颜色信息被用来区分不同的物体。假定具有类似颜色的相邻像素属于同一物体，具有相似的深度值。根据本专利技术优选的，所述步骤A、获取彩色图像和深度图的方法包括：使用Kinect相机同时获取彩色图像和深度图，将所述彩色图像和深度图对齐；所述对齐是指所获取的彩色图像和深度图中，同一位置的彩色像素和深度值是一一对应的。根据本专利技术优选的，所述步骤B、对彩色图像做分割预处理的方法包括：对彩色图像进行图像分割,得到彩色图像的所有分割物体区域；彩色图像分割后的分割物体区域为(R1,R2,…,Rn)，其中，n是分割物体区域的个数；在步骤A中已经将所述彩色图像和深度图进行了对齐处理，因此所述分割物体区域，在彩色图像和深度图中表示坐标位置相同的区域。图像分割是现有的图像处理技术，这里的分割可以采用一些常见方法，例如分水岭的方法，meanshift方法。根据本专利技术优选的，所述步骤C、缺失深度值估计的方法包括：在深度图中顺时针或者逆时针沿着空洞的边界从外到内进行缺失深度值估计；对空洞边界上缺失深度值的像素p所在的分割物体区域Rk，其中，k∈(1，…,n)，在分割后的彩色图像中选择对应的分割物体区域Rk；按照现有技术沿着空洞边界，从外到内可以有效地利用已有的深度值(包括实际拍摄和估计得到的)对无效深度进行计算。在深度图的分割物体区域Rk中，使用像素p周围深度值已知的像素点的深度值Dq计算p的深度值Dp，Dp的计算公式为：其中，N(p)表示像素邻域，所述像素邻域是M×M的正方形窗口，ωq表示深度值Dp的群权重，是空域高斯权重ωqs和颜色高斯权重ωqc的乘积，即：ωq＝ωqsωqc(2)空域高斯权重ωqs是由像素p的坐标sp(xp,yp)和q的坐标sq(xq,yq)定义,表示两者之间距离对深度值Dp的群权重ωq的影响；σs表示空域高斯权重ωqs的标准差，是根据实际应用选择的；颜色高斯权重ωqc由彩色图像中像素p的颜色值Cp(Rp,Gp,Bp)和彩色图像中像素q的颜色值Cq(Rq,Gq,Bq)定义，表示两者之间颜色差异对深度值Dp的群权重ωq的影响；σc表示颜色高斯权重ωqc的标准差，是根据实际应用选择的；使用像素p周围深度值已知的像素点的深度值计算p的深度值Dp，并只在同一个分割物体区域Rk中的像素被选择用于计算，用于产生一个具有更精确边界的深度图；对Dp的值进行计算的过程即是对深度图中的空洞进行重建的过程，得到空洞重建后的中间深度图；只在同一个分割物体区域Rk中的像素被选择用于计算，这避免不同的对象的深度值的干扰。根据本专利技术优选的，所述步骤D中所述去噪的方法是引导滤波的方法；以彩色图像作为引导信息，采用引导滤波(Guidedfilter)本文档来自技高网...

【技术保护点】
一种基于彩色图像分割的Kinect深度图修复方法，其特征在于，包括步骤如下：A、获取彩色图像和深度图；B、对彩色图像做分割预处理；C、缺失深度值Dp估计；对空洞边界上缺失深度值的像素p所在的分割物体区域Rk，在分割后的彩色图像中选择对应的分割物体区域Rk；在深度图的分割物体区域Rk中，选择像素p周围深度值已知的像素点的深度值Dq；利用彩色图像中的分割物体区域Rk和深度图的分割物体区域Rk中深度值Dq进行缺失深度值Dp估计，得到中间深度图；D、对中间深度图进行去噪。

【技术特征摘要】
1.一种基于彩色图像分割的Kinect深度图修复方法，其特征在于，包括步骤如下：A、获取彩色图像和深度图；B、对彩色图像做分割预处理；C、缺失深度值Dp估计；对空洞边界上缺失深度值的像素p所在的分割物体区域Rk，在分割后的彩色图像中选择对应的分割物体区域Rk；在深度图的分割物体区域Rk中，选择像素p周围深度值已知的像素点的深度值Dq；利用彩色图像中的分割物体区域Rk和深度图的分割物体区域Rk中深度值Dq进行缺失深度值Dp估计，得到中间深度图；缺失深度值估计的方法包括：在深度图中顺时针或者逆时针沿着空洞的边界从外到内进行缺失深度值估计；对空洞边界上缺失深度值的像素p所在的分割物体区域Rk，其中，k∈(1，…,n)，在分割后的彩色图像中选择对应的分割物体区域Rk；在深度图的分割物体区域Rk中，使用像素p周围深度值已知的像素点的深度值Dq计算p的深度值Dp，Dp的计算公式为：其中，N(p)表示像素邻域，所述像素邻域是M×M的正方形窗口，ωq表示深度值Dp的群权重，是空域高斯权重ωqs和颜色高斯权重ωqc的乘积，即：ωq＝ωqsωqc空域高斯权重ωqs是由像素p的坐标sp(xp,yp)和q的坐标sq(xq,yq)定义,表示两者之间距离对深度值Dp的群权重ωq的影响；

【专利技术属性】
技术研发人员：陈辉，李海坤，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37