一种深度图像的后处理方法技术

本发明专利技术涉及数字图像处理领域，公开了一种深度图像的后处理方法。本发明专利技术首先通过采用时间复杂度较低的经典插值算法对深度图像进行上采样，再对上采样后的深度图像进行边缘线校正、边界区域修复两次后处理。采用本发明专利技术的技术方案能够在提高上采样深度图像良好的主观视觉效果的同时，通过边界校正，使深度图像边界与对应颜色图像的几何边界一致，有效改善了合成视点的质量，消除了上采样带来的边界模糊现象。

【技术实现步骤摘要】

本专利技术涉及数字图像处理领域，特别涉及。
技术介绍
获取三维场景相对于摄像机的距离是计算机视觉研宄中最基础的内容之一，场景中各点相对于摄像机的距离可以用深度图像来表示，即深度图像中某一点的像素值表示对应场景中某一点相对于摄像机的距离。深度图像表征了物体的第三维度信息，因此在三维重建、模式识别、人机交互等研宄中有重要应用。目前机器视觉系统获取场景深度图像的技术可分为被动光方法和主动光方法两大类。被动光方法的基本原理是从两个(或多个)视点观察同一景物，以获取在不同视角下的感知图像，通过三角测量原理计算图像像素间的位置偏差(即视差)来获取景物的三维信息，生成深度图像。然而被动光方法需要严格的约束条件和精确地校正，且时间复杂度也较高，在实际应用中较少采用。主动光方法是指视觉系统首先向场景发射能量，然后接收场景对所发射能量的反射能量，通过计算，获得场景的深度信息。目前依据此类方法设计的Kinect摄像机就是通过向测量空间投射红外光，从而在物体表面形成红外散斑，通过对散斑与摄像机距离的标定来获取物体的深度信息。通过此种方式能迅速地生成深度图像，且成本较低，但获取的深度图像与同时获取的颜色图像相比，存在着分辨率较低的问题，不利于后续工作的进行，限制了其在实际中的应用。所以需要对深度图像再进行处理，以提高深度图像的分辨率，使其与对应颜色图像具有同样的大小，即深度图像的上采样。现有技术中，深度图像的上采样有一些经典的插值算法，例如最邻近插值算法(nearest)，双线性插值算法(bilinear)和双三次插值算法(bicubic)等。最邻近插值算法即选择离它所映射到的位置最近的输入像素的灰度值作为插值结果:这种算法计算量虽小，但会产生明显的马赛克现象和锯齿效应。双线性插值算法则是对最邻近插值算法的改进，它先对水平方向进行一阶线性插值，然后再在垂直方向上进行一阶线性插值，综合二者经第三次插值才得到最后结果。经此种方法得到的上采样结果图像的锯齿现象难以察觉，但图像的边缘会产生模糊现象。双三次插值算法又是对双线性插值算法的改进，它不仅考虑了直接邻点的灰度值对待采样点的影响，还考虑了邻点间像素值变化率的影响，因此所求得的待采样点像素值更为精确。此算法虽克服了前两种方法的缺点，边缘模糊现象也得到改善，但是会造成原始图像的细节丢失。可见，目前急需要，在节约时间和成本的情况下，不但能够消除边缘的模糊现象，而且不会造成原始图像的细节丢失。
技术实现思路
本专利技术的目的在于:提供，其不但节约了处理时间，而且能够在提高上采样深度图像良好的主观视觉效果的同时，通过边界校正，使深度图像边界与对应颜色图像的边界一致，有效改善了合成视点的质量，消除了上采样带来的边界模糊现象。本专利技术提供，包括:通过图像采集系统对原始深度图像d进行上采样，获取上采样后深度图像D’的深度值信息及颜色图像C的梯度值信息；响应于该上采样后深度图像D’的深度值信息，获取该上采样后深度图像的初始边界E’ ；响应于该颜色图像C的梯度值信息，对该上采样后深度图像的初始边界E’进行校正，使其深度图像的边界与对应颜色图像的边界一致，获取深度图像边界图；以获取的深度图像边界图为参照对上采样后深度图像的边界进行修复。进一步，所述对该上采样后深度图像的初始边界进行校正，包括:对初始边界上的每一点P在上采样后深度图像D’上的对应点的深度值与颜色图像C的梯度值进行比较，若梯度值较大且深度值较小，则该边界点P为几何边界；否则进行交叉检验校正，在待校正边界点邻近的区域中搜寻正确的边界点。进一步，所述交叉检验校正包括:判断该边界点P的左右两侧和上下两侧像素点的梯度差值，分别称为水平差值和竖直差值，如果其水平差值大于等于竖直差值，则对P点进行水平方向上的位置校正，否贝1J，进行竖直方向上的位置校正；其中，水平方向上的位置校正为:寻找P点在颜色图像C中的对应点Pc，以PcA为中心，左右各取r个连续的像素点为待考察点，所有的待考察点组成待考察区域R ;若M为某一待考察点，且其水平梯度值大于P。点的水平梯度值，则寻找M点在D’中的对应点M d，若Md点的水平梯度值大于某一阈值thresh，则认为M点是正确的几何边界点，将P点在E’中的位置修正至M点的对应位置；竖直方向上的位置校正为:寻找P点在颜色图像C中的对应点Pc，以Pc点为中心，上下各取r个连续的像素点为待考察点，所有的待考察点组成待考察区域R ;若M为某一待考察点，且其垂直梯度值大于PcA的垂直梯度值，则寻找M点在D’中的对应点M d，若Md点的垂直梯度值大于某一阈值thresh，则认为M点是正确的几何边界点，将P点在E’中的位置修正至M点的对应位置。进一步，所述水平方向上的位置校正或垂直方向上的位置校正中，若有多个M点满足条件，则取在颜色图待考察区域R上梯度最大的点为校正点。进一步，所述响应于该深度图像的深度值信息，即以深度值的变化判断所述上采样后深度图像的初始边界。进一步，对深度图像进行上采样，包括:利用时间复杂度较低的经典插值算法对深度图像进行上采样。进一步，所述经典插值算法包括:最邻近插值算法或双线性插值算法或双三次插值算法。由上可见，应用本专利技术技术方案，由于在确定边界点时，通过比较该边界点在上采样后深度图像D’上的对应点的深度值与颜色图像C的梯度值进行比较，排除掉纹理区域边界对这一过程的干扰，以及进行交叉检验校正，在待校正边界点邻近的区域中搜寻正确的边界点，使得边界点的位置更加准确，从而有效地消除了上采样后深度图像的边缘模糊现象，并保证了其边缘细节。【附图说明】此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的不当限定，在附图中:图1为本专利技术实施例1提供的的主流程示意图；图2为本专利技术实施例2提供的的边界线校正流程示意图。【具体实施方式】下面将结合附图以及具体实施例来详细说明本专利技术，在此本专利技术的示意性实施例以及说明用来解释本专利技术，但并不作为对本专利技术的限定。实施例1:图1为本实施例提供的的主流程示意图。参见图1所示，本实施例提供的深度图像的后处理方法，主要包括以下的流程步骤。步骤1:通过机器视觉系统获得原始深度图像d。步骤2:利用简单差值算法对原始深度图像d进行上采样，并获取上采样后深度图像D’的深度值信息及颜色图像C的梯度值信息。该简单差值算法可以是时间复杂度较低的经典插值算法，例如:最邻近插值算法或双线性插值算法或双三次插值算法等。步骤3:根据该上采样后深度图像D’的深度值信息，对D’中的点进行边缘检测，如果该点的深度值突变，则说明该点为边界点，从而获取该上采样后深度图像的初始边界E’。此处的判断依据在于:考虑到同一物体在深度图像中的深度信息通常一致，而不同物体的交界处才出现深度值的突变，所以深度图像具有边界尖锐而局部平滑的特点。步骤4:结合该颜色图像C的梯度值信息，对该上采样后深度图像的初始边界E’进行校正，使其深度图像的边界与对应颜色图像的边界一致，获取深度图像边界图。步骤5:以获取的深度图像边界图为参照对上采样后深度图像的边界进行修复，填充边界模糊区域。实施例2:图2为本发当前第1页1 2 本文档来自技高网...

【技术保护点】
一种深度图像的后处理方法，其特征在于，包括：通过图像采集系统对原始深度图像d进行上采样，获取上采样后深度图像D'的深度值信息及颜色图像C的梯度值信息；响应于该上采样后深度图像D'的深度值信息，获取该上采样后深度图像的初始边界E'；响应于该颜色图像C的梯度值信息，对该上采样后深度图像的初始边界E'进行校正，使其深度图像的边界与对应颜色图像的边界一致，获取深度图像边界图；以获取的深度图像边界图为参照对上采样后深度图像的边界进行修复。

【技术特征摘要】

【专利技术属性】
技术研发人员：林春雨，袁艺天，赵耀，刘美琴，白慧慧，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京;11