一种基于引导滤波器的鲁棒深度图结构重建和去噪方法技术

本发明专利技术公开了一种基于引导滤波器的鲁棒深度图结构重建和去噪方法，对结构错误区域进行探测，检测输入深度图经过大窗口的引导滤波和小窗口的引导滤波差别较大的地方，由于大窗口下引导滤波可以出现羽化效果，而小窗口的引导滤波仅起到平滑的作用，因此差别较大的区域可以认为是结构错误区域，标记为潜在结构错误区域，然后基于迭代重加权最小二乘算法构建权重，权重构建完成后进行整体求解并更新深度图，根据结果判断是否达到设定的迭代次数，如果达到则输出深度图结束计算，否则重新进行对结构错误区域探测。本发明专利技术能够抑制强噪声，并且能够修复深度图和彩色图结构错误区域，提高深度图和彩色图的一致性，恢复出正确的深度图边界，对提高合成视图的质量有重要的指导意义。

A method of structure reconstruction and denoising of robust depth map based on guided filter

【技术实现步骤摘要】
一种基于引导滤波器的鲁棒深度图结构重建和去噪方法
本专利技术属于图像处理
，具体涉及一种基于引导滤波器的鲁棒深度图结构重建和去噪方法。
技术介绍
随着深度传感器的问世及立体显示技术的快速发展，深度图成为近年来的研究热点。深度图的获取方式有主动式和被动式两种。主动式主要是由单个视点的可见光数据进行深度估计，或者由两个(或多个)视点的可见光数据进行立体匹配计算相应位置的视差，然后根据几何关系转化为深度图。随着深度学习在计算机视觉领域的成功应用，主动式得到的深度图准确度有了很大的提高。但是这类方法对可见光数据中的纹理信息要求较高，深度图结构区域精度低，尤其是在弱纹理区域难以计算出深度数据，导致数据缺失，在实际应用中有一定的局限性。被动式主要是指由深度传感物理器件直接获取深度图像，常用的深度传感器根据原理分为ToF(TimeofFlight)和StructureLight(结构光)两类，ToF通过测量光脉冲之间的传输延迟时间来计算深度信息，实时性强。但是，ToF获取的深度图往往分辨率很低且存在随机噪声。结构光通过向测量空间发射红外线，再由红外摄像机记录空间中物体反射形成的散斑，通过计算得到深度图像，成本低廉。但是，结构光获取的深度图精度较低，尤其是在结构区域往往包含数据错误或者缺失，还包含有大量噪声。由此可见，无论是主动方式还是被动方式获得的深度图质量都较低，尤其是在图像结构区域包含严重的失真。在实际三维视觉系统中，相关应用往往要求高质量的深度图数据，尤其是其几何结构要和同视点的可见光数据要严格一致。比如，在基于深度图像绘制的视图合成方法的3DTV系统中，它利用深度图像将对应的彩色图像经过一系列的三维变换和视图融合生成合成视点图像，因此合成图像质量的高低依赖于输入图像的质量，除了深度图像的噪声和空洞的影响外，深度图和彩色图的边缘的一致性也有较高的要求，否则会引起合成图像的裂纹和空洞，给后续合成图像的空洞填充带来负担。因此，如何重建深度图数据的几何结构和恢复出高质量的深度图在三维视觉系统开发中是一个亟待解决的难题。目前主流的深度图修复技术主要是利用彩色图和深度图的信息来实现深度图的恢复，比如经典的三边滤波器和引导滤波器。现有一种彩色图引导深度图恢复的自回归模型，联合初始深度图的局部信息和彩色图的非局部信息构建回归系数，通过最小化自回归预测误差来实现对深度图的去噪和超分。还有针对自适应带宽的迭代重加权最小二乘算法，通过计算深度图的相对平滑度来确定带宽，同时每次在迭代中更新平滑项的权重，使得模型更加鲁棒。这两种经典算法都采用了彩色图来引导深度图实现恢复，其基本假设是深度图和彩色图的边界完全一致，然而在实际应用中这一假设很难成立，因此对于深度图和彩色图不一致的区域就会引起深度图边界模糊和纹理引入。现有提出了明确度量深度图和彩色图一致性的加权最小二乘的模型，通过提取深度图和彩色图的边缘，采用二分图匹配和图割优化，找到深度图边缘偏移量，以此来定义不一致性，在平滑项中由不一致性来平衡彩色图和深度图梯度对输出的影响。这个方法考虑到了深度图和彩色图不一致的影响，但边缘提取高度依赖于图像梯度，抗噪能力差，且一致性度量仅在边缘有效，无法实现不一致区域值的修复，适用范围有限。第四类是采用Gaussian核函数提出了一种度量同视点可见光数据和深度图几何结构不一致性的模型，并实现了一种深度图结合结构重建的方法。但是，该方法不适用于包含强噪声的深度图。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于引导滤波器的鲁棒深度图结构重建和去噪方法，能够在严重噪声干扰和几何结构失真的情况下，实现对深度图的恢复。本专利技术采用以下技术方案：一种基于引导滤波器的鲁棒深度图结构重建和去噪方法，包括以下步骤：S1、输入待修复的深度图、加噪的深度图和对应的彩色图，对潜在结构错误区域进行探测，利用GuidedFilter对输入图不同的滤波结果得到差值，作为像素点的不一致量度；S2、基于迭代重加权最小二乘算法构建权重；S3、利用前一次迭代的结果计算此次迭代的权重和结构错误区域，并整体求解，求解完成后更新深度图；S4、判断每次迭代的迭代次数是否达到初始化时指定的值，如果没有达到则转步骤S1，利用更新后的深度图计算结构错误区域和权重，直到迭代次数达到设定值，整个迭代过程结束，输出深度图。具体的，步骤S1中，潜在结构错误区域为：对输入深度图先以小窗口进行引导滤波，得到预处理后的深度图，再用大半径的窗口对深度图进行引导滤波，引入彩色图的纹理信息，将两个结果的差值定义为潜在结构错误区域。具体的，步骤S1中，在潜在结构错误区域分别对深度图和彩色图计算高斯权重，并用彩色图权重对深度图权重进行加权平均，作为深度值可信程度的度量值，位于i的像素点深度值的可信度具体为：其中，R＞＞r，guided(D,R)为用大半径的窗口对原始深度图进行引导滤波，guided(D,r)代表用小半径的窗口对原始深度图进行引导滤波。进一步的，对位于i的像素点深度值的可信度进行二值化，计算位于i点的深度图和彩色图的一致性度量值如下：其中，表示位于i点的深度图和彩色图的一致性度量值，1表示一致，0表示不一致；threshold是用户自定义的一个常量。具体的，步骤S2具体为：基于迭代重加权最小二乘算法构建平滑项的权重，以输入深度图D0作为迭代初始条件，在迭代中不断更新深度图权重深度值可信度和一致性度量值在每次迭代中实现去噪和结构错误区域值的修复，最终确定深度值可信度和平滑项权重ωn。进一步的，在第n次迭代中，平滑项的权重构造如下：其中，分别表示位于i、j的像素点深度值的可信程度，为彩色图权重，为深度图权重，i为第i个像素点，j为以像素点i为中心的邻域像素点。具体的，步骤S3中，基于迭代重加权最小二乘算法进行求导得到线性解，利用前一次迭代的结果计算此次迭代的权重和结构错误区域，并整体求解，求解完成后更新深度图。进一步的，求导得到线性解如下：其中，n表示迭代次数，表示第n+1次迭代i位置处的深度值，表示位于i的像素点深度值的可信度，j表示以i为中心的像素邻域，表示第n次迭代j位置处的深度值，表示第n次迭代平滑项的权重，表示初始输入的深度图在i处的值，α是平衡数据项和平滑项的常数，N(i)是以i为中心的矩形窗口。与现有技术相比，本专利技术至少具有以下有益效果：本专利技术一种基于引导滤波器的鲁棒深度图结构重建和去噪方法，首先对结构错误区域进行探测，用深度图在不同大小窗口下通过引导滤波得到的滤波结果，得到差值较大的区域，标记为潜在结构错误区域，然后基于迭代重加权最小二乘算法构建权重，权重构建完成后进行整体求解并更新深度图，根据结果判断是否达到设定的迭代次数，如果达到则输出深度图结束计算，否则重新进行对结构错误区域探测，采用了迭代重加权最小二乘模型，在迭代中更新权重，因此对于阈值有很好的适应性，不同的阈值对输出结果影响并不十分本文档来自技高网...

【技术保护点】
1.一种基于引导滤波器的鲁棒深度图结构重建和去噪方法，其特征在于，包括以下步骤：/nS1、输入待修复的深度图、加噪的深度图和对应的彩色图，对潜在结构错误区域进行探测，利用Guided Filter对输入图不同的滤波结果得到差值，作为像素点的不一致量度；/nS2、基于迭代重加权最小二乘算法构建权重；/nS3、利用前一次迭代的结果计算此次迭代的权重和结构错误区域，并整体求解，求解完成后更新深度图；/nS4、判断每次迭代的迭代次数是否达到初始化时指定的值，如果没有达到则转步骤S1，利用更新后的深度图计算结构错误区域和权重，直到迭代次数达到设定值，整个迭代过程结束，输出深度图。/n

【技术特征摘要】
1.一种基于引导滤波器的鲁棒深度图结构重建和去噪方法，其特征在于，包括以下步骤：
S1、输入待修复的深度图、加噪的深度图和对应的彩色图，对潜在结构错误区域进行探测，利用GuidedFilter对输入图不同的滤波结果得到差值，作为像素点的不一致量度；
S2、基于迭代重加权最小二乘算法构建权重；
S3、利用前一次迭代的结果计算此次迭代的权重和结构错误区域，并整体求解，求解完成后更新深度图；
S4、判断每次迭代的迭代次数是否达到初始化时指定的值，如果没有达到则转步骤S1，利用更新后的深度图计算结构错误区域和权重，直到迭代次数达到设定值，整个迭代过程结束，输出深度图。


2.根据权利要求1所述的基于引导滤波器的鲁棒深度图结构重建和去噪方法，其特征在于，步骤S1中，潜在结构错误区域为：对输入深度图先以小窗口进行引导滤波，得到预处理后的深度图，再用大半径的窗口对深度图进行引导滤波，引入彩色图的纹理信息，将两个结果的差值定义为潜在结构错误区域。


3.根据权利要求1所述的基于引导滤波器的鲁棒深度图结构重建和去噪方法，其特征在于，步骤S1中，在潜在结构错误区域分别对深度图和彩色图计算高斯权重，并用彩色图权重对深度图权重进行加权平均，作为深度值可信程度的度量值，位于i的像素点深度值的可信度具体为：



其中，R＞＞r，guided(D,R)为用大半径的窗口对原始深度图进行引导滤波，guided(D,r)代表用小半径的窗口对原始深度图进行引导滤波。


4.根据权利要求3所述的基于引导滤波器的鲁棒深度图结构重建和去噪方法，其特征在于，对位于i的像素点深度值的可信度进行二值化，计算位于i点的深度...

【专利技术属性】
技术研发人员：杨勐，陈翔，光宇杰，成钰，郑南宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61