一种基于混合滤波的深度图空洞修复方法技术

本发明专利技术公开了一种基于混合滤波的深度图空洞修复方法，步骤如下：获取待修复深度图像；识别其空洞区域；计算空洞内像素的优先级；将优先级高于阈值的像素放入优先级队列中进行填补；待空洞区域修补结束之后，再修补非空洞区域；对于空洞区域和非空洞区域，分别先修复非边缘区域再修复边缘区域。本发明专利技术提出了为空洞中的所有像素设置优先级，优先级取决于邻域像素对中心空洞像素的支持度和可信度。随着未知像素不断地被填补，空洞边缘不断缩小，同时更新空洞边缘的像素的优先级，且自适应性的更新阈值，保证优先级最高的像素被优先填补。本发明专利技术在联合双边滤波原理上加入纹理和结构信息，对于纹理和结构复杂的图像有较好的处理效果。

A hole restoration method for depth map based on hybrid filtering

The invention discloses a depth map void repairing method based on hybrid filtering. The steps are as follows: acquiring the depth image to be repaired; identifying the void region; calculating the priority of the pixels in the void; placing the pixels whose priority is higher than the threshold value in the priority queue for filling; and repairing the void region after the void region is repaired. Non-cavity region; for cavity region and non-cavity region, the non-edge region is repaired first and then the edge region is repaired. The present invention proposes to set a priority for all pixels in a cavity, which depends on the support and reliability of neighborhood pixels for central cavity pixels. As the unknown pixels are filled continuously, the edge of the cavity shrinks continuously, and the priority of the pixels on the edge of the cavity is updated, and the threshold is adaptively updated to ensure that the pixels with the highest priority are filled first. The invention adds texture and structure information to the principle of joint bilateral filtering, and has better processing effect for images with complex texture and structure.

【技术实现步骤摘要】
一种基于混合滤波的深度图空洞修复方法
本专利技术属于三维重建中深度图修复
，具体涉及一种基于混合滤波的深度图空洞修复的方法。
技术介绍
日常的生活场景均为三维立体场景，即都是有众多的三维信息交织而成，而人类来接受这些信息也是在人类视觉感知和处理的基础之上。目前三维重建主要是通过立体视觉技术将二维信息转化为三维信息，从图像中提取数据实现二维物体的三维重建。目前，有两种主流技术可以对三维场景进行重建：其一是采用多视图的方法进行重建，通过摄像机或者照相机利用双目或多目立体视觉来推断出场景或者场景中的物体的三维信息并显示；另外一种是通过“深度+纹理”的方式，在彩色图和深度图像的基础上重建三维模型。纹理彩色图像是描述物体的纹理信息，与纹理彩色图像不同，深度图像的灰度值表示图像中物体与摄像机之间的距离，值越大表示距离越远。在深度图像有多种获取方式在获取过程中，由于设备本身的限制和外界环境因素的干扰，如：传感器硬件的标定误差和偏移量的误差、偏移量的测量精度会在光照条件受到影响、物体表面材料质地的影响等，使得采集到的深度图像会存在深度值为0的区域，即空洞，这会导致三维重建的效果很差。目前针对三维重建中图像修复主要通过滤波算法，1998年Tomasi与Maduchi第一次提出了双边滤波算法的理论，之后经过历年的改进，2014年AnhVuLe等人提出基于方向的联合双边滤波和局部基于方向的联合双边滤波算法，在其公式中空间邻近度的的计算中进一步的加入边缘方向因素，即内核为基于方向的高斯滤波，并在深度图像空洞修复中，图像中像素是否处于空洞中、是否处于物体边界分为四种来类型，并通过实验找到一种算法的组合方式，使对于不同的情况运用不同的算法，更加有效的且准确的进行空洞修复。但是，基于联合双边滤波的算法及其改进算法，多着重于中心空洞像素深度值的计算上改进和完善，对于整体的空洞像素填补策略没有过多完善。这样就会导致一些不必要的误差，例如某未知中心像素，虽然周围临近像素与此中心像素的相似度较高，但像这样已知的临近像素个数较少，如果先进行该像素的计算难免会因为周围邻域像素的信息缺失而导致误差。另外，目前的算法在修复过程中并没有加入图像的主结构信息和纹理信息，这会影响边缘像素计算的精确性及对图像整体的修复能力。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于混合滤波的深度图空洞修复方法。为了实现本专利技术的上述目的，本专利技术提供了一种基于混合滤波的深度图空洞修复方法，其包括如下步骤：S1，获取待修复深度图像；S2，识别空洞区域，深度值为0的像素为空洞像素；S3，设置优先级初始阈值，计算所有空洞填补区域像素的优先级，优先级通过空洞像素的支持度r1和可信度r2所决定；S4，优先级大于阈值的像素放入优先级队列中，并将队列中的像素按照从大到小的顺序进行深度值的计算；S5，通过全变分模型从彩色图像中提取其主结构信息和纹理信息；S6，对于空洞区域，首先判断空洞像素是否处于边缘区域，如果处于非边缘区域，采用融合结构和纹理信息的局部基于方向的联合双边滤波算法，主要计算方法是深度值邻域像素的深度值加权平均得到的，每一个邻域像素的权值由从图像中获取到的邻域像素与其中心像素的空域邻近度、灰度值相似度及结构相似度、纹理相似度获得，如果空洞非边缘区域仍有未填补的像素，则返回执行步骤S4；如果没有，则开始填补边缘区域，采用融合结构和纹理信息的基于方向的联合双边滤波算法，非边缘区域修复算法的修复邻域窗口是自适应性的；S7，待所有的空洞区域修补结束之后，再修补所有的非空洞区域，非空洞区域非边缘区域修复是通过融合结构和纹理信息的联合三边滤波算法，非空洞非边缘区域的填补方法与空洞区域的非边缘区域的填补方式相同。本专利技术解决深度图像在采集过程中出现的空洞问题，首先针对整体补洞策略提出了为空洞中的所有像素设置优先级，优先级取决于邻域像素对中心空洞像素的支持度和可信度。在空洞填补的过程中，会更新空洞边缘像素的优先级及自适应性的更新阈值，保证优先级最高的像素总能被优先填补。本专利技术的空洞填补优先级策略不仅考虑到领域内像素点的位置信息、灰度值、深度值信息，并且考虑邻域像素个数，优先级值循环计算，避免因为忽略空洞像素填补优先级顺序而导致的计算误差。本专利技术在目前已有的滤波算法中加入了图像的主结构信息和纹理信息，按照图像中的像素是否处于边界、是否处于空洞分为四类，分别是非空洞非边缘像素、边缘非空洞像素、空洞非边缘像素及空洞边缘像素分别进行空洞修复，得到质量更好的修复结果图。本专利技术提出的整个基于混合滤波的深度图空洞修复方法结合纹理和结构两种信息，对于纹理复杂的图像也有较好的处理结果，本方法不仅具有有效性，还有普遍适用性。由于图像中物体边缘信息量大，且对于像素值的准确性要求高，因此本专利技术先对非边缘区域的像素填补，完成时，边缘区域的邻域像素基本已经修复。再对边缘区域进行修复，这时，边缘区域修复将获得提更多的信息，修复的效果更好。在本专利技术的一种优选事实方式中，计算待填补像素点的邻域像素点支持度r1和可信度r2，邻域像素点支持度r1是由待填充像素周围的已知邻域像素的个数除以滤窗内的邻域像素点个数，所述滤窗大小设置为k*k，所述k为大于1的正整数；可信度r2为邻域像素与待填补像素之间的相似度，包括空间临近度和灰度值相似度，公式如下：其中，为空间邻近度，为灰度值相似度，其中，上标d表示信息来自深度图中，上标c表示信息来自彩色图，下标s表示空间域，下标r表示像素范围域，表示像素之间的空间邻近度，qx为像素点q的横坐标，qy为像素点q的纵坐标，q为中心像素的邻域像素点，px为像素点p的横坐标，p为中心像素点，py为像素点p的纵坐标，表示邻域内像素q点与中心像素p点之间的灰度值相似度，Ip为p点的灰度值，Iq为q点的灰度值，σs为欧式距离公式中的空域参数，σr为高斯公式的标准差。通过以上方法，准确快速计算得到待填补像素点的邻域像素点支持度r1和可信度r2，保证优先级的顺利计算。在本专利技术的另一种优选事实方式中，所述步骤S3中，优先级m的计算方法为：m＝r1+λ×r2，入＞0，其中，入为确定计算优先级时支持度r1和可信度r2所占权重的参数。本专利技术在计算每个待测空洞像素的深度之前，为所有的未知空洞像素设置了优先级，即填补顺序的优先程度。空洞区域内所有的空洞像素会按照其优先级进行排序，填补空洞时，会根据每个待测像素的优先级顺序由大到小进行深度值计算，提高了填补效率，避免因为忽略空洞像素填补优先级顺序而导致的计算误差。在本专利技术的另一种优选事实方式中，提取主结构信息和纹理信息的方法为：图像I分解成主结构信息S，纹理信息T两部分的线性组合，表示如下：I＝S+T，定义全变分模型：其中，Ω为图像区域，建立能量公式：求取让待输出的主结构信息S尽可能地接近原图I，λ1×TV(S)为TV正则化项，λ1是正则化参数，平衡式中第一项和第二项的权重,图像中纹理信息便由公式T＝I-S求得，基于求取的主结构信息S，纹理信息T，对于空洞区域的每一个像素点，获取该像素点与邻域像素点的结构相似度和纹理相似度，具体方法为：其中，q为中心像素的邻域像素点，p为中心像素点，表示邻域内像素q点与中心像素p点之间主结构信息本文档来自技高网...

【技术保护点】
1.一种基于混合滤波的深度图空洞修复方法，其特征在于，包括如下步骤：S1，获取待修复深度图像；S2，识别空洞区域，深度值为0的像素为空洞像素；S3，设置优先级初始阈值，计算所有空洞填补区域像素的优先级，优先级通过空洞像素的支持度r1和可信度r2所决定；S4，优先级大于阈值的像素放入优先级队列中，并将队列中的像素按照从大到小的顺序进行深度值的计算；S5，通过全变分模型从彩色图像中提取其主结构信息和纹理信息；S6，对于空洞区域，首先判断空洞像素是否处于边缘区域，如果处于非边缘区域，采用融合结构和纹理信息的局部基于方向的联合双边滤波算法，主要计算方法是深度值邻域像素的深度值加权平均得到的，每一个邻域像素的权值由从图像中获取到的邻域像素与其中心像素的空域邻近度、灰度值相似度及结构相似度、纹理相似度获得，如果空洞非边缘区域仍有未填补的像素，则返回执行步骤S4；如果没有，则开始填补边缘区域，采用融合结构和纹理信息的基于方向的联合双边滤波算法，非边缘区域修复算法的修复邻域窗口是自适应性的；S7，待所有的空洞区域修补结束之后，再修补所有的非空洞区域，非空洞区域非边缘区域修复是通过融合结构和纹理信息的联合三边滤波算法，非空洞非边缘区域的填补方法与空洞区域的非边缘区域的填补方式相同。...

【技术特征摘要】
1.一种基于混合滤波的深度图空洞修复方法，其特征在于，包括如下步骤：S1，获取待修复深度图像；S2，识别空洞区域，深度值为0的像素为空洞像素；S3，设置优先级初始阈值，计算所有空洞填补区域像素的优先级，优先级通过空洞像素的支持度r1和可信度r2所决定；S4，优先级大于阈值的像素放入优先级队列中，并将队列中的像素按照从大到小的顺序进行深度值的计算；S5，通过全变分模型从彩色图像中提取其主结构信息和纹理信息；S6，对于空洞区域，首先判断空洞像素是否处于边缘区域，如果处于非边缘区域，采用融合结构和纹理信息的局部基于方向的联合双边滤波算法，主要计算方法是深度值邻域像素的深度值加权平均得到的，每一个邻域像素的权值由从图像中获取到的邻域像素与其中心像素的空域邻近度、灰度值相似度及结构相似度、纹理相似度获得，如果空洞非边缘区域仍有未填补的像素，则返回执行步骤S4；如果没有，则开始填补边缘区域，采用融合结构和纹理信息的基于方向的联合双边滤波算法，非边缘区域修复算法的修复邻域窗口是自适应性的；S7，待所有的空洞区域修补结束之后，再修补所有的非空洞区域，非空洞区域非边缘区域修复是通过融合结构和纹理信息的联合三边滤波算法，非空洞非边缘区域的填补方法与空洞区域的非边缘区域的填补方式相同。2.根据权利要求1所述的基于混合滤波的深度图空洞修复方法，其特征在于，所述步骤S2中，计算待填补像素点的邻域像素点支持度r1和可信度r2，邻域像素点支持度r1是由填补的空洞像素的已知邻域像素占总邻域像素的比例决定，所述滤窗大小设置为k*k，所述k为大于1的正整数；可信度r2为邻域像素与待填补像素之间空域临近度和灰度值相似度决定，公式如下：其中，为空间邻近度，为灰度值相似度，其中，上标d表示信息来自深度图中，上标c表示信息来自彩色图，下标s表示空间域，标r表示像素范围域，表示像素之间的空间邻近度，qx为像素点q的横坐标，qy为像素点q的纵坐标，q为中心像素的邻域像素点，px为像素点p的横坐标，p为中心像素点，py为像素点p的纵坐标，表示邻域内像素q点与中心像素p点之间的灰度值相似度，Ip为p点的灰度值，Iq为q点的灰度值，σs为欧式距离公式中的空域参数，σr为高斯公式的标准差。3.根据权利要求1所述的基于混合滤波的深度图空洞修复方法，其特征在...

【专利技术属性】
技术研发人员：刘骥，吴婉，梁晓升，周建瓴，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50