深度图超分辨率重建方法技术

本发明专利技术属于计算机视觉领域，为提出融合多视点深度信息的超分辨率重建方法，为虚拟视点绘制等3D图像处理技术奠定基础。本发明专利技术采用的技术方案是，深度图超分辨率重建方法，步骤如下：1)可信深度值判断：两个限制判断条件，第一个限制判断条件是从不同视角拍摄同一3D点，其深度值应该相同或接近；第二个限制条件是由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该非常相近；2)确定可信权重表达式Ri，j(p)之后，根据立体匹配关系，找到当前视点的所有像素点的匹配点，结合深度值可信度与虚拟视图质量可信度，提出多视点深度图融合机制；3)深度图重建。本发明专利技术主要应用于3D图像处理。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，涉及一种针对由深度感知相机获取的多视点低分辨率深度图进行基于可信度融合的深度图超分辨率重建方法。
技术介绍
深度图的超分辨率重建是在不改变现有深度获取硬件系统的前提下，通过软件算法解决深度图空间分辨率低和高频细节信息丢失问题，重建出高分辨率深度图。深度图超分辨率重建技术的核心是恢复低分辨率深度图细节、锐化边缘和增加空间分辨率。近年来，随着3D图像领域飞速迅猛的发展，3D内容也变得越来越普遍。在制造业、物体重建和3D媒体娱乐等领域，越来越多的要求精确的和高分辨率的场景深度信息。目前，主动深度距离感知传感器以其低消费、实时性和便捷性应用于深度图的获取。此类深度感知传感器主要采用结构光法，如MicrosoftKinect和Time-of-Flightcamera(ToF)，具有高鲁棒性和应用场景广泛等优点。然而，该方法的一个重要缺点是受深度相机芯片大小和相机活跃光能量等硬件条件的限制，空间分辨率低，易受到噪声的影响。因此，尽管该方法在光学
较活跃，但是其获取的深度图需要有效的深度图超分辨率重建技术，使得深度图的分辨率满足3D图像处理中同彩色图像分辨率一致的要求。深度图超分辨率重建算法主要包括基于单个深度图的重建技术和基于多深度图的超分辨率技术。基于单个深度图的超分辨率重建技术主要考虑深度信息与同场景彩色纹理图像信息的结合，假设深度不连续区域与彩色图像边界高度一致，通过探索彩色信息来获取具有尖锐的物体边缘的超分辨率深度图。其核心思想是通过构建RGB与Depth系统，寻找同场景的高分辨率彩色纹理图与低分辨率深度图之间的约束关系，采用彩色纹理图像信息引导深度图上采样，重建出超分辨率深度图。基于多深度图超分辨率重建的方法的核心思想是通过融合多个低分辨率深度图，重建出高空间分辨率的深度图。Hahne和Alex提出利用深度图相机的不同曝光时间，设计能量函数来增强单个深度图的质量。Schuo等人将该方法发展到3D型形状模型，提出一种3D深度图上采样的算法，该种算法的主要思想是通过融合同一个静态场景的多个含噪深度图信息，优化当前视点深度像素值，重建出高质量的超分辨率深度图。但是，这些算法没有考虑多视点间的互补信息和深度像素值不精确等问题。
技术实现思路
为克服现有技术的不足，针对当前深度图超分辨率重建算法主要考虑单个深度图像信息，缺少对视点间的互补信息和深度像素值不精确等问题研究的现状，本专利技术旨在提出融合多视点深度信息的超分辨率重建方法，为虚拟视点绘制等3D图像处理技术奠定基础。本专利技术采用的技术方案是，深度图超分辨率重建方法，步骤如下：1)可信深度值判断：两个限制判断条件，第一个限制判断条件是从不同视角拍摄同一3D点，其深度值应该相同或接近；第二个限制条件是由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该非常相近；满足上述两个深度值可信的限制条件的公式如下所示：并且其中，和分别表示当前i视点深度图和第m个视点深度图在像素点p处的深度值，δ表示深度值可信阈值，表示由当前i视点深度图单视点绘制到第k个视点的虚拟视图，表示由第m个视点深度图单视点绘制到第k个视点的虚拟视图，T表示虚拟视点质量阈值，J表示满足两个限制条件的视点的集合，由此判断出用于下一步融合的视点深度值；2)确定可信权重表达式Ri,j(p)之后，根据立体匹配关系，找到当前视点的所有像素点的匹配点，结合深度值可信度与虚拟视图质量可信度，提出多视点深度图融合机制，如下公式所示：其中，表示第j个视点像素点p处的初始深度值，可信权重表达式Ri,j(p)也即表示视点i和视点j之间的可信度函数,表示第i个视点像素点p处改善后的深度值，表示第k个视点彩色图像在像素点p处的真值，表示由第j视点绘制到第k个视点的虚拟视图像素值；根据上述多视点融合判断机制，获得当前视点改善后的低分辨率深度图；3)深度图重建对上述的初始低分辨率深度图采用传统的双线性插值算法进行上采样，得到初始的高分辨率深度图。采用联合自适应双边滤波上采样方式，对初始高分辨率深度图进行改善。采用联合自适应双边滤波上采样方式，对初始高分辨率深度图进行改善，具体步骤是，首先，对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；然后保留平坦区域的深度像素值，对于边缘像素值采用联合自适应滤波方式处理；联合自适应滤波的权重由深度高斯核和彩色高斯核构成，具体的权重函数公式如下所示：其中，p表示当前像素点，q表示p的Ω邻域像素点集合，表示当前视点的初始高分辨率深度值，εp是控制因子，I表示彩色纹理值，σc,p表示彩色图像的平滑因子；根据上述的权重和当前邻域的深度值计算当前视点最终的深度值，如下公式所示：其中，表示由基于多视点深度图融合的超分辨率重建方法得到的高分辨率深度图，表示初始高分辨率深度图，Ω表示当前像素点的邻域，ks是归一化参数。本专利技术的特点及有益效果是：本专利技术在低分辨率深度图上采样之前，先对多视点的匹配像素点进行深度值可信度判断，满足两个判断限制条件的像素点被用于下一步的深度优化。本专利技术还对优化后的低分辨率深度图采用联合自适应滤波算法进行深度图超分辨率重建，对于深度图边缘区域具有较好的效果。附图说明：图1为技术方案的流程图。图2为用于测试的两视点低分辨率深度图和彩色图。图3为不受噪声影响情况下，采用基于多视点深度图融合的超分辨率算法重建的高分辨率深度图。图4为受高斯噪声影响的情况下，采用基于多视点深度图融合的超分辨率算法重建的高分辨率深度图。具体实施方式为克服现有技术的不足，本专利技术提供了一种深度图超分辨率重建方法，具体的技术方案分为下列步骤：1.可信深度值判断通过主流深度图相机拍摄的深度图常常会包含不精确的像素值。这种现象主要是由于光子散粒噪声和热噪声等内部因素以及场景高反射、弱光亮性等外部因素所产生。为了解决这一问题，考虑多个视点间的互补信息，改善当前视点不精确的深度值。这里考虑两个限制判断条件，第一个限制判断条件是从不同视角拍摄同一3D点，其深度值应该相同或接近。因此，设定一个阈值，当视点间视差值在这个阈值范围内，则可接受该视点深度值，将其用于多视点融合。假设P1(xl,yl)和P2(xr,yr)分别是对应同一3D点的两个视点的坐标，那么在判断视点深度值可信前，需要先计算视点间的坐标匹配关系式，然后根据下面的深度范围计算公式，判断视点间深度可信的像素点。其中，和分别表示当前i视点深度图和第m个视点深度图在像素点p处的深度值，δ表示深度值可信阈值。第二个限制条件是由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该非常相近。同样设定一个虚拟视图质量可接受的误差阈值，那么满足条件的数学表达式如下所示：其中，表示由当前i视点深度图单视点绘制到第k个视点的虚拟视图，表示由第m个视点深度图单视点绘制到第k个视点的虚拟视图，T表示虚拟视点质量阈值。满足上述深度值可信的限制条件的公式如下所示：其中，J表示满足两个限制条件的视点的集合。由上述限制条件，可以判断出可用于下一步融合的视点深度值。2.多视点深度图融合当两个视点间的距离越远，坐标匹配时越容易发生错误。因此，考虑基线距离，提出可信权重Ri,j(p)。确定可信本文档来自技高网...

【技术保护点】
一种深度图超分辨率重建方法，其特征是，步骤如下：1)可信深度值判断：两个限制判断条件，第一个限制判断条件是从不同视角拍摄同一3D点，其深度值应该相同或接近；第二个限制条件是由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该非常相近；满足上述两个深度值可信的限制条件的公式如下所示：并且其中，和分别表示当前i视点深度图和第m个视点深度图在像素点p处的深度值，δ表示深度值可信阈值，表示由当前i视点深度图单视点绘制到第k个视点的虚拟视图，表示由第m个视点深度图单视点绘制到第k个视点的虚拟视图，T表示虚拟视点质量阈值，J表示满足两个限制条件的视点的集合，由此判断出用于下一步融合的视点深度值；2)确定可信权重表达式Ri,j(p)之后，根据立体匹配关系，找到当前视点的所有像素点的匹配点，结合深度值可信度与虚拟视图质量可信度，提出多视点深度图融合机制，如下公式所示：D^iL(p)=Σe∈{J∪{i}}Ri,j(p)DjL(p)/Σe∈{J∪{i}}Ri,j(p)ifJ≠φD^iL(p)=DjL(p),j=argminj∈{1,...,n}(|VkL(p)-VjkL(p)|)otherwise]]>其中，表示第j个视点像素点p处的初始深度值，可信权重表达式Ri,j(p)也即表示视点i和视点j之间的可信度函数,表示第i个视点像素点p处改善后的深度值，表示第k个视点彩色图像在像素点p处的真值，表示由第j视点绘制到第k个视点的虚拟视图像素值；根据上述多视点融合判断机制，获得当前视点改善后的低分辨率深度图；3)深度图重建对上述的初始低分辨率深度图采用传统的双线性插值算法进行上采样，得到初始的高分辨率深度图。采用联合自适应双边滤波上采样方式，对初始高分辨率深度图进行改善。...

【技术特征摘要】
1.一种深度图超分辨率重建方法，其特征是，步骤如下：1)可信深度值判断：两个限制判断条件，第一个限制判断条件是从不同视角拍摄同一3D点，其深度值应该相同或接近；第二个限制条件是由相邻视点彩色图和深度图分别进行单视点虚拟视图绘制，其绘制的彩色图像像素值应该非常相近；满足上述两个深度值可信的限制条件的公式如下所示：并且其中，和分别表示当前i视点深度图和第m个视点深度图在像素点p处的深度值，δ表示深度值可信阈值，表示由当前i视点深度...

【专利技术属性】
技术研发人员：雷建军，李乐乐，侯春萍，吴敏，丛润民，倪敏，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12