一种基于单张深度图超分辨率重建的方法技术

本发明专利技术公开了一种基于单张深度图超分辨率重建的方法，涉及计算机视觉和图像处理领域。该方法可以通过获取的单张深度图重建其高分辨率深度图。首先，利用局部自相似性，通过输入的低分辨率深度图自身构造训练数据样本集；然后，利用马尔可夫随机场模型，通过输入的低分辨率深度图和构造的自相似样本集重建高分辨率深度边缘图；随后，在重建的高分辨率深度边缘图指导下，通过修正的双边滤波恢复高分辨率深度图；最后，将得到的高分辨率深度图作为低分辨率输入图进行迭代处理，直到达到目标分辨率。本发明专利技术引入了图像的局部自相似性和边缘引导深度图恢复的方法，能够快速有效的对单张低分辨率深度图进行高分辨率重建。

【技术实现步骤摘要】
一种基于单张深度图超分辨率重建的方法
本专利技术涉及计算机视觉和图像处理领域，具体涉及一种基于单张深度图超分辨率重建的方法。
技术介绍
深度图在3DTV，三维建模，机器人导航，目标追踪，交互式游戏等计算机视觉领域中有着广泛的应用。但是和高分辨率的彩色图相比，目前利用深度相机获取的深度图分辨率很低，这在很大程度上限制了深度图的进一步使用。例如，SwissRangeSR400和PMDCamCube获取的深度图分辨率仅有200X200，即使是Kinect，获取到的深度图分辨率也只有512X424，远低于它相应的彩色图分辨率1920X1080。因此，为了克服这个问题，提升深度图分辨率成为了一项关键而急迫的研究内容。目前，深度图超分辨率方法可以分为三大类。第一类是基于融合的方法，这类方法旨在通过融合多幅低分辨率深度图，以获得高分辨率深度图。但这类方法很大程度上依赖于一个假设：即可以通过微小的相机运动获取到多个范围的静态图像，但这在很多实际应用中可能不成立，并且操作成本十分昂贵。第二类是基于结合彩色图的方法，通过利用高分辨率彩色图和低分辨率深度图之间的结构关系，来指导深度图进行超分辨率。这类方法会带来彩色图的纹理复制等问题，并且，在实际情况中对彩色图和深度图进行配准和同步也是一个棘手的问题。第三类是基于单张深度图的方法，这类方法借鉴单张自然图像超分辨率方法，尤其是基于样本学习的方法。但相比于自然图像超分辨率，深度图拥有的信息更少，对边缘的保留和噪声的去除要求却更高，面临更大的挑战。不过这类方法不需要额外的深度图像帧或相应的高分辨率彩色图像，因此更易于实现。
技术实现思路
本专利技术要解决的技术问题为：克服现有技术的不足，提供一种基于单张深度图超分辨率重建的方法。利用局部自相似性和高分辨率边缘图引导，有效的解决了重建的高分辨率深度图边缘振铃等问题，得到更好的重建效果。实现表明，本专利技术提出的方法能够快速、有效的从单张深度图中重建其高分辨率深度图。本专利技术解决上述问题采用的技术方案为：一种基于单张深度图超分辨率重建的方法，实现步骤如下：步骤(1)、训练数据样本集构造，利用图像的局部自相似性，通过低分辨率深度图自身，结合图像边缘检测算子和shock滤波方法，并将处理后图像进行分块处理，得到训练样数据样本集。步骤(2)、高分辨率边缘图重建，通过输入的低分辨率深度图分块得到输入样本块对，利用距离变换和欧式距离求得(1)中与输入样本块最近邻的N组训练样本块对。在此基础上构建马尔可夫模型，求得最优的匹配样本块，进而将得到的最终样本块进行融合处理得到高分辨率边缘图。步骤(3)、深度图超分辨率，利用步骤(2)得到高分辨率边缘图，结合输入的低分辨率深度图，利用一个修正的双边滤波器得到最终的高分辨率深度图。步骤(4)、迭代处理，直到达到目标分辨率。进一步的，所述步骤(1)中训练数据样本集构造的具体内容如下：步骤(A1)、利用局部自相似性，图像中的小样本块在小尺度变换下与自身结构保持相似。因此为了通过深度图自身构造自相似数据样本集，对输入的低分辨率深度图D进行进一步设定倍数的下采样，得到Dl。利用图像边缘检测算子，对Dl提取边缘得到El，对输入的低分辨率深度图提取边缘得到E，并对E进行shock滤波得到Els。步骤(A2)、对边缘图El，Es分别进行分块处理，分别得到样本块集合yil和yis构成训练样本块对Y＝{yil，yis}，其作用类似于外部数据集样本块对。进一步的，所述步骤(2)中高分辨率边缘图重建的具体内容如下：步骤(B1)、首先，利用图像局部自相似性，构造与(1)中训练数据样本集对应的输入样本数据集。对输入的低分辨率深度图D和进一步下采样得到的深度图Dl分别进行设定倍数的上采样得到Dh和Dm。利用图像边缘检测算子，对Dh提取边缘得到Eh，对Dm提取边缘得到Em,并对Eh进行shock滤波得到Ehs。步骤(B2)、对边缘图Em,Ehs进行分块处理，分别得到样本块集合xil和xis构成输入样本块对集X＝{xil，xis}，与(1)中得到的训练样本块对集Y＝{yil，yis}对应；步骤(B3)、利用上一步得到的输入样本块对集和(1)中得到的训练样本块对集，首先对所有样本块进行距离变换，然后利用欧式距离求得训练样本块对中与每个输入样本块对距离最近的N个训练样本块对。步骤(B4)、将每个输入样本块对Xi作为观测节点，将上一步得到的与之距离最近的N个训练样本块对作为隐节点标签，构建马尔可夫随机场模型，求得最优匹配块。步骤(B5)、将上一步通过马尔可夫模型得到的最优高分辨率边缘样本块进行融合，得到最终的高分辨率边缘图。进一步的，所述步骤(3)中深度图超分辨率的具体内容如下：步骤(C1)、定义一个支持窗口，利用步骤(3)中得到的高分辨率边缘图，对图中每个像素，判断以该像素为中心的支持窗口中其他像素与当前像素是否属于在边缘同一侧。若是，则作为有效权重像素，否则为无效权重像素。步骤(C2)、对求得的边缘同一侧像素，找到其在输入的低分辨率深度图中对应的像素深度值，并将它们进行加权求和作为高分辨率深度图的最终深度值。对于支持窗口中没有属于边缘同一侧的像素点，则用输入的低分辨率深度图通过双三次插值后深度图中相应值填充。进一步的，所述步骤(4)中迭代处理的具体内容如下：步骤(D)、将步骤(3)得到的高分辨率深度图作为输入，返回步骤(1)进行迭代处理，直到达到目标深度图分辨率。本专利技术与现在技术相比的优点在于：本专利技术以单张低分辨率深度图作为输入，将图像局部自相似性和高分辨率边缘引导方法相结合，实现单张深度图超分辨率。与之前深度图超分辨率方法相比，本专利技术的方法不需要额外深度图像帧或着相应的高分辨率彩色图像，也不需要外部数据集，只利用自身信息，实现简单，重建效果好。附图说明图1为本专利技术的单张深度图超分辨率的流程示意图：图2a～图2d为本专利技术采用的仿真实验测试图像，分别为Middlebury数据集中的“Cones”，“Teddy”，“Tsukuba”和“Venus”进行4倍下采样后的低分辨率深度图；图3a～图3e为本专利技术与现有三种方法对图2a图像重构结果对比图。其中图3a为高分辨率深度真实图，图3b为最近邻插值方法得出的高分辨率深度图，图3c为基于样本的方法(PB)得出的高分辨率深度图，图3d为边缘引导的方法(EG)得出的高分辨率深度图，图3e为本专利技术得出的高分辨率深度图；图4a～图4e为本专利技术与现有三种方法对图2b图像超分辨率结果对比图，对比方法同图3；图5a～图5e为本专利技术与现在三种方法对图2c图像超分辨率结果对比图，对比方法同图3；图6a～图6e为本专利技术与现在三种方法对图2d图像超分辨率结果对比图，对比方法同图3；图7a～图7d为本专利技术与现有三种方法对Kinect采集到的真实深度图进行超分辨率的结果对比图。其中图7a为最近插值方法得出的高分辨率深度图，图7b为基于样本的方法(PB)得出的高分辨率深度图，图7c为边缘引导的方法(EG)得出的高分辨率深度图，图7d为本专利技术得出的高分辨率深度图。具体实施方式下面结合附图与实例对本专利技术作进一步详细描述：如图1所示，本专利技术提供了一种基于单张深度图超分辨率重建的方法，包括训练数据样本集构造步骤，高分辨率难度边缘图重建步骤和本文档来自技高网...

【技术保护点】
一种基于单张深度图超分辨率重建的方法，其特征在于该方法步骤如下：步骤(1)、训练数据样本集构造，利用局部自相似性，通过输入的低分辨率深度图自身构造训练数据样本集；步骤(2)、高分辨率边缘图重建，利用输入的低分辨率边缘图和构造的自相似样本集，通过马尔可夫随机场模型重建高分辨率边缘图；步骤(3)、深度图超分辨率，在重建的高分辨率边缘图指导下，通过修正的双边滤波恢复高分辨率深度图；步骤(4)、迭代处理，将得到的高分辨率深度图作为输入迭代处理，直到达到目标分辨率。

【技术特征摘要】
1.一种基于单张深度图超分辨率重建的方法，其特征在于该方法步骤如下：步骤(1)、训练数据样本集构造，利用局部自相似性，通过输入的低分辨率深度图自身构造训练数据样本集；步骤(2)、高分辨率边缘图重建，利用输入的低分辨率边缘图和构造的自相似样本集，通过马尔可夫随机场模型重建高分辨率边缘图；步骤(3)、深度图超分辨率，在重建的高分辨率边缘图指导下，通过修正的双边滤波恢复高分辨率深度图；步骤(4)、迭代处理，将得到的高分辨率深度图作为输入迭代处理，直到达到目标分辨率。2.根据权利要求1所述的一种基于单张深度图超分辨率重建的方法，其特征在于：所述步骤(1)中的训练数据样本集构造的具体内容如下：步骤(A1)、对输入的低分辨率深度图D进行进一步设定倍数的下采样，得到Dl，利用图像边缘检测算子，对Dl提取边缘得到边缘图El，另外，对输入的低分辨率深度图提取边缘得到E，并对E进行shock滤波得到Els；步骤(A2)、对边缘图El，Els分别进行分块处理，分别得到样本块集合yil和yis构成训练样本块对集Y＝{yil，yis}。3.根据权利要求1所述的一种基于单张深度图超分辨率重建的方法，其特征在于：所述步骤(2)中的高分辨率边缘图重建的具体内容如下：步骤(B1)、对输入的低分辨率深度图D和进一步下采样得到的深度图Dl分别进行设定倍数的上采样得到Dh和Dm，利用图像边缘检测算子，对Dh提取边缘得到E...

【专利技术属性】
技术研发人员：梁晓辉，王晓川，李超，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11