基于图像分解的单一深度图的超分辨率方法技术

本发明专利技术一种基于图像分解的单一深度图的超分辨率方法属于图像质量增强领域，致力于解决在实际场景拍摄中由于相机硬件配置低和环境干扰而导致低分辨率深度图的几何结构信息不准确问题，首先，通过深度对偶分解模块将单一低分辨率深度图分解成两个高分辨率的图像：高质量的精细结构图和粗糙结构图，同时提出深度图初始化增强模块来生成高分辨率的初始化深度图并将其作为深度图重建模块的输入；其次，在深度图重建模块中提出加权融合单元来实现多种特征融合，接下来，将这些融合特征输入到基于残差学习的深度图重建模块中，用来得到高质量的深度残差图，最后，将该残差图和高分辨率的初始化深度图逐像素相加，即可得到最终的高质量深度图。的高质量深度图。的高质量深度图。

【技术实现步骤摘要】
基于图像分解的单一深度图的超分辨率方法


[0001]本专利技术属于图像质量增强领域，具体涉及一种基于图像分解的单一深度图的超分辨率方法。

技术介绍

[0002]在各种计算机视觉任务的实际应用中，三维场景的深度信息发挥着极其重要的作用。例如，工业物件和商品的识别和抓取、自动驾驶和智能机器人导航都需要使用三维场景的深度信息。现如今，通过消费级别的相机如Kinect和TOF就能够很容易地捕获场景的几何信息。然而，这些信息总是存储为深度图，同时，这些相机拍摄到的深度图分辨率是有限的。拍摄到的深度图质量也会受到复杂自然场景环境和相机传感器敏感度的影响。一般情况下，只有低分辨率的深度图是可以被使用的。然而，这些图像质量并不能满足实际应用的需求。因此，应该深入地研究深度图的超分辨率技术，从而实现深度图的质量增强和深度图的分辨率增强。当只有深度信息可用时，单一深度图超分辨率的目的是将低分辨率的深度图转化为高分辨率的深度图。不同于联合彩色图的深度图超分辨率方法，单一深度图的超分辨率问题是一个更加具有挑战性的病态问题。这是因为单一深度图的超分辨率方法的输入仅仅是能够提供场景几何结构信息的低质量深度图像来实现深度图质量增强，但是无法使用场景其他的模态信息。一般来说，深度图超分辨率方法可以粗略地分为两类：传统的深度图超分辨率方法和基于深度学习的深度图超分辨率方法。
[0003]基于图像滤波的深度图超分辨率方法是一种典型的深度图超分辨率方法，例如，引导图像滤波器是一种快速并且是非近似线性时间滤波方法，该方法使用彩色图像作为一种引导信息实现深度图质量增强。为了渐进地提高深度图的精度，双边滤波器被迭代地应用到深度图超分辨率的代价聚合中，这里考虑了大多数物体表面是分段线性平滑的，并且具有相似彩色信息的同一物体像素往往也具有相似的深度值。虽然通过图像滤波技术能够很好地提高图像的质量，然而这些基于图像滤波的方法总是使用局部信息却没有考虑到图像的全局相关性。
[0004]另一种方式是利用一定的先验信息来构建目标函数并通过优化来得到优化解。马尔可夫随机场方法使用深度数据内容项和深度平滑先验项来构建深度图重建的目标函数，然后，通过迭代优化算法获得高质量的深度图。为了进一步实现图像高质量上采样，除了潜在的深度数据内容项和深度平滑先验项，还将非局部均值正则化项加入到最小二乘优化中。此外，还可以使用一般的全变分来对全局能量优化进行正则化约束。考虑到现有的彩色图和深度图之间的相关性，可以引入一个双模态共稀疏模型来解决深度图上采样的问题。此外，还有一些方法首先对彩色图像进行分割，然后利用得的分割图像分别对分割的每个区域的深度信息进行重构，最后将这些重构的深度区域重新组合来得到高质量的深度图。与上述所有方法不同的是，基于块的合成方法需要搜索与给定的低分辨率深度块相匹配的高分辨率块。这种方法的缺点是高分辨率块和低分辨率块的匹配过程往往是非常耗费时间的。深度图的超分辨率问题可以被表示为一种边界补偿问题，这里通过多残差字典学习来
解决这个问题。虽然这些典型的方法能够一定程度提高深度图的精度，但它们不能通过硬件如GPU和TPU等进行加速，这将极大地限制了这些方法在计算机视觉领域的广泛应用。
[0005]与传统的深度图超分辨率方法相比，在最近这些年，基于深度学习的超分辨率方法取得了长足的进步。这些方法通常使用深度神经网络来学习从低分辨率到高分辨率的非线性映射。例如，超分辨率卷积神经网络是早期最具有代表性的超分辨率方法，它仅仅使用三个卷积层，然而每层发挥不同的作用。之后，Z.Wang等人根据稀疏编码理论设计了基于稀疏编码的网络，其拓扑结构是可解释的。这两种方法能够很好地解决彩色图像的超分辨率问题，并且也能用它们来解决深度图的超分辨率问题。彩色图和深度图之间有很大的区别，即彩色图像用于显示，而深度图为我们提供了场景几何信息。深度图的超分辨率任务还可以被转换为一系列新视图合成子任务以生成多视点的深度图，最终通过上采样操作来生成高质量的深度图。B.Chen等人提出不直接学习端到端深度超分辨率映射，即首先使用CNN来预测高质量的边缘图像，然后根据高质量图像边缘信息作为一种引导信息，使用全变分合成来细化低质量深度图。深度图多尺度网络使用三个步骤：特征提取、多尺度上采样和深度图的超分辨率重建。上面所提到的网络的贡献点在于网络拓扑结构有所不同。此外，在感知的深度图超分辨率方法中，基于视觉外观的度量被用作图像超分辨率的损失函数，可以显著提高对3D感知质量。虽然这些方法能够提高深度图质量，但是人们往往期望能从低分辨率的深度图中估计更为准确的深度信息。因此，我们需要进一步研究单一深度图的超分辨问题。

技术实现思路

[0006]为解决上述技术问题，本专利技术提出了一种基于图像分解的单一深度图的超分辨率方法。该方法主要包括深度对偶分解模块、深度图初始强化模块和深度图重建模块三个模块，使用这些模块对输入的低分辨率图像进行了分解、融合和重建，并定义损失函数对所提网络给予更多的约束，使得训练后的网络可以实现低分辨率深度图的上采样。
[0007]本专利技术保护的技术方案为：基于图像分解的单一深度图的超分辨率方法，按照以下步骤进行：
[0008]步骤1)构建训练数据集和测试数据集；
[0009]步骤2)使用深度对偶分解模块学习从低分辨率到高分辨率的映射；
[0010]利用深度对偶分解模块完成从低分辨率深度图到一对高分辨率的高质量精细结构图和粗糙结构图T
high
和S
high
，深度对偶分解模块包括了两个对偶支路，分别是高质量精细结构图的预测支路和高质量粗糙结构图的预测支路；
[0011]在深度对偶分解模块的高质量粗糙结构图预测支路中，使用三个卷积层去提取低分辨率特征，然后在转置卷积层中对这些特征进行上采样以获得接下来，将和二倍上采样的超分辨率先验图像沿通道维度级联，其结果作为第二阶段的输入，第二阶段依次使用三个卷积层、一个转置卷积层和一个卷积层，最后，将第二阶段的输出和四倍上采样的超分辨率先验图像逐像素相加，即可得到高质量粗糙结构图；
[0012]深度对偶分解模块的高质量精细结构图的预测支路的拓扑结构和高质量粗糙结构图的预测支路一样，它们的差异之处主要在于高质量精细结构图的预测支路没有使用残
差学习，因此该支路不需要逐像素相加操作；
[0013]步骤3)利用深度图的初始化增强模块来生成高分辨率的初始化深度图D0；
[0014]深度图初始化增强模块的网络结构与高质量粗糙结构图的预测支路相同；
[0015]步骤4)将从深度对偶分解模块和深度图初始化增强模块获得的三个图像，输入到深度图重建模块中进行加权融合并重建残差图像，最终通过逐像素求和操作将该残差图像和高分辨率的初始化深度图组合起来，即可得到最终预测的深度图D1。
[0016]进一步的，所述步骤4)的具体操作如下：
[0017]先将从初始深度图D0、预测的深度粗糙结构图像S
high
和精细结构图像T
hig本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像分解的单一深度图的超分辨率方法，其特征在于，按照以下步骤进行：步骤1)构建训练数据集和测试数据集；步骤2)使用深度对偶分解模块学习从低分辨率到高分辨率的映射；利用深度对偶分解模块完成从低分辨率深度图到一对高分辨率的高质量精细结构图和粗糙结构图T
high
和S
high
，深度对偶分解模块包括了两个对偶支路，分别是高质量精细结构图的预测支路和高质量粗糙结构图的预测支路；在深度对偶分解模块的高质量粗糙结构图预测支路中，使用三个卷积层去提取低分辨率特征，然后在转置卷积层中对这些特征进行上采样以获得接下来，将和二倍上采样的超分辨率先验图像沿通道维度级联，其结果作为第二阶段的输入，第二阶段依次使用三个卷积层、一个转置卷积层和一个卷积层，最后，将第二阶段的输出和四倍上采样的超分辨率先验图像逐像素相加，即可得到高质量粗糙结构图；深度对偶分解模块的高质量精细结构图的预测支路的拓扑结构和高质量粗糙结构图的预测支路一样，它们的差异之处主要在于高质量精细结构图的预测支路没有使用残差学习，因此该支路不需要逐像素相加操作；步骤3)利用深度图的初始化增强模块来生成高分辨率的初始化深度图D0；深度图初始化增强模块的网络结构与高质量粗糙结构图的预测支路相同；步骤4)将从深度对偶分解模块和深度图初始化增强模块获得的三个图像，输入到深度图重建模块中进行加权融合并重建残差图像，最终通过逐像素求和操作将该残差图像和高分辨率的初始化深度图组合起来，即可得到最终预测的深度图D1。2.根据权利要求1所述的基于图像分解的单一深度图的超分辨率方法，其特征在于：所述步骤4)的具体操作如下：先将从初始深度图D0、预测的深度粗糙结构图像S
high
和精细结构图像T
high
这三个图像中分别都使用三个操作即一个卷积层、一个批归一化层和激活层来提取浅层特征作为深...

【专利技术属性】
技术研发人员：赵利军，王可，高腾飞，史炳闲，王昊，任康，王安红，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：