一种联合单目深度估计的深度图像超分辨率重建方法技术

本发明专利技术属于图像处理技术领域，涉及一种联合单目深度估计的深度图像超分辨率重建方法，包括：S1、将低分辨率深度图像输入深度图像超分辨率重建子网络，将相应于低分辨率深度图像的高分辨率彩色图像输入单目深度估计子网络；S2、对深度图像超分辨率重建子网络和单目深度估计子网络同时训练；S3、深度图像超分辨率重建子网络输出高分辨率重建深度图像，单目深度估计子网络输出高分辨率估计深度图像。本申请从单目深度估计子网络中选择高频信息引导深度图像超分辨率重建子网络，通过抑制冗余避免纹理复制。在不引入其他监督信息的情况下，本发明专利技术的方法在多个公开基准数据集上均达到具有竞争力的性能，能够准确恢复出深度图像的细节。节。节。

【技术实现步骤摘要】
一种联合单目深度估计的深度图像超分辨率重建方法


[0001]本专利技术属于图像处理
，涉及一种联合单目深度估计的深度图像超分辨率重建方法。

技术介绍

[0002]便携式消费级深度相机的出现和普及，为准确快速地获取场景深度提供了极大的便利。但是，由于当前深度相机成像能力的限制，深度图像的分辨率通常较低。面对诸多应用领域对高质量深度图像的需求，深度图像超分辨率重建技术作为解决方案获得了广泛关注。深度图像超分辨率重建是在不改变深度相机的前提下，通过算法恢复出相机截止频率以外的高频信息，同时改善成像时的模糊现象，并有效抑制图像中的随机噪声，从而重建出高质量和高分辨率的深度图像。近年来，随着深度学习的快速发展，该任务的性能得到了很大提升。在实际应用中，高分辨率的彩色图像易于获得，且与深度图像具有很强的结构相似性，因而可以为深度图像超分辨率重建提供一些先验信息。Hui等
[1]设计了多尺度引导的卷积神经网络，将从彩色图像中提取的丰富层次特征用于改善深度图像超分辨率重建过程中图像的模糊现象。Huang等
[2]提出了一种具有金字塔结构的深层稠密残差网络，通过密集连接和残差学习，充分利用了多尺度特征来预测高频残差，实现了深度图像的超分辨率重建。Guo等
[3]提出了一种层次化特征驱动的残差学习深度图像超分辨重建方法，借助层次化的颜色引导，并通过残差U
‑
Net结构提取深度图像的多级层次化特征表示，实现了深度图像的超分辨重建。Wen等
[4]提出了一种颜色引导的由粗到细的深度图像超分辨率重建网络，主要包括：颜色引导信息预处理模块、粗糙级深度图像超分辨率重建模块和精细级深度图像超分辨率重建模块。Zuo等
[5]提出了一种基于全局和局部残差学习的深度图像超分辨率重建网络，在高分辨率强度图像的指导下，在多个尺度逐步对低分辨率深度图像进行上采样重建。Ye等
[6]提出了渐进的多分支聚合网络，通过重建分支和引导分支融合的方式逐步优化反卷积得到的高分辨率深度图像。Wang等
[7]提出了边缘引导的深度图像超分辨率重建网络，借助从彩色图像学习得到的边缘图像对深度图像进行上采样。Song等
[8]提出了基于通道注意的迭代残差深度图像超分辨率重建网络，采用通道注意力策略以增强具有丰富高频分量的特征通道。
[0003]在现有技术中存在以下缺点和不足：(1)现有方法多数在残差框架和彩色图像的指导下来学习深度图像的重建特征，实现深度图像超分辨率重建，但是跨模态的重建特征会存在一定的不一致性问题，而且学习得到的特征往往存在一定的信息冗余；(2)在现有的面向深度图像的多任务学习框架中，通常会引入额外的训练标签(如语义标签)，这显然会降低算法的通用性。
[0004]本专利技术旨在通过联合学习的方法将单目深度估计与深度图像超分辨率重建进行关联，以单目深度估计网络代替颜色引导的深度图像超分辨率重建方法中的彩色分支。由于单目深度估计可以在连续的训练和学习过程中实现从彩色图像到深度图像的跨模态信息转换，因而面向单目深度估计学习到的彩色图像特征更贴近深度模态。与直接的特征引
导或边缘特征引导相比，单目深度估计学习到的特征更适合指导深度图像超分辨率重建，从而可以避免明显的伪影，并实现更好的重建性能。
[0005]关键术语定义列表
[0006]1、深度图像超分辨率重建：是在深度相机不变的前提下，通过算法重建出高质量、高分辨率的深度图像，并有效抑制成像过程中的模糊现象和随机噪声。
[0007]2、单目深度估计：是利用一张或者唯一视角下的彩色图像，估计图像中每个像素相对拍摄源的距离。

技术实现思路

[0008]本专利技术旨在探索深度图像超分辨率重建任务中的颜色引导、细节恢复和模态交互等问题的解决方案。具体地，从多任务学习的角度出发，研究一种联合单目深度估计的深度图像超分辨率网络，将单目深度估计和深度图像超分辨率纳入一个统一的框架中，并探索两个任务之间的交互指导关系，以达到相互促进、互利共赢的效果，具体技术方案如下：
[0009]一种联合单目深度估计的深度图像超分辨率重建方法，所述联合单目深度估计的深度图像超分辨率重建方法基于联合单目深度估计的深度图像超分辨率重建网络；
[0010]所述联合单目深度估计的深度图像超分辨率重建网络包括：两个子网络；
[0011]所述两个子网络为：单目深度估计子网络和深度图像超分辨率重建子网络；
[0012]所述单目深度估计子网络和深度图像超分辨率重建子网络的关联通过桥接器实现；
[0013]所述联合单目深度估计的深度图像超分辨率重建方法包括以下步骤：
[0014]S1、将低分辨率深度图像输入所述深度图像超分辨率重建子网络，将相应于低分辨率深度图像对应的的高分辨率彩色图像输入所述单目深度估计子网络；
[0015]S2、对所述深度图像超分辨率重建子网络和所述单目深度估计子网络同时进行训练；
[0016]将两个子网络集成到一个统一的框架中进行联合学习；
[0017]S3、所述深度图像超分辨率重建子网络输出高分辨率重建深度图像，并将所述高分辨率重建深度图像作为最终输出。
[0018]在上述技术方案的基础上，所述单目深度估计子网络和深度图像超分辨率重建子网络均采用编码器
‑
解码器的结构形式，可以采用现有的网络模型作为基线；
[0019]所述桥接器包括：高频注意力桥接器和内容引导桥接器；
[0020]所述高频注意力桥接器应用于两个子网络的编码器的编码阶段；
[0021]所述内容引导桥接器应用于两个子网络的解码器的解码阶段，以实现不同的信息交互和引导；
[0022]单目深度估计子网络将从高分辨率彩色图像学习到的高频信息通过高频注意力桥接器，为深度图像超分辨率重建子网络提供更贴近深度模态的颜色指导；
[0023]深度图像超分辨率重建子网络在深度特征空间通过内容引导桥接器为单目深度估计子网络提供内容引导。
[0024]回顾现有的颜色指导的深度图像超分辨率重建的方法可以发现，彩色图像的指导主要包括：对应特征的直接引导或边缘细节的引导两种方式。尽管彩色图像和深度图像具
有很强的结构相似性，但是彩色图像丰富的纹理和边缘并不总是与深度图像一致，因此这些方法可能会导致纹理复制和深度流失等问题。单目深度估计以彩色图像作为输入，将场景从光度表示映射到几何表示，从而生成对应的深度图像。因此，由单目深度估计编码器提供的彩色图像的特征更接近于深度模态的特征表示，进而可以用其对深度图像超分辨率重建任务进行指导，避免明显的伪影。
[0025]换句话说，在两个子任务的编码器交互阶段，本专利技术拟利用单目深度估计特征对深度图像超分辨率重建特征进行指导。在明确了指导信息的传递方向之后，接下来需要思考的问题便是如何有效地实现信息交互和指导。最简单直观的方法是通过级联或相加将单目深度估计子网络相应层的特征直接传递到深度图像超分辨率重建子网络中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合单目深度估计的深度图像超分辨率重建方法，其特征在于：所述联合单目深度估计的深度图像超分辨率重建方法基于联合单目深度估计的深度图像超分辨率重建网络；所述联合单目深度估计的深度图像超分辨率重建网络包括：两个子网络；所述两个子网络为：单目深度估计子网络和深度图像超分辨率重建子网络；所述单目深度估计子网络和深度图像超分辨率重建子网络的关联通过桥接器实现；所述联合单目深度估计的深度图像超分辨率重建方法包括以下步骤：S1、将低分辨率深度图像输入所述深度图像超分辨率重建子网络，将相应于低分辨率深度图像对应的高分辨率彩色图像输入所述单目深度估计子网络；S2、对所述深度图像超分辨率重建子网络和所述单目深度估计子网络同时进行训练；S3、所述深度图像超分辨率重建子网络输出高分辨率重建深度图像，并将所述高分辨率重建深度图像作为最终输出。2.如权利要求1所述的联合单目深度估计的深度图像超分辨率重建方法，其特征在于：所述单目深度估计子网络和深度图像超分辨率重建子网络均采用编码器
‑
解码器的结构形式；所述桥接器包括：高频注意力桥接器和内容引导桥接器；所述高频注意力桥接器应用于两个子网络的编码器的编码阶段；所述内容引导桥接器应用于两个子网络的解码器的解码阶段；单目深度估计子网络将从高分辨率彩色图像学习到的高频信息通过高频注意力桥接器，为深度图像超分辨率重建子网络提供颜色指导；深度图像超分辨率重建子网络在深度特征空间通过内容引导桥接器为单目深度估计子网络提供内容引导。3.如权利要求2所述的联合单目深度估计的深度图像超分辨率重建方法，其特征在于：所述高频注意力桥接器利用注意力机制，从单目深度估计子网络的原始特征中筛选出高频信息，并以此作为引导特征，对深度图像超分辨率重建子网络的编码器特征进行指导。4.如权利要求3所述的联合单目深度估计的深度图像超分辨率重建方法，其特征在于：所述得到引导特征的具体步骤如下：首先，使用平均池化和反卷积运算对单目深度估计子网络的原始特征进行模糊操作，如式(1)所示，其中，为单目深度估计子网络的编码器第i层的原始特征，为单目深度估计子网络的编码器第i层的模糊特征，表示：对进行平均池化操作，表示：对进行反卷积操作；然后，通过将原始特征与模糊特征相减，以获得高频信息，进而生成高频信息的注意力，如式(2)所示，
其中，为单目深度估计子网络的编码器第i层的高频注意力，表示：对进行带参数的修正线性单元变换操作；接着，使用获得的高频注意力对单目深度估计子网络的原始特征进行修正和优化，通过残差连接，最终得到优化后的引导特征，如式(3)所示，其中，为单目深度估计子网络的编码器第i层优化后的引导特征。5.如权利要求4所述的联合单目深度估计的深度图像超分辨率重建方法，其特征在于：对深度图像超分辨率重建子网络的编码器特征进行指导的具体步骤如下：首先，将引导特征与深度图像超分辨率重建子网络的编码器相应层的特征在通道维度级联，以生成编码器该层的复合特征然后，引入一个注意力块；所述注意力块包括：一个通道注意力和一个空间注意力；所述通道注意力用于：学习每个特征通道的重要性；所述空间注意力用于：突出显示特征图中的重要位置，上述过程表述为...

【专利技术属性】
技术研发人员：丛润民，唐麒，盛荣晖，张晨，何凌志，赵耀，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：