一种基于多尺度反馈网络的引导深度图超分辨率方法技术

一种基于多尺度反馈网络的引导深度图超分辨率方法属于图像处理领域。本发明专利技术解决的问题是：对于引导深度图超分辨率问题，提出了一种多尺度反馈网络，其中包含多尺度反馈(MF)模块和尺度间注意力(IA)模块等功能模块。该网络可以更好的完成深度图和彩色图的特征细化与融合，从而达到更好的深度图超分辨率效果。从而达到更好的深度图超分辨率效果。从而达到更好的深度图超分辨率效果。

【技术实现步骤摘要】
一种基于多尺度反馈网络的引导深度图超分辨率方法


[0001]本专利技术属于图像处理领域，尤其涉及一种基于多尺度反馈网络的深度图像超分辨率(SR)重建方法。

技术介绍

[0002]深度图像是一种特殊的图像类型，含有其他图像无法表达的深度信息。这使它在自动驾驶、三维重建、增强现实和机器人导航等各种三维场景的应用中能发挥至关重要的作用。然而，由于现有的深度采集设备的传感和处理能力不足，我们很难获得精细的高分辨率(HR)深度图(例如，用Kinect 2.0相机拍摄的深度图分辨率仅为512
×
424)。这让许多需要使用深度图像的多媒体或计算机视觉任务的发展受到了阻碍。因此，如何将获取的低分辨率(LR)深度图转化为HR深度图，即深度图超分辨率(DSR)问题，成为了一个值得研究的基础问题。DSR问题中的退化模型可以表示为：
[0003]y＝HDx+n
[0004]其中，H表示模糊算子，D为降采样算子，n表示加性噪声。从上式可以看出该退化问题是不适定的，满足约束条件的解有很多，因此很难在解空间中找到我们实际需要的最优解。所以，如何根据图像的先验信息重建出HR图像是一个很难解决的问题。现有的引导深度图超分辨率方法主要分为三类：基于滤波的方法、基于优化的方法和基于深度学习的方法。
[0005]基于滤波的方法的主要思想是根据相邻点的值预测目标点的值。J.Kopf,M.Cohen,D.Lischinski,and M.Uyttendaele,“Joint bilateral upsampling,”in ACM Transactions on Graphics(Proceedings of SIGGRAPH 2007),vol.26,August 2007.使用了双边滤波器，联合彩色图像来估计深度图的值。它从所有相邻的非空白像素之间插值空白像素。而联合测地线上采样(JGU)M.
‑
Y.Liu,O.Tuzel,and Y.Taguchi,“Joint geodesic upsampling of depth images,”in2013IEEE Conference on Computer Vision and Pattern Recognition,2013,pp.169
–
176.则是选择一个使用全局测地线搜索的最佳非空白像素候选集。K.He,J.Sun,and X.Tang,“Guided image filtering,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.35,no.6,pp.1397
–
1409,2013提出了guided filter，它成功地结合了彩色图像和深度图像来完成图像滤波。尽管基于滤波的方法通常计算速度很快，但手工设计的过滤器无法适应深度图不同区域的剧烈变化，并因此导致边缘模糊。
[0006]基于优化的方法的基本思想是将DSR问题建模为凸优化问题，通过数学求解这个优化问题来得到重建图像。J.Diebel and S.Thrun,“An application of markov random fields to range sensing,”in Advances in Neural Information Processing Systems,vol.18,2005.通过将正常相机图像集成到距离数据中，使用马尔可夫随机场(MRF)来生成高分辨率和低噪声距离图像。D.Ferstl,C.Reinbacher,R.Ranftl et al.,“Image guided depth upsampling using anisotropic total generalized variation,”in 2013IEEE International Conference on Computer Vision,2013,
pp.993
–
1000.提出了一种使用各向异性总广义变分(TGV)的深度上采样模型。该模型将深度上采样定义为使用高阶正则化项的凸优化问题。基于优化的方法模拟的先验往往不能非常精确的表达真实图像，并且由于迭代计算的局限性，问题的求解往往耗时较长，带来很大的计算负担。
[0007]近年来，深度学习在诸如物体检测、图像识别等计算机视觉任务领域里取得了巨大成功。卷积神经网络在图像超分辨率领域的第一个应用是C.Dong,C.C.Loy,K.He,and X.Tang,“Image super
‑
resolution using deep convolutional networks,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.38,no.2,pp.295
–
307,2016.它的基本思想是设计一个端到端的深度卷积神经网络，通过大量数据训练使其学习到LR到HR的映射关系。T.
‑
W.Hui,C.C.Loy,and X.Tang,“Depth map super
‑
resolution by deep multi
‑
scale guidance,”in European Conference on Computer Vision
–
ECCV 2016,2016,pp.353
–
369.提出了一种多尺度引导卷积网络(MSG
‑
Net)，在相应彩色图像的引导下完成目标图像的渐进上采样，体现了多尺度的思想。X.Jia,B.De Brabandere,T.Tuytelaars,and L.V.Gool,“Dynamic filter networks,”in Advances in Neural Information Processing Systems,vol.29,2016.和Y.Li,J.
‑
B.Huang,N.Ahuja,and M.
‑
H.Yang,“Joint image filtering with deep convolutional networks,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.41,no.8,pp.1909
–
1923,2019.的思想是使用端到端的网络学习联合滤波器。H.Su,V.Jampani,D.Sun et al.,“Pixel
‑
adaptive convolutional neural networks,”in 2019IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),2019,pp.11 158...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度反馈网络的引导深度图超分辨率方法，其特征在于包括以下部分：一、基于多尺度反馈网络的深度图超分辨率方法：步骤1、将数据集中的低分辨率深度图I
lr
通过插值的方法初始化为I
bicubic
,大小为目标分辨率大小；设置相关网络参数；步骤2、将深度图I
bicubic
和彩色图I
C
分别输入一组包含两个卷积层的特征提取器进行初步特征提取，得到特征图和步骤3、将特征图输入多尺度反馈模块(MF)中进行多尺度特征提取，得到特征图组步骤4、将特征图组输入尺度间注意力模块(IA)中得到尺度间权值w2，然后赋权值给得到特征图记为步骤5、对特征图执行步骤3、4的同样操作，得到步骤6、将特征图输入跨域注意力调节模块(CAC)中，得到特征图和步骤7、重复步骤3
‑
6t
‑
1次后，得到特征图和步骤8、将特征图组和通过融合模块融合，其中包含卷积层和拼接操作，得到特征图F
out
；步骤9、将F
out
执行步骤3、4同样操作3次，然后将3个输出特征图融合，得到特征图R
out
；步骤10、将R
out
输入一组包含两个卷积层的重建模块进行最后的图像重建，得到输出图像I
out
，用I
out
+I
bicubic
得到I
hr
，即为最终重建的高分辨率深度图；二、多尺度反馈模块：步骤1、将输入的特征图输入到初始卷积层得到步骤2、将用不同尺度的卷积层提取多尺度特征图组步骤3、将上一时间步的特征图组反馈连接至当前时间步；步骤4、使用与步骤2对应的反卷积层得到相同大小的特征图组步骤5、将送入尺度间注意力(IA)模块得到权重向量步骤6、用对赋权值，得到特征图组步骤7、对求和并加上输入特征图得到最终输出三、尺度间注意力模块：步骤1、将输入的特征图组拼接得到步骤2、将得到的送入一个全局池化层得到向量步骤3、对使用两个全连接层得到长度为k的向量其中激活函数分别为ReLU和Sigmoid。2.根据权利要求1所述的方法，其特征在于，分为两个大阶段：特征细化阶段和重建阶段；在特征细化阶段之前，首先要对给定的低分辨率深度图I
lr
和彩色图I
C
做初步的特征提
取；将I
lr
通过插值的方法初始化，记为I
bicubic
，大小为目标分辨率大小；然后对I
bicubic
和I
C
进行特征提取，再将其分别送入包含两层3
×
3核大小的卷积层的特征提取器中，得到特征图F
D
和F
C
；F
D
＝conv
input_d
(I
bicubic
)F
C
＝conv
input_c
(I
C
)特征细化阶段：一、特征细化阶段的具体步骤：此阶段包含T个时间步；每个时间步的网络结构都保持一致，包括一个多尺度反馈模块(MF)和一个跨域注意力调节(CAC)模块；设T＝5；其中任意某个时间步记为t的具体流程如下：1)、对于上一个时间步中CAC模块的的输出在当前时间步中作为输入分别传递给两个子分支即深度图像分支和彩色图像分支中的MF块；传递给两个子分支即深度图像分支和彩色图像分支中的MF块；2)、在MF模块的运算后，将两个MF的输出再送入当前时间步的CAC模块，完成特征间的交互，此CAC的输出记为间的交互，此CAC的输出记为在T个时间步结束时，完成特征的优化和融合；然后将每个时间步中CAC的输出连接起来，并将其输入到融合模块(FB)，其输出即为FOS阶段的最终输出；二、多尺度反馈模块(MF)的具体步骤：模块的输入大小和输出大小均为H
×
W
×
64；MF作为网络的骨干模块，其作用为在网络中部提取和细化不同尺度的特征，首先将特定时间步长t的HR特征图映射到不同尺度的LR特征域；不同尺度的LR隐藏层信息也将被发送到下一时间步t+1，参与下一次迭代；然后，将不同尺度的下采样特征图分别输入相应的反卷积层以将其恢复到其原始大小；具体步骤如下：1)、首先，...

【专利技术属性】
技术研发人员：王瑾，李晨阳，王丹，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：