一种基于双支感知的深度图超分辨率重建网络构建方法技术

本发明专利技术公开了一种基于双支感知的深度图超分辨率重建网络构建方法。传统的深度图像超分辨方法在效果和速度都不如基于卷积神经网络的方法，但大部分的超分辨卷积神经网络框架都都只是堆叠的卷积层，没有网络结构能判断彩色图像的纹理区域是否和深度图像中的纹理区域相关。本发明专利技术的基于注意力机制的卷积神经网络结构可以利用可学习参数判断彩色特征图像的纹理是否是深度图像重建所需要的，即可以更好的利用彩色图像所提供的信息，经过多级的感知机制最终获得筛选后的精细化的特征图像，融合这些信息对深度图像进行超分辨率重建。并且利用残差学习的思想，减轻了卷积神经网络的负担，提升了深度图像的重建效果。

A network construction method of super-resolution reconstruction of depth map based on two branch perception

【技术实现步骤摘要】
一种基于双支感知的深度图超分辨率重建网络构建方法
本专利技术属于计算机视觉领域，具体涉及一种基于双支感知的深度图超分辨率重建网络构建方法。
技术介绍
随着获取深度信息的技术的发展，如激光雷达，飞行时间(TOF)相机，三维结构光，深度图像已被广泛应用于移动机器人，人机交互，人体姿态估计和三维场景重建等。然而，从这些技术获得的深度图像仍然无法满足实际需求，尤其是获取的深度图像分辨率较低，质量较差。因此，如何将低分辨率的深度图像重建成高质量高分辨率深度图像成为计算视觉领域的研究热点。近年来，随着深度学习的发展，越来越多的基于卷积神经网络的超分辨方法被提出。经过在大量图片数据集上的训练，卷积神经网络能够充分学习图像的特征，并将这些特征进行组合得到最后的重建结果。相较传统的超分辨算法，基于卷积神经网络的超分辨算法需要依赖于非常大的数据集，所以通过卷积层提取出的特征更具有普适性，更能代表物体的通用特征。通常，基于CNN的深度超分辨率方法可以实现比传统方法更好的性能。目前大量的传统深度图像超分辨算法都是基于同场景的彩色图像引导的重建，获取高分辨率高质量的彩色图像的方法已经比较成熟，但相较于深度图像，彩色图像纹理区域会更多，利用普通的卷积神经网进行彩色图像引导深度图像重建可能会将这些无关纹理也带入重建中，因此需要一种方法可以判别彩色图像中的纹理区域是否能对深度图像超分辨重建提供有用信息。
技术实现思路
本专利技术的目的就是克服现有技术的不足，一种基于注意力机制的深度图超分辨率重建网络。本方法设计了一种新型的注意力机制，通过可学习的参数，使网络关注在彩色图像和深度图像相关联的区域，从而虚弱彩色图像无关纹理的影响，进而提升深度图像重建的效果。具体步骤如下：步骤(1)：利用RGB-D相机获取同场景彩色图像和深度图像使用RGB-D相机得到一张低分辨率深度图像Idepth其分辨率为M*N，和一张相同视角下的高分辨率彩色图像Icolor其分辨率为rM*rN，其中r为倍率，M和N分别为图像的高和宽；对低分辨率的深度图像Idepth进行双三次上采样操作放大至rM*rN，获得了初始的低质量高分辨率深度图像并把彩色图像Icolor转为YCbCr色彩空间，并取Y通道图像得到步骤(2)：基于卷积神经网络的双支图像特征提取结构构建，在图像特征提取阶段两支结构相同，每一支在特征提取的阶段由七层卷积核大小为3*3的卷积层，双支之间设有五个双支通道感知模块和五个双支空间感知模块，这样得到深度图像特征与彩色图像特征交叉感知阶段部分。(a)和首先各自通过各支的两层卷积核大小为3*3卷积层得到初始的特征图和(b)双支感知结构构建，然后各自经过五层卷积核大小为3*3卷积层提取并精细化特征，这五层卷积层，每层后面都带有一个双支通道感知模块和一个双支空间感知模块，五层卷积层和五个双支通道感知模块和五个双支空间感知模块组成五级双支感知结构，假设输入深度特征图为Xd-1，彩色特征图为Xc-1，每级的双支感知结构的计算步骤如下：①首先将深度特征图为Xd-1∈RB×C×H×W，彩色特征图为Xc-1∈RB×C×H×W各自经过一层卷积核大小为3*3的卷积层之后通过激活层得到各种的特征图Rd∈RB×C×H×W和Rc∈RB×C×H×W。其中σ(·)代表RectifiedLinearUnit激活层，和为卷积核大小为3*3的卷积层权值，其上标表示该卷积层属于哪一支，d为深度图像一支，c为彩色图像一支，下标表示卷积核大小。②R′d＝MChannel*Rd(3)R′c＝MChannel*Rc(4)将特征图Rd和Rc拼接在一起，输入到双支通道感知模块中得到通道权重MChannel，并分别与特征图Rd和Rc做一次元素相乘得到双支通道感知后的特征图R′d∈RB×C×H×W和R′c∈RB×C×H×W。其中，双支通道感知模块权重MChannel的计算方式如下：将特征图Rd和Rc拼接在一起，分别沿着空间维度进行max-pooled和average-pooled得到和上标表示处于双支通道感知阶段；然后和输入两层全连接层，得到和其中ω0∈RB×2C/r×2C和ω1∈RB×C×2C/r分别表示两层全连接层的权重,σ(·)代表RectifiedLinearUnit激活层；最后，使用Sigmod函数对和相加得到的和进行非线性映射，得到双支通道感知模块权重MChannel。③R″d＝MSpatial*R′d(10)R″c＝MSpatial*R′c(11)将双支通道感知之后的特征图R′d和特征图R′c拼接在一起，输入到双支空间感知模块中得到通道权重MSpatial，并分别与特征图R′d和R′c做一次元素相乘得到双支通道感知后的特征图R″d∈RB×C×H×W和R″c∈RB×C×H×W。其中，双支空间感知模块权重MSpatial的计算方式如下：将特征图R′d和R′c拼接在一起，分别沿着通道维度进行max-pooled和average-pooled得到和上标表示处于双支空间感知阶段；然后将特征图和拼接在一起输入一个卷积核大小为5*5的卷积层，得到卷积层输出其中，ω2是5*5卷积层的权重，σ(·)代表RectifiedLinearUnit激活层；最后，将输入Sigomd函数进行非线性变换得到双支空间感知模块权重MSpatial。初始的特征图和经过五级双支感知结构之后，得到精细化的深度图像的特征图和Y通道的特征图步骤(3)：特征融合网络结构构建特征融合引导阶段的网络由一个特征图像拼接操作、六层卷积核大小为3*3的卷积层构成，该阶段的每个卷积层之后都紧连一个RectifiedLinearUnit激活层。将深度图像的特征图和Y通道特征图首先通过拼接操作得到初始融合特征图然后经过六层卷积层进行细化融合，利用网络学习中有用的边缘部分，使彩色图像充分地起到引导作用，完成了特征融合引导的构造，得到了融合特征图，记为步骤(4)：残差结构构建，重建高质量高分辨率深度图像重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成。通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为最后将与进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像本专利技术的有益效果：本专利技术设计一种基于感知机制的卷积神经网络学习并精细彩色图像中对引导深度图像重建有利的信息，削弱彩色图像中无关纹理带来的影响，可以免去人工寻找彩图有用引导特征的过程，很好的利用了深度图像和彩色图像相关性，能够重建出高质量高分辨率的深度图像。附图说明图1为本专利技术网络总体框架图；图2为双支通道感知模块流程图；图3为双支空间感知模块流程图。具体实施方式以下结合附图1对本本文档来自技高网...

【技术保护点】
1.一种基于双支感知的深度图超分辨率重建网络构建方法，其特征在于该方法的具体步骤是：/n步骤(1)：利用RGB-D相机获取同场景彩色图像和深度图像/n使用RGB-D相机得到一张低分辨率深度图像I

【技术特征摘要】
1.一种基于双支感知的深度图超分辨率重建网络构建方法，其特征在于该方法的具体步骤是：
步骤(1)：利用RGB-D相机获取同场景彩色图像和深度图像
使用RGB-D相机得到一张低分辨率深度图像Idepth其分辨率为M*N，和一张相同视角下的高分辨率彩色图像Icolor其分辨率为rM*rN，其中r为倍率，M和N分别为图像的高和宽；对低分辨率的深度图像Idepth进行双三次上采样操作放大至rM*rN，获得了初始的低质量高分辨率深度图像并把彩色图像Icolor转为YCbCr色彩空间，并取Y通道图像得到
步骤(2)：基于卷积神经网络的双支图像特征提取结构构建，在图像特征提取阶段两支结构相同，每一支在特征提取的阶段由七层卷积核大小为3*3的卷积层，双支之间设有五个双支通道感知模块和五个双支空间感知模块，这样得到深度图像特征与彩色图像特征交叉感知阶段部分；
(a)和首先各自通过各支的两层卷积核大小为3*3卷积层得到初始的特征图和
(b)双支感知结构构建，然后各自经过五层卷积核大小为3*3卷积层提取并精细化特征，这五层卷积层，每层后面都带有一个双支通道感知模块和一个双支空间感知模块，五层卷积层和五个双支通道感知模块和五个双支空间感知模块组成五级双支感知结构，假设输入深度特征图为Xd-1，彩色特征图为Xc-1，每级的双支感知结构的计算步骤如下：
①






首先将深度特征图为Xd-1∈RB×C×H×W，彩色特征图为Xc-1∈RB×C×H×W各自经过一层卷积核大小为3*3的卷积层之后通过激活层得到各种的特征图Rd∈RB×C×H×W和Rc∈RB×C×H×W；其中σ(·)代表RectifiedLinearUnit激活层，和为卷积核大小为3*3的卷积层权值，其上标表示该卷积层属于哪一支，d为深度图像一支，c为彩色图像一支，下标表示卷积核大小；
②
R′d＝MChannel*Rd(3)
R′c＝MChannel*Rc(4)
将特征图Rd和Rc拼接在一起，输入到双支通道感知模块中得到通道权重MChannel，并分别与特征图Rd和Rc做一次元素相乘得到双支通道感知后的特征图R′d∈RB×C×H×W和R′c∈RB×C×H×W；其中，双支通道感知模块权重MChannel的计算方式如下：






将特征图Rd和Rc拼接在一起，分别沿着空间维度进行max-pooled和averag...

【专利技术属性】
技术研发人员：曹旗，杨宇翔，高明煜，董哲康，何志伟，曾毓，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33