【技术实现步骤摘要】
一种水下深度图超分辨率方法
[0001]本专利技术涉及超分辨率
，是一种水下深度图超分辨率方法。
技术介绍
[0002]水下图像在海洋研究和水下机器人领域都具有重要的应用，观察海洋生物、进行水下作业都需要清晰的图像。然而由于水的折射和水中悬浮颗粒的散射对光造成大幅度的衰减，同时水体的多样性也造成了水下图像的质量不尽如人意，很多视觉任务都会在质量较低的水下图像上失效。而在当今生活中，深度图逐渐成为各了许多水下任务中广泛使用的元素之一，有了深度图提供的补充性的几何信息，这些任务有了更好的性能表现。然而，由于传感器技术的限制，大多数深度相机拍摄的水下深度图的分辨率和精度都不足以满足实际应用。这些低精度的深度图像会出现边缘模糊、精度下降等问题，大大影响了其在现实生活中的应用。因此，水下深度图的超分辨率，旨在从低分辨率的水下深度图中获得高分辨率的水下深度图。这已经成为计算机视觉中的一项重要和具有挑战性的任务。然而，深度图像超分辨率尤其是拍摄于水下的深度图有以下两个缺点：第一，将一个深度图像从低分辨率变成高分辨率是复杂而不确定的，生成的高分辨率图像并不是唯一的。第二，由于在水下环境中光线相对较暗，大多数模型不能恢复低分辨率深度图的模糊边缘，难以将深度图像超分辨率到满意的精度。所以，本专利技术所提出的红外图像指导的深度图像超分辨率在这种情况下会有很好的应用前景，即使在光线不充足的水下能够达到良好的效果。
技术实现思路
[0003]本专利技术为克服现有技术的不足，本专利技术对水下拍摄的深度图像实现超分辨率，还原...
【技术保护点】
【技术特征摘要】
1.一种水下深度图超分辨率方法，其特征是：所述方法包括以下步骤：步骤1：通过相机采集训练时所需要的水下图像数据；步骤2：确定评价指标，确定合适的评价指标来衡量模型输出的深度图像和原始高分辨率深度图像的几何差距；步骤3：进行网络模型搭建，通过网络模型生成高精度的深度图像；步骤4：进行网络的参数更新和训练，实现红外图像指导的水下深度图像超分辨率，还原水下深度图像。2.根据权利要求1所述的方法，其特征是：所述步骤1具体为：采用Kinect相机，在设定好Kinect相机的拍摄模式、拍摄分辨率后，通过Kinect对数千个光线差的水下场景拍摄配对的深度图像、红外图像和彩色图像，对图像进行裁剪和预处理，使用双三次插值算法将深度图像下采样，生成低分辨率的深度图像，用于模型的训练。3.根据权利要求2所述的方法，其特征是：所述步骤2具体为：采用了均方根误差和感知误差作为评价输出的深度图像和原始高分辨率深度图像的差距，均方根误差等于两张相同尺寸图片对应像素之间差值的平方求和后开方；感知误差则是VGG网络计算出的两张图片之间特征图像的均方根误差：均方根误差通过下式表示：感知误差通过下式表示：总误差的公式通过下式表示：其中，表示生成的高分辨率深度图像，表示原始高分辨率深度图像，表示VGG网络的层数，为中间高分辨率深度图像，为经过VGG网络计算得出的原始高分辨率深度特征图像，为经过VGG网络计算得出的中间高分辨率深度特征图像。4.根据权利要求3所述的方法，其特征是：所述步骤3具体为：搭建基于红外图像指导的适用于水下环境的深度图像超分辨率DSTN网络模型，所述网络模型包括特征融合模块、独立特征提取模块、深度图像变换器和多尺度学习模块，所述DSTN网络模型通过特征融合模块将红外图像和彩色图像的特征融合在一起，特征融合模块中运用了通道注意力机制来对特征层加权，融合后的图像会被独立特征提取模块提取特征，而后经过深度图像变换器和多尺度学习模块和深度图像相融合，生成高精度的深度图像。5.根据权利要求4所述的方法，其特征是：
所述特征融合模块用于将红外图像和彩色图像的特征融合在一起；所述独立特征提取模块用于提取融合后的图像特征；所述深度图像变换器用于将RGB特征和红外图像IR特征与深度图DL特征相结合；所述多尺度学习模块用于在不同尺度上进一步融合深度图像变换器的输出。6.根据权利要求5所述的方法，其特征是：特征融合模块的输出被用作基于VGG的特征提取器的输入，连接了高分辨率彩色图像的三个通道和高分辨率红外图像的一个通道，根据一个卷积层Conv（4,3）和三个卷积层Conv（3,3）对所连接的图像进行非线性变换，从而实现红外图像引导的超分辨率；独立特征提取模块使用预先训练过的VGG19作为单独的特征提取器的主干，在进行特征提取之前，将低分辨率深度图DL进行双边缘上采样得到
↑
DL，再对得到的特征图G进行顺序降采样和双上采样得到
↓↑
G，使用单独的特征提取器从G，
↓↑
G和
↑
DL中分别提取4
×
、2
×
和1
×
【专利技术属性】
技术研发人员：姜宇，齐红，赵明浩，王跃航，陈天悦，魏枫林，王凯，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。