一种水下图像的超分辨率重建方法及水下机器人终端技术

本发明专利技术公开了一种水下图像的超分辨率重建方法及水下机器人终端，控制光学相机和深度相机分别拍摄同一目标在同一时刻的原始水下图像与深度图像；采用Canny算法提取所述深度图像的边缘轮廓；对所述原始水下图像进行去噪并与所述深度图像的所述边缘轮廓对齐修正后，得到具有平滑轮廓的配对图片；由所述平滑轮廓作为引导，采用联合双边滤波器重建高分辨率的水下图像纹理，得到高分辨率水下图片。本发明专利技术采用光学相机和深度相机分别拍摄原始水下图像和深度图像，将深度图像作为原始水下图像的引导，实现水下图像的超分辨率重建，从而增强水下图像的分辨率以得到高分辨率的水下图片。水下图像的分辨率以得到高分辨率的水下图片。水下图像的分辨率以得到高分辨率的水下图片。

【技术实现步骤摘要】
一种水下图像的超分辨率重建方法及水下机器人终端


[0001]本专利技术涉及水下成像
，尤其是涉及一种水下图像的超分辨率重建方法及水下机器人终端。

技术介绍

[0002]水下图像超分辨率和恢复是一个重要研究问题，校正并恢复失真的光学图像以保真像素强度，经典方法使用手工制作的滤镜来改善局部对比度并增强色彩稳定性，尤其是对于除雾，色彩校正，除水等。这些方法的灵感来自人类视觉感知理论，并且主要关注恢复背景照明和亮度再现上。但是，这些方法在计算上通常对实时机器人部署过于苛刻，并且在实际应用中并不总是可以开展密集的景深和光学的测量。
[0003]水下光学检测主要依靠水下机器人拍摄的水下图像，而水下图像的质量又与水下机器人搭载的成像系统密切相关，由于水下环境能见度低、照明不均匀、水对光的选择性吸收和悬浮颗粒散射的作用下，成像设备所获取的水下图像往往偏灰暗，对比度较低。悬浮颗粒散射中的后向散射导致图像模糊，物体表面的原有颜色被遮盖，物体局部区域辨认不清。此外，深水处由于光照缺失，往往需要添加人工光源，人工光源的出现常常导致水下环境拍摄的图像存在亮斑，且水下降质图像还存在噪声等问题。

技术实现思路

[0004]本专利技术所要解决的技术问题是：提供一种水下图像的超分辨率重建方法及水下机器人终端，实现水下图像的超分辨率重建，从而增强水下图像的分辨率以得到高分辨率的水下图片。
[0005]为了解决上述技术问题，本专利技术采用的技术方案为：
[0006]一种水下图像的超分辨率重建方法，包括步骤：<br/>[0007]S1、控制光学相机和深度相机分别拍摄同一目标在同一时刻的原始水下图像与深度图像；
[0008]S2、采用Canny算法提取所述深度图像的边缘轮廓；
[0009]S3、对所述原始水下图像进行去噪并与所述深度图像的所述边缘轮廓对齐修正后，得到具有平滑轮廓的配对图片；
[0010]S4、由所述平滑轮廓作为引导，采用联合双边滤波器重建高分辨率的水下图像纹理，得到高分辨率水下图片。
[0011]为了解决上述技术问题，本专利技术采用的另一个技术方案为：
[0012]一种水下机器人终端，包括光学相机、深度相机、存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
[0013]S1、控制所述光学相机和所述深度相机分别拍摄同一目标在同一时刻的原始水下图像与深度图像；
[0014]S2、采用Canny算法提取所述深度图像的边缘轮廓；
[0015]S3、对所述原始水下图像进行去噪并与所述深度图像的所述边缘轮廓对齐修正后，得到具有平滑轮廓的配对图片；
[0016]S4、由所述平滑轮廓作为引导，采用联合双边滤波器重建高分辨率的水下图像纹理，得到高分辨率水下图片。
[0017]本专利技术的有益效果在于：基于深度图像的边缘轮廓引导水下图像的超分辨率重建，将超分辨率问题从纹理引导转换为基于深度图像的边缘检测，具体为对原始水下图像进行去噪并与边缘轮廓对齐后修正部分边缘形成配对图片，得到平滑轮廓，之后再由平滑轮廓作为引导，应用联合双边滤波器来重建超分辨率的图像纹理，实现水下图像的超分辨率重建，从而增强水下图像的分辨率以得到高分辨率的水下图片；其中平滑后的轮廓引导不仅有助于避免由直接纹理预测引入的纹理拷贝错误，同时还可以减少锯齿状边界并保留边缘的特性，重点解决了水下光照环境复杂时，直接应用光学图像进行超分辨率重建与增强带来的虚影问题。
附图说明
[0018]图1为本专利技术实施例的一种水下图像的超分辨率重建方法的整体流程图；
[0019]图2为本专利技术实施例的超分辨率重建流程框图；
[0020]图3为本专利技术实施例的一种水下机器人终端的结构示意图
[0021]图4为本专利技术实施例的一种水下机器人终端的基本交互程序流程图；
[0022]图5为本专利技术实施例的一种深度相机的示意图；
[0023]图6为根据本专利技术实施例的一种水下图像的超分辨率重建方法得到的高分辨率水下图片最终效果。
[0024]标号说明：
[0025]1、一种水下机器人终端；2、光学相机；3、深度相机；4、存储器；5、处理器。
具体实施方式
[0026]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图详予说明。
[0027]本专利技术最关键的构思在于：为水下机器人终端搭载深度像机，将超分辨率问题从纹理引导转换为基于深度图的边缘检测，通过深度图像的轮廓纹理引导实现对光学相机拍摄的水下图像的超分辨率重建，从而得到高分辨率的水下图片。
[0028]请参照图1、图2及图6，一种水下图像的超分辨率重建方法，包括步骤：
[0029]S1、控制光学相机和深度相机分别拍摄同一目标在同一时刻的原始水下图像与深度图像；
[0030]S2、采用Canny算法提取所述深度图像的边缘轮廓；
[0031]S3、对所述原始水下图像进行去噪并与所述深度图像的所述边缘轮廓对齐修正后，得到具有平滑轮廓的配对图片；
[0032]S4、由所述平滑轮廓作为引导，采用联合双边滤波器重建高分辨率的水下图像纹理，得到高分辨率水下图片。
[0033]由上述描述可知，本专利技术的有益效果在于：基于深度图像的边缘轮廓引导水下图像的超分辨率重建，将超分辨率问题从纹理引导转换为基于深度图像的边缘检测，具体为对原始水下图像进行去噪并与边缘轮廓对齐后修正部分边缘形成配对图片，得到平滑轮廓，之后再由平滑轮廓作为引导，应用联合双边滤波器来重建超分辨率的图像纹理，实现水下图像的超分辨率重建，从而增强水下图像的分辨率以得到高分辨率的水下图片；其中平滑后的轮廓引导不仅有助于避免由直接纹理引入导致的纹理拷贝错误，同时还可以减少锯齿状边界并保留边缘的特性，重点解决了水下光照环境复杂时，直接应用光学图像进行超分辨率重建与增强带来的虚影问题。
[0034]进一步的，所述S1还包括：
[0035]对所述原始水下图像和所述深度图像进行世界坐标系配准，具体为：
[0036]采用相机标定方法确定所述深度相机的内参矩阵和畸变参数，根据内参矩阵和畸变参数确定所述深度图像中预设点在世界坐标系和图像坐标系间的对应关系，将所述深度图像的图像坐标转换至世界坐标，结合所述原始水下图像中与所述预设点的世界坐标对应的位置处的RGB值，进行所述深度图像和所述原始水下图像的配准，配准坐标计算如公式(1)：
[0037][0038]其中，(X，Y，Z)为所述预设点在世界坐标系下的坐标，(u，v)为所述预设点在图像坐标系下的坐标，f
u
和f
v
分别为所述深度相机的成像传感器在图像坐标的u轴和v轴上的单位像素的尺寸大小，M1为内参矩阵，M2为包含旋转矩阵R和平移向量t的畸变参数矩阵。
[0039]由上述描述可知，由于光学相机和深度相机分别拍摄的原始水下图像(即RGB图像)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水下图像的超分辨率重建方法，其特征在于，包括步骤：S1、控制光学相机和深度相机分别拍摄同一目标在同一时刻的原始水下图像与深度图像；S2、采用Canny算法提取所述深度图像的边缘轮廓；S3、对所述原始水下图像进行去噪并与所述深度图像的所述边缘轮廓对齐修正后，得到具有平滑轮廓的配对图片；S4、由所述平滑轮廓作为引导，采用联合双边滤波器重建高分辨率的水下图像纹理，得到高分辨率水下图片。2.根据权利要求1所述的一种水下图像的超分辨率重建方法，其特征在于，所述S1还包括：对所述原始水下图像和所述深度图像进行世界坐标系配准，具体为：采用相机标定方法确定所述深度相机的内参矩阵和畸变参数，根据内参矩阵和畸变参数确定所述深度图像中预设点在世界坐标系和图像坐标系间的对应关系，将所述深度图像的图像坐标转换至世界坐标，结合所述原始水下图像中与所述预设点的世界坐标对应的位置处的RGB值，进行所述深度图像和所述原始水下图像的配准，配准坐标计算如公式(1)：其中，(X，Y，Z)为所述预设点在世界坐标系下的坐标，(u，v)为所述预设点在图像坐标系下的坐标，f
u
和f
v
分别为所述深度相机的成像传感器在图像坐标的u轴和v轴上的单位像素的尺寸大小，M1为内参矩阵，M2为包含旋转矩阵R和平移向量t的畸变参数矩阵。3.根据权利要求1所述的一种水下图像的超分辨率重建方法，其特征在于，所述S2具体为：S21、定义I(i，j)表示所述深度图像中图像坐标为(i，j)的点的像素值，像素点I的梯度变化率通过灰度沿二维方向的一阶导数求得，如公式(2)所示：其中，f
u
和f
v
分别为所述深度相机的成像传感器在图像坐标的u轴和v轴上的单位像素的尺寸大小；S22、将像素点I带入上述公式(2)并通过Canny算法中的Isotropic Sobel模板进行离散计算，如下公式(3)：
公式(3)中，其中，G(i,j)为像素点I的高斯平滑核，通过公式(3)的计算求得所述深度图像的边缘轮廓的幅值r(i，j)和方向α(i，j)，如下公式(4)：S23、利用非极大值抑制获取所述边缘轮廓的阈值，根据点像素点I的上、下、左、右四个像素作相同的幅值计算，得到r1、r2、r3和r4，则计算得到两个方向上的阈值如下公式(5)：当满足r(i,j)&gt;A1和r(i,j)&gt;A2，得到一个极大值r
max
(i,j)；S24、遍历所述深度图像的所有像素点，根据所有极大值得到边缘轮廓。4.根据权利要求1所述的一种水下图像的超分辨率重建方法，其特征在于，所述S3具体为：S31、对所述原始水下图像和所述深度图像进行去噪；S32、定义所述深度图像的低分辨率深度图为D，对应的所述原始水下图像的高分辨率纹理轮廓为C，对D进行上采样，使其达到与C相同的分辨率，具体为：令c＝[c
i
]、d'＝[d
i
]，其中，c、d和d
’
分别为纹理轮廓图、低分辨率深度图和拓展分辨率后的深度图，并将c、d和d
’
中的所有元素数据规范化到[0，1]区间内，针对向量c和d
’
，引入如下公式(6)：c'＝arg min{e(c')}＝E
f
+aE
s
ꢀꢀꢀꢀꢀꢀ
(6)；其中c
’
为修正后的纹理轮廓，E
f
为数据项，表示修正后的轮廓与原始轮廓差异，E
s
为正则项，表示所述深度图像的边缘的约束属性，常数值a为E
f
和E
s
平衡的影响因子；S33、采用IRLS算法求解公式(6)，得到修正后的平滑轮廓C
’
。5.根据权利要求1所述的一种水下图像的超分辨率重建方法，其特征在于，所述S4具体为：由所述平滑轮廓作为引导，代入如下公式(7)：其中，F是高分辨率的RGB图像，P为低分辨率的RGB图像，q是可调节归一系数，C
’
是由步骤S3所求得的所述平滑轮廓，根据公式(7)对应联合双边滤波器的两个滤波滑动窗口，确定所述平滑轮廓的不同像素点坐标(i，j)，求取像素之间的距离||i
‑
j||与方向导数C'
i,j
，并
通过高斯核函数f1和f2进行加权运算，高斯核函数如下公式(8)：其中，σ1和σ2为各项标准差，β和λ取2～3。6.一种水下机器人终端，其特征在于，包括光学...

【专利技术属性】
技术研发人员：吴献，姚志强，
申请(专利权)人：福建师范大学，
类型：发明
国别省市：