水下图像处理及目标识别的方法及装置制造方法及图纸

本发明专利技术公开了一种水下图像处理及目标识别的方法及装置

【技术实现步骤摘要】
水下图像处理及目标识别的方法及装置、存储介质及电子设备


[0001]本专利技术涉及图像处理领域，尤其是一种水下图像处理及目标识别的方法及装置
、
存储介质及电子设备
。

技术介绍

[0002]可见光稳定成像与精准感知的研究具有以下潜在的前景和作用，稳定成像和精准感知技术可以获取涉水场景中的关键情报，包括确定目标位置
、
活动
、
设施等信息
。
基于可见光稳定成像技术对水下图像进行处理，通过人工智能的目标检测和识别算法，能够对水下目标进行识别与跟踪
。
这对于目标定位
、
目标追踪等具有重要意义
。
[0003]现有技术“李明杰
,
刘小飞
.
高斯滤波在水下声呐图像去噪中的应用
[J].
黑龙江科技信息
,2015(19):29.”应用单尺度
Ridgelet
处理方式
,
将目标分割成多组包含不同信息的图像块
,
在边缘区进行有限
Ridgelet
去噪
,
对非边缘区采取小波去噪，从而得到清晰图像
。
文献“温伟清
. 基于颜色补偿的水下图像增强
[D].
南昌航空大学
,2018.”使用衰减相对较弱且衰减接近于红色通道的绿色通道来补偿红色通道
,
然后通过灰度世界白平衡与自动色阶获得最终颜色矫正
。
[0004]现有技术仅单独针对声呐图像或光学图像或点云信息的一种信息源进行水下目标检测与识别，信息源单一，对待检测目标的特性观测存在不完整性
、
局限性和不确定性的问题，无法充分利用图像的外观信息和激光点云的距离信息来提高目标检测质量
。

技术实现思路

[0005]本专利技术提出一种水下图像处理及目标识别的方法及装置，能够解决水下图像无法充分利用图像的外观信息和激光点云的距离信息来提高目标检测质量的技术问题
。
[0006]在本专利技术中提供一种水下图像处理及目标识别的方法，包括：
[0007]步骤
S1
：基于针对同一水下目标获取的各类传感器数据，解析激光雷达信号
、
声呐信号及光电视频信号，生成对应的点云图
、
声呐图像及光学图像；
[0008]步骤
S2
：对所述点云图进行三维重建，生成第二点云图；对所述声呐图像及光学图像分别进行图像增强，生成第二声呐图像及第二光学图像；
[0009]步骤
S3
：从所述第二点云图
、
第二声呐图像及第二光学图像分别提取点云图特征
、
声呐图像特征
、
光学图像特征，进行图像特征融合，得到融合图像特征；基于所述声呐图像特征及所述光学图像特征进行目标识别，得到第一识别结果；
[0010]步骤
S4
：基于所述融合图像特征及所述点云图特征进行目标识别，得到第二识别结果，基于所述第一识别结果及所述第二识别结果进行决策级融合，得到识别结果
。
[0011]可选地，所述对所述声呐图像进行图像增强包括：
[0012]步骤
S211
：构建细节分析因子和信号分析因子，所述细节分析因子对应于高通滤波器，用于处理所述声呐图像的高频信号；所述信号分析因子对应于低通滤波器，用于处理
所述声呐图像的低频信号；高频信号与低频信号的判断依据是信号与预定频率的比较结果；基于所述细节分析因子和信号分析因子，使用形态小波变换对所述声呐图像去噪；其中，所述信号分析因子配置有中值滤波器，所述中值滤波器设置有动态滤波窗，所述动态滤波窗根据所述声呐图像的不同区域的噪声情况动态调整所述动态滤波窗的尺寸；并在所述动态滤波窗对应的声呐图像的区域的中心的像素是噪声时，将该像素的像素值用所述声呐图像所有像素值的和进行替换；
[0013]步骤
S212
：使用平稳小波变换对去噪后的声呐图像进行图像增强，生成第二声呐图像
。
[0014]可选地，对所述光学图像进行图像增强，包括：
[0015]步骤
S221
：复制所述光学图像，得到第一备份光学图像及第二备份光学图像，所述第一备份光学图像与所述第二备份光学图像相同；
[0016]步骤
S222
：使用灰度世界算法对所述第一备份光学图像进行带有颜色补偿的白平衡处理，对白平衡处理后的第一备份图像的亮部区域和暗部区域，进行区域直方图增强，得到处理后的第一备份图像；其中，亮部区域和暗部区域基于图像的预定亮度来确定，亮度高于所述预定亮度的区域为亮部区域，其余的区域为暗部区域；
[0017]步骤
S223
：基于预先设置的区域图像方差阈值及信息熵阈值，将所述第二备份图像分为信息区和非信息区，对所述信息区使用双边滤波去噪，对所述非信息区使用非下采样轮廓波变换去噪，得到处理后的第二备份图像；
[0018]步骤
S224
：对所述处理后的第一备份图像及所述处理后的第二备份图像使用显著图算法和滤波操作，得到所述第一备份图像及第二备份图像各自对应的融合权重；
[0019]步骤
S225
：基于所述第一备份图像及第二备份图像各自对应的融合权重，对所述第一备份图像及第二备份图像进行多尺度融合，融合为一个融合图像；
[0020]步骤
S226
：将所述融合图像输入图像分辨率逐级提升网络，生成第二光学图像；
[0021]所述图像分辨率逐级提升网络包括依次相连的局部特征关联模块
、
多倍分辨率图像生成模块及图像分辨率逐级提升模块，所述局部特征关联模块由
Transformer
编码器构成，所述多倍分辨率图像生成模块由
GAN
网络构成，所述图像分辨率逐级提升模块由采样层
、
像素重组和卷积层构成
。
[0022]可选地，对所述点云图进行三维重建来生成第二点云图包括：
[0023]步骤
S231
：对拍摄光学图像的相机进行相机内参矩阵标定，将所述相机的图像坐标系进行多重转换，转换为世界坐标系，实现所述点云图
、
光学图像的空间配准；
[0024]步骤
S232
：将所述点云图投影到二维
RGB
图像
、
深度图像和标签图像，使用卷积神经网络对所述二维
RGB
图像进行语义分割；将分割后的二维
RGB
图像投影为三维点云，实现所述点云图的语义分割；
[0025]步骤
S233
：利用
3D
点云语义分割对不同的待标注对象中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种水下图像处理及目标识别的方法，其特征在于，包括：步骤
S1
：基于针对同一水下目标获取的各类传感器数据，解析激光雷达信号
、
声呐信号及光电视频信号，生成对应的点云图
、
声呐图像及光学图像；步骤
S2
：对所述点云图进行三维重建，生成第二点云图；对所述声呐图像及光学图像分别进行图像增强，生成第二声呐图像及第二光学图像；步骤
S3
：从所述第二点云图
、
第二声呐图像及第二光学图像分别提取点云图特征
、
声呐图像特征
、
光学图像特征，进行图像特征融合，得到融合图像特征；基于所述声呐图像特征及所述光学图像特征进行目标识别，得到第一识别结果；步骤
S4
：基于所述融合图像特征及所述点云图特征进行目标识别，得到第二识别结果，基于所述第一识别结果及所述第二识别结果进行决策级融合，得到识别结果
。2.
如权利要求1所述的方法，其特征在于，对所述声呐图像进行图像增强包括：步骤
S211
：构建细节分析因子和信号分析因子，所述细节分析因子对应于高通滤波器，用于处理所述声呐图像的高频信号；所述信号分析因子对应于低通滤波器，用于处理所述声呐图像的低频信号；高频信号与低频信号的判断依据是信号与预定频率的比较结果；基于所述细节分析因子和信号分析因子，使用形态小波变换对所述声呐图像去噪；其中，所述信号分析因子配置有中值滤波器，所述中值滤波器设置有动态滤波窗，所述动态滤波窗根据所述声呐图像的不同区域的噪声情况动态调整所述动态滤波窗的尺寸；并在所述动态滤波窗对应的声呐图像的区域的中心的像素是噪声时，将该像素的像素值用所述声呐图像所有像素值的和进行替换；步骤
S212
：使用平稳小波变换对去噪后的声呐图像进行图像增强，生成第二声呐图像
。3.
如权利要求1所述的方法，其特征在于，对所述光学图像进行图像增强包括：步骤
S221
：复制所述光学图像，得到第一备份光学图像及第二备份光学图像，所述第一备份光学图像与所述第二备份光学图像相同；步骤
S222
：使用灰度世界算法对所述第一备份光学图像进行带有颜色补偿的白平衡处理，对白平衡处理后的第一备份图像的亮部区域和暗部区域，进行区域直方图增强，得到处理后的第一备份图像；其中，亮部区域和暗部区域基于图像的预定亮度来确定，亮度高于所述预定亮度的区域为亮部区域，其余的区域为暗部区域；步骤
S223
：基于预先设置的区域图像方差阈值及信息熵阈值，将所述第二备份图像分为信息区和非信息区，对所述信息区使用双边滤波去噪，对所述非信息区使用非下采样轮廓波变换去噪，得到处理后的第二备份图像；步骤
S224
：对所述处理后的第一备份图像及所述处理后的第二备份图像使用显著图算法和滤波操作，得到所述第一备份图像及第二备份图像各自对应的融合权重；步骤
S225
：基于所述第一备份图像及第二备份图像各自对应的融合权重，对所述第一备份图像及第二备份图像进行多尺度融合，融合为一个融合图像；步骤
S226
：将所述融合图像输入图像分辨率逐级提升网络，生成第二光学图像；所述图像分辨率逐级提升网络包括依次相连的局部特征关联模块
、
多倍分辨率图像生成模块及图像分辨率逐级提升模块，所述局部特征关联模块由
Transformer
编码器构成，所述多倍分辨率图像生成模块由
GAN
网络构成，所述图像分辨率逐级提升模块由采样层
、
用于像素重组的神经网络层和卷积层构成
。
4.
如权利要求1所述的方法，其特征在于，对所述点云图进行三维重建来生成第二点云图包括：步骤
S231
：对拍摄光学图像的相机进行相机内参矩阵标定，将所述相机的图像坐标系进行多重转换，转换为世界坐标系，实现所述点云图
、
光学图像的空间配准；步骤
S232
：将所述点云图投影到二维
RGB
图像
、
深度图像和标签图像，使用卷积神经网络对所述二维
RGB
图像进行语义分割；将分割后的二维
RGB
图像投影为三维点云，实现所述点云图的语义分割；步骤
S233
：利用
3D
点云语义分割对不同的待标注对象中的目标进行上色
、
分割并赋予语义标签；步骤
S234
：将语义分割后的点云图作为三维重建的结果，即第二点云图
。5.
如...

【专利技术属性】
技术研发人员：张晓伟，董文涛，周未，肖涵，崔伟，林媛媛，张雪鑫，张士太，孔紫宁，陈桐，栾新瑞，董玉才，尹张铭佳，李震宇，
申请(专利权)人：中国电子科技集团公司第十五研究所，
类型：发明
国别省市：