【技术实现步骤摘要】
本专利技术涉及图像增强，更具体的说是涉及一种基于深度学习的水下图像增强方法及电子设备。
技术介绍
1、随着水下图像增强领域数据集的完善，目前已经提出了许多水下增强模型来应对水下图像中的颜色失真、低对比度和散射噪声等问题。虽然大多数基于学习的模型可以通过增加神经网络的深度和宽度来提高水下图像的视觉质量，但它们通常需要更多的存储空间以及更多的计算，这使得在计算资源有限的移动设备上部署这些水下增强模型变得具有挑战性。
2、现有的基于深度学习的快速水下图像增强方法主要通过减少计算量来提高推理速度，例如在每个阶段逐渐缩小特征图尺寸、减少通道维度和层数以及采用高计算效率的卷积等。然而，按照这些想法设计的模型不足以满足现代水下机器人实时处理高达4k的高分辨率图像的需要。实现快速水下图像增强时往往需要牺牲图像质量，为了在高增强质量和快速推理之间取得平衡，最近基于深度学习与归一化相结合的快速水下图像增强方法显示出更大的优势。而现有的增强鲁棒性的方法包括使用阈值检测调整归一化，以及使用轻量级注意力模块替换归一化边界值等。然而，这些方法中的归一化没有考虑不规则照明和其他因素造成的过亮/暗区域。这样的归一化操作会导致过度增强或增强不足，过多的注意力计算还会导致算法运行效率低下。虽然现有技术中许多深度学习的水下增强方法使用l1和l2损失来衡量真实值和增强结果之间的差距，但使用类似l1和l2这种像素级损失训练的模型普遍存在饱和度不足的问题。
3、综上，在现有技术中，基于深度学习的快速水下图像增强方法主要存在以下问题：
4
5、（2）目前快速的水下图像增强算法的增强图像质量效果不佳。
6、（3）目前使用归一化结合深度学习的下图像增强算法的鲁棒性不足并且改进的归一化方法运行效率较差。
7、（4）使用l1和l2这种像素级损失训练的水下图像增强模型普遍存在饱和度不足的问题。
8、因此，如何提供一种能够解决上述问题的基于深度学习的水下图像增强方法及电子设备，是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于深度学习的水下图像增强方法及电子设备，用于解决上述现有技术中存在的技术问题。
2、为了实现上述目的，本专利技术提供如下技术方案：
3、一种基于深度学习的水下图像增强方法，包括以下步骤：
4、获取水下图像增强数据集；
5、构建水下图像增强模型，利用所述水下图像增强数据集对所述水下图像增强模型进行训练并得到训练模型权重；
6、将所述训练模型权重使用高性能神经网络推理引擎tensorrt进行混合精度优化，得到优化后的水下图像增强模型；
7、将优化后的水下图像增强模型导入水下机器人中，并将水下机器人获取的水下图像输入到优化后的水下图像增强模型，得到经过增强的水下图像并输出。
8、优选的，所述水下图像增强模型包括以下四部分：
9、快速平均归一化模块、通道动态范围模块、pbp-d模块以及pbp-r模块，通过所述快速平均归一化模块、所述通道动态范围模块、所述pbp-d模块以及pbp-r模块完成数据预处理、特征提取和图像重构任务。
10、优选的，所述通道动态范围模块对通道进行归一化、放大、压缩操作，通过极端动态范围及补偿权重，调整或增强通道的信息。
11、优选的，所述pbp-d模块的结构包括：pixelunshuffle模块以及反瓶颈模块，其中，所述反瓶颈模块由两个卷积层组成；
12、输入图像首先经过pixelunshuffle模块进行pixelunshuffle操作，经过由两个卷积层组成的反瓶颈模块，对特征图进行激活，经反瓶颈模块处理过后的特征图经过pixelshuffle模块重新恢复为原输入的水下图像的尺寸，得到最终的输出结果。
13、优选的，所述pbp-d模块中的卷积层的卷积核尺寸均为1*1。
14、优选的，所述pbp-d模块中激活函数的表达式为：
15、；
16、式中，tanh（）表示使用tanh激活函数， | |表示取绝对值。
17、优选的，pbp-r模块的结构包括：pixelunshuffle模块以及反瓶颈模块，其中，所述反瓶颈模块由两个卷积层组成；
18、输入图像首先经过pixelunshuffle模块进行pixelunshuffle操作，经过由两个卷积层组成的反瓶颈模块，对特征图进行激活，经反瓶颈模块处理过后的特征图经过pixelshuffle模块重新恢复为原输入的水下图像的尺寸，得到最终的输出结果。
19、优选的，pbp-r模块的卷积层的卷积核尺寸均为3*3。
20、优选的，所述pbp-r模块中激活函数的表达式为：
21、；
22、式中，tanh（）表示使用tanh激活函数，max（0，tanh（））表示从tanh（）和0之间选择更大的值。
23、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现基于深度学习的水下图像增强方法。
24、经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于深度学习的水下图像增强方法及电子设备，不同于现有技术减少计算量提高速度的思路，我们根据以更多参数为代价，实现同一分辨率下更快的处理速度的思路，设计了一种轻量化结构。这种结构能提高并行计算效率，并实现卓越的推理速度。同时，本专利技术提出了使用平均池化来增强鲁棒性并加速归一化的方法。为了进一步改善质量，本专利技术在神经网络上增加了体现动态范围与增强质量相关性的权重。由于真实值和欠饱和图像之间的局部颜色分布存在显著差异，本专利技术提出了一种局部颜色分布敏感损用以减少这种差异来提高增强结果饱和度的准确性。具体有益效果为：
25、1.本专利技术可以在多种资源受限设备上完成对4k分辨率的水下图像进行实时增强的任务。
26、2.本专利技术提出的针对水下图像的归一化方法能够得到具有更到鲁棒性的增强结果。
27、3.使用经过调整的动态范围作为深度学习网络的权重能够提高增强的效果。
28、4.通过使用新的损失函数以及损失函数的组合进行训练可以得到饱和度更精确的增强结果。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的水下图像增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的水下图像增强方法，其特征在于，所述通道动态范围模块对通道进行归一化、放大、压缩操作，通过极端动态范围及补偿权重，调整或增强通道的信息。
3.根据权利要求1所述的一种基于深度学习的水下图像增强方法，其特征在于，所述PBP-D模块的结构包括：pixelunshuffle模块以及反瓶颈模块，其中，所述反瓶颈模块由两个卷积层组成；
4.根据权利要求3所述的一种基于深度学习的水下图像增强方法，其特征在于，所述PBP-D模块中的卷积层的卷积核尺寸均为1*1。
5.根据权利要求4所述的一种基于深度学习的水下图像增强方法，其特征在于，所述PBP-D模块中激活函数的表达式为：
6.根据权利要求1所述的一种基于深度学习的水下图像增强方法，其特征在于，PBP-R模块的结构包括：pixelunshuffle模块以及反瓶颈模块，其中，所述反瓶颈模块由两个卷积层组成；
7.根据权利要求6所述的一种基于深度学习的水下图像增强方法，
8.根据权利要求7所述的一种基于深度学习的水下图像增强方法，其特征在于，所述PBP-R模块中激活函数的表达式为：
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一所述的基于深度学习的水下图像增强方法。
...【技术特征摘要】
1.一种基于深度学习的水下图像增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的水下图像增强方法，其特征在于，所述通道动态范围模块对通道进行归一化、放大、压缩操作，通过极端动态范围及补偿权重，调整或增强通道的信息。
3.根据权利要求1所述的一种基于深度学习的水下图像增强方法，其特征在于，所述pbp-d模块的结构包括：pixelunshuffle模块以及反瓶颈模块，其中，所述反瓶颈模块由两个卷积层组成；
4.根据权利要求3所述的一种基于深度学习的水下图像增强方法，其特征在于，所述pbp-d模块中的卷积层的卷积核尺寸均为1*1。
5.根据权利要求4所述的一种基于深度学习的水下图像增强方法，其特征在于，所述pbp...
【专利技术属性】
技术研发人员：曹天宇，俞智斌，郑冰，
申请(专利权)人：中国海洋大学三亚海洋研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。