一种轻量级卷积网络的水下图像增强的方法技术

本发明专利技术涉及一种轻量级卷积网络的水下图像增强的方法，基于传统的白平衡算法在神经网络中引入了可训练白平衡模块，平衡了RGB三通道的颜色强度，可以平衡颜色通道。针对对比度低的问题，本发明专利技术又基于传统的直方图拉伸算法引入了多空间可训练直方图拉伸模块，在RGB，Lab，HSI三个空间，并将该模块扩展到了多颜色空间并行运行，可以提升图像对比度。除此以外还引入了残差增强模块，恢复图像细节。相较于当前的SOTA模型取得了最好的增强效果。参数量减少了超过98％。极大降低了图像增强时间，可以用来增强高分辨率图像和水下视频。以用来增强高分辨率图像和水下视频。以用来增强高分辨率图像和水下视频。

【技术实现步骤摘要】
一种轻量级卷积网络的水下图像增强的方法


[0001]本专利技术属于图像处理领域，涉及一种轻量级卷积网络的水下图像增强的方法，适用于水下环境的图像和视频增强。

技术介绍

[0002]目前，水下增强技术大致可分为两类：传统算法和基于深度学习的模型算法。
[0003]传统算法又可以分为基于物理模型的算法和基于非物理模型的算法。其中基于物理模型的算法主要通过引入先验来对水下物理图像模型进行参数估计，代表的先验方法包括红色通道先验(Red Channel Prior)，水下暗通道先验(Underwater Dark Channel Prior)，水下光衰减先验(Underwater Light Attenuation Prior)等等。基于非物理模型的方法通过调整图像像素值来提高图像质量，代表方法包括无监督颜色校正方法(Unsupervised Colour Correction Method)基于自适应参数采集的全局直方图拉伸的图像增强方法(Relative Global Histogram Stretching Based on Adaptive Parameter Acquisition)。但是无论是基于物理模型算法引入的物理先验还是基于非物理模型算法采用的像素调整策略，这些算法的适用范围都较窄，难以适用于各种各样的水下环境。
[0004]因此随着深度学习网络在图像处理领域的快速发展，许多强大的针对水下图像增强的模型诞生了。比如基于卷积神经网络(Convolutional Neural Networks，CNN)的Waternet，Ucolor，UWCNN模型，还有基于生成式对抗网络(Generative Adversarial Networks，GAN)的FUnIE
‑
GAN，UWGAN模型。这些模型得益于神经网络的强大的学习能力，可以将图像增强到非常高质量的水准。然而这些方法大多参考应用于其他视觉任务的模型构架，忽视了水下增强传统算法的先验知识，导致模型含有成千上万的参数，导致需要过长的训练时间和处理图片时间，并且在小数据集上容易过拟合。
[0005]与地面图像相比，水下图像受到光的散射和吸收的影响，影响了图像处理的可靠性和质量。水下图像主要有对比度低和颜色失衡问题。针对颜色失衡的问题，本专利技术基于深度学习的方法，通过引入了传统算法先验，图像增强效果超过了state
‑
of
‑
the
‑
art(SOTA)模型，且相较于现有的SOTA模型，参数量降低了超过98％。

技术实现思路

[0006]要解决的技术问题
[0007]为了避免现有技术的不足之处，本专利技术提出一种轻量级卷积网络的水下图像增强的方法，引入了可训练白平衡模块，平衡了RGB三通道的颜色强度。针对对比度低的问题，本专利技术引入了多空间可训练直方图拉伸模块，在RGB，Lab，HSI三个空间并行增加图像对比度。除此以外还引入了残差增强模块，恢复图像细节。
[0008]技术方案
[0009]一种轻量级卷积网络的水下图像增强的方法，其特征在于步骤如下：
[0010]步骤1：可训练白平衡模块
[0011]步骤a1：计算原始图像RGB三个通道的均值和最大值
[0012]步骤a2：再将原始图像复制成两份，使用卷积层处理，然后分别融合M
C
和A
C
的值，得到两张依照不同参考值平衡后的图片；
[0013]步骤a3：对两张图片进行特征融合，特征融合的步骤为对两张平衡后的图片分别进行卷积层处理，然后逐像素相加；
[0014]步骤a4：将原始图像输入残差增强模块得到的增强图像，再与步骤a3得到的图片逐像素相加；
[0015]所述残差增强模块包含一个卷积层和一个激活函数；
[0016]步骤2：可训练直方图拉伸模块
[0017]步骤b1：将图片分别转换到HSI和Lab空间中；
[0018]步骤b2：在RGB，HSI和Lab空间中进行可训练直方图拉伸；
[0019]步骤b3：将HSI和Lab上的图片转换回到RGB颜色空间，得到三张增强后的图片；
[0020]步骤b4：对三张图片进行特征融合，特征融合的步骤为对三张拉伸后的图片分别进行卷积层处理，然后逐像素相加；
[0021]步骤3：将步骤a4得到的图片经过残差增强模块和步骤b4得到的图片逐像素相加，使得轻量级卷积网络的水下图像得到增强。
[0022]所述可训练白平衡模块和可训练直方图拉伸模块的训练采用UIEB数据集。
[0023]所述训练时batchsize设置为16，epoch设置为200，优化算法为Adam，学习率为1e
‑
3。
[0024]所述UIEB数据集包含890对数据集，其中训练集800对，测试集90对。在训练集上训练模型参数。
[0025]有益效果
[0026]本专利技术提出的一种轻量级卷积网络的水下图像增强的方法，基于传统的白平衡算法在神经网络中引入了可训练白平衡模块，平衡了RGB三通道的颜色强度，可以平衡颜色通道。针对对比度低的问题，本专利技术又基于传统的直方图拉伸算法引入了多空间可训练直方图拉伸模块，在RGB，Lab，HSI三个空间，并将该模块扩展到了多颜色空间并行运行，可以提升图像对比度。除此以外还引入了残差增强模块，恢复图像细节。
[0027]现在主流的水下增强模型均是基于深度学习模型的，但是这些模型往往具有过大的参数量，导致训练时间长，难以拟合，并且不利于水下视频的实时增强处理和高分辨率的水下图像增强。本专利技术因为引入了白平衡和直方图拉伸的传统算法先验，因此只需要较少的参数就可以取得较好的结果。如表1所示，本专利技术相比于其他SOTA深度学习算法，参数量减少了98％以上，每秒浮点数运算次数减少了93％以上。因此，本专利技术极大地提高了图片增强速度，降低了设备的显存需求，可以处理高分辨率水下图像。
[0028]现在主流的水下增强模型均是基于深度学习模型的，但是这些模型往往具有过大的参数量，导致训练时间长，难以拟合，并且不利于水下视频的实时增强处理和高分辨率的水下图像增强。本专利技术因为引入了白平衡和直方图拉伸的传统算法先验，因此只需要较少的参数就可以取得较好的结果。如表1所示，本专利技术相比于其他SOTA深度学习算法，参数量减少了98％以上，每秒浮点数运算次数减少了93％以上。因此，本专利技术极大地提高了图片增强速度，降低了设备的显存需求，可以处理高分辨率水下图像。
[0029]表1
[0030] 参数量(parameters)每秒浮点数运算次数(GFLOPs)本专利技术0.001M0.05waternet1.09M142.91UWCNN0.04M0.79FUnIE
‑
GAN7.02M0.73Ucolor148.77M2805.34
[0031]本专利技术提出了一种轻量级卷积网络的水下图像增强的方法，有益效果体现在：...

【技术保护点】

【技术特征摘要】
1.一种轻量级卷积网络的水下图像增强的方法，其特征在于步骤如下：步骤1：可训练白平衡模块步骤a1：计算原始图像RGB三个通道的均值和最大值步骤a2：再将原始图像复制成两份，使用卷积层处理，然后分别融合M
C
和A
C
的值，得到两张依照不同参考值平衡后的图片；步骤a3：对两张图片进行特征融合，特征融合的步骤为对两张平衡后的图片分别进行卷积层处理，然后逐像素相加；步骤a4：将原始图像输入残差增强模块得到的增强图像，再与步骤a3得到的图片逐像素相加；所述残差增强模块包含一个卷积层和一个激活函数；步骤2：可训练直方图拉伸模块步骤b1：将图片分别转换到HSI和Lab空间中；步骤b2：在RGB，HSI和Lab空间中进行可训练直方图拉伸；步骤b3：将HSI和Lab上的图片转换回到RGB颜色空间，得到三张...

【专利技术属性】
技术研发人员：韩一娜，肖自远，马远良，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：