基于光线增强像素融合网络的水下图像增强方法技术

本发明专利技术涉及一种基于光线增强像素融合网络的水下图像增强方法。该方法首先提出了一种光线增强块（LEB），它能无参考地增强图像色彩以突破传统深度学习方法的色彩局限性；然后，提出了一种像素融合子网络（PF SubNet），它可以在特征融合前提供自适应特征权重功能，提升了模型的模型对图像雾化和高频区域的复原能力。大量的实验证实了本发明专利技术方法相对于现有方法的优越性。法的优越性。法的优越性。

【技术实现步骤摘要】
基于光线增强像素融合网络的水下图像增强方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于光线增强像素融合网络的水下图像增强方法。

技术介绍

[0002]深度学习是一种数据驱动方法，该方法可以避免各种先验参数的选取，其具有代表性之一的卷积神经网络(CNN)具有强大的特征提取能力，因此，许多学者提出了各种基于CNN的水下图像增强方法，这些方法的核心思想是成对地学习水下与清晰图像的映射关系。然而，传统深度学习方法存在一个局限性，即增强后的清晰图像只能近似参考图像。

技术实现思路

[0003]本专利技术的目的在于突破传统深度学习方法的图像色彩局限性，提供一种基于光线增强像素融合网络的水下图像增强方法。
[0004]为实现上述目的，本专利技术的技术方案是：一种基于光线增强像素融合网络的水下图像增强方法，首先，提出一种光线增强块，负责从原始图像中学习并获取特征映射图，并修复增强图像的色偏；然后，提出一种像素融合子网络，提供自适应特征权重功能，并通过不同阶段特征映射图的融合来提升模型的感受野。
[0005]相较于现有技术，本专利技术具有以下有益效果：本专利技术方法为了突破传统深度学习方法的图像色彩局限性，提出了一种基于残差块与光线增强曲线的光线增强块，其包含的光线增强曲线是首次应用于水下图像处理任务。为了增强对图像雾化和高频区域的复原能力，还提出了一种基于像素注意机制和特征融合思想的像素融合子网络，其可在特征融合前提供自适应特征权重功能，使模型着重关注图像雾化和高频区域信息。本专利技术方法的性能优于已有的大部分水下图像增强方法。此外，本专利技术方法不仅在视觉效果方面超过图像增强领域中标志性数据集UIEB[3]所提供的参考图像，还在多个无参考图像质量评估算法中均超过UIEB[3]数据集所提供的参考图像，例如，熵(Entropy)、盲图像质量指标(BIQI)[5]、自然性图像质量评价器(NIQE)[6]、平均梯度(AG)和JPEG压缩图像的NR质量测量算法(JPEG)[7]。
附图说明
[0006]图1为本专利技术网络模型架构。
[0007]图2为光线增强块(LEB)的模型结构，它由残差块和光线增强曲线(LE
‑
Curve)[1]构成，前者由两个卷积块、实例归一化层以及ReLU激活函数构成，其以编码器的输出为输入来构建初始特征映射图为输出，后者由两个卷积块和一个ReLU激活函数构成，其以原始图像为输入来学习曲线参数映射为输出。
[0008]图3为曲线参数映射的示例。其中(a)和(c)分别表示输入图像和清晰图像，(b)表示像素级曲线参数映射其取值的大小决定了该像素所需曝光的程度大小。
[0009]图4为有/无跳跃连接的Loss、PSNR和SSIM曲线图，其中橙色表示非跳跃连接，蓝色表示跳跃连接。
[0010]图5为像素注意图和通道注意图的例子，(a)表示一个背景具有大量且密集的偏蓝色像素点的水下图像，(b)表示其像素注意图，(c)表示每个像素的通道注意权重图，其取值越大则其受关注程度越大。
[0011]图6为NYU
‑
v2RGB测试集的定性比较结果。
[0012]图7为对UIEB测试集的定性比较。
[0013]图8为表6进行0～5范围的归一化结果，橙色区域面积越大越好。
[0014]图9为YOLO
‑
V4[14]检测结果，上面一行为原始图像的结果，下面一行为本专利技术的结果。
[0015]图10为SIFT特征匹配[15]的结果，上面一行为原始图像的结果，下面一行为本专利技术的结果。
[0016]图11为显著性检测[16]结果，上面一行为原始图像的结果，下面一行为本专利技术的结果。
[0017]图12为Canny边缘检测[17]结果，上面一行为原始图像的结果，下面一行为本专利技术的结果。
具体实施方式
[0018]下面结合附图，对本专利技术的技术方案进行具体说明。
[0019]本专利技术一种基于光线增强像素融合网络的水下图像增强方法，首先，提出一种光线增强块，负责从原始图像中学习并获取特征映射图，并修复增强图像的色偏；然后，提出一种像素融合子网络，提供自适应特征权重功能，并通过不同阶段特征映射图的融合来提升模型的感受野。
[0020]以下为本专利技术具体实现过程。
[0021]1、方法概述
[0022]本专利技术方法的网络架构如图1所示。其处理流程如下：首先利用编码器对输入图像进行特征提取以构建初始特征映射图；其次迭代光线增强块(LEB)来学习特征映射图以及光线增强曲线(LE
‑
Curve)[1]所需要的曲线参数映射其中的曲线参数映射会输入到照明平滑度损失函数[2]中，以保证增强后的图像不会出现相邻像素值差异过大的问题；然后应用像素融合子网络(PF
‑
SubNet)来自适应融合不同级别特征映射图，以获取组合特征映射图。最后采用解码器解析组合特征映射图来获得清晰图像。
[0023]2、光线增强块
[0024]如图2所示，本文提出的LEB由残差块(Residual Block)和光线增强曲线(LE
‑
Curve)[1]构成。前者用来学习成对的退化与清晰水下图像的映射关系，后者用来修复增强后清晰图像存在的色偏。值得注意的是，残差块的输入是编码器构建的初始特征映射图，光线增强曲线(LE
‑
Curve)[1]的输入则是原始水下图像。其中的光线增强曲线(LE
‑
Curve)[1]是一种单参数且可微的像素级高阶曲线，它可用如下公式表示：
[0025][0026]其中x表示像素坐标，是需要学习的曲线参数映射，n为迭代次数，它控制着曲线
的曲率，当n为1时，公式1会退化为双参数形式。如下所示：
[0027]LE(I(x)；α)＝I(x)+αI(x)(1
‑
I(x))
ꢀꢀꢀ
(2)
[0028]其中I(x)表示输入水下图像，α∈[
‑
1,1]为曲线参数，它用于控制曲线大小和曝光程度。为了更好的理解曲线参数映射我们在图3中给出了一个曲线参数映射的例子。图3(b)准确地显示了不同区域的取值变化，通过像素级曲线映射后获得的清晰图像如图3(c)所示，从图3(c)可以观察到，该方法在一定程度上提高了图像的视觉效果。值得注意的是，光线增强曲线(LE
‑
Curve)[1]的单参数形式可以降低计算成本并提升计算速度，可微性使得其可用卷积神经网络来学习曲线的可调参数，并保证网络顺利的进行反向传播。像素级意味着每个像素都有一条光线增强曲线，高阶曲线表示其可以通过多次迭代来获得更好的性能，因此，本专利技术算法设置迭代次数为7。由于迭代次数的增加会加大模型的训练难度，为了优化这一情况，我们在7个光线增强块(LEB)中引入了跳跃连接。图4展示了损失函数(Loss)、峰值信噪比(PSNR)和结构相似度指数(SSIM)曲线在具备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光线增强像素融合网络的水下图像增强方法，其特征在于，首先，提出一种光线增强块，负责从原始图像中学习并获取特征映射图，并修复增强图像的色偏；然后，提出一种像素融合子网络，提供自适应特征权重功能，并通过不同阶段特征映射图的融合来提升模型的感受野。2.根据权利要求1所述的基于光线增强像素融合网络的水下图像增强方法，其特征在于，输入水下图像需先利用编码器进行特征提取以构建初始特征映射图，而后输入光线增强块；像素融合子网络输出的组合特征映射图，需采用解码器解析来获得清晰图像。3.根据权利要求2所述的基于光线增强像素融合网络的水下图像增强方法，其特征在于，所述光线增强块由残差块和光线增强曲线构成，残差块的输入是编码器构建的初始特征映射图，光线增强曲线的输入是输入水下图像。4.根据权利要求3所述的基于光线增强像素融合网络的水下图像增强方法，其特征在于，所述光线增强曲线是一种单参数且可微的像素级高阶曲线，当阶数大于等于2时，用如下公式表示：其中下标n表示阶数，x表示像素坐标，LE
n
(x)表示当前阶数的光线增强曲线，LE
n
‑1(x)表示上一阶的光线增强曲线，是当前阶数所需学习的曲线参数映射，它控制着曲线的曲率，当阶数n为1时，公式(1)会退化为双参数形式，如下所示：LE(I(x)；α)＝I(x)+αI(x)(1
‑
I(x))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中I(x)表示输入水下图像，α∈[
‑
1,1]为曲线参数，它用于控制曲线大小和曝光程度。5.根据权利要求1所述的基于光线增强像素融合网络的水下图像增强方法，其特征在于，所述像素融合子网络处理流程分为两个阶段：第一阶段是使用像素...

【专利技术属性】
技术研发人员：颜佳泉，王一键，王传胜，李佐勇，冯慧斌，
申请(专利权)人：闽江学院，
类型：发明
国别省市：