【技术实现步骤摘要】
本专利技术涉及水下图像增强，尤其涉及一种基于深度展开网络的retinex变分水下图像增强方法和装置。
技术介绍
1、由于水下环境的复杂物理特性，很容易导致水下成像设备获取到能见度低且颜色失真的水下降质图像。根据水下光学成像机理，其中水下成像设备所捕获的光量主要由三个分量构成: 直接分量(由物体反射且未被散射的光)，前向散射分量(物体反射且被小角度散射的光)，后向散射分量(非目标物体反射的光，而是漂浮颗粒等反射的光)。 其中，获取的水下图像被认为是这三个部分量的线性组合。前向散射分量容易产生模糊的图像结构，而后向散射分量则掩盖图像边及细节。同时，不同波长的光在水中以不同的速率进行衰减，红光具有最长的波长或最小的能量，其最先消失，然而蓝光则具有相对短的波长或相对大的能量，呈现相反的情况，这一特性导致获取的水下图像通常呈现出蓝色调。
2、现有水下图像增强方法需要对水下图像的反射率分量和光照分量分别进行手工设计的稀疏先验建模，而这种先验约束求解非常耗时；同时，在实际复杂的水下环境中很难对反射率分量和光照分量进行准确先验建模，直接影响到水下图像的细节与结构的增强性能。
技术实现思路
1、本专利技术提供了一种基于深度展开网络的retinex变分水下图像增强方法和装置，用以解决现有技术存在的问题，本专利技术提供的技术方案如下：
2、一方面，提供了一种基于深度展开网络的retinex变分水下图像增强方法，所述方法包括：
3、s1、输入水下降质图像；
5、s3、根据retinex理论，将颜色修正后的水下图像的hsv颜色空间的亮度通道分解成反射率分量和光照分量，然后采用深度展开网络学习反射率分量和光照分量的各自图像先验及一阶梯度先验，并通过交替迭代优化的网络展开方法得到反射率分量和光照分量的增强结果；
6、s4、利用伽马修正方法，修正光照分量的增强结果；
7、s5、将反射率分量的增强结果和伽马修正后的光照分量进行图像像素的逐点相乘，得到增强后的亮度通道，合并增强后的亮度通道、hsv颜色空间的色度通道和饱和度通道得到合并后的图像，再把合并后的图像从hsv空间转换到rgb空间，得到并输出最终的水下增强图像。
8、可选地，所述s2的利用颜色白平衡方法，对所述水下降质图像进行颜色修正，具体包括：
9、s21、计算所述水下降质图像的rgb颜色空间中每个颜色通道的平均值：
10、（1）
11、（2）
12、（3）
13、其中，下标符号{r, g, b}是指颜色通道，r是红通道、g是绿通道、b是蓝通道，i为输入的水下降质图像，包含红通道ir、绿通道ig和蓝通道ib， iavg为颜色通道平均后的水下图像，包含红通道、绿通道和蓝通道，i是指图像像素的当前行坐标，j是指图像像素的当前列坐标，，，m是指输入水下降质图像i像素的行坐标的范围，n是指输入水下降质图像i像素的列坐标的范围；
14、s22、计算相应增益系数来增强红通道和绿通道，具体计算过程如下：
15、（4）
16、（5）
17、其中，为红通道ir的增强后图像，为绿通道ig的增强后图像；
18、s23、将增强的水下图像从rgb颜色空间转换到hsv颜色空间，所述hsv颜色空间包括亮度通道、饱和度通道和色度通道，分别对hsv颜色空间的亮度通道和饱和度通道，进行归一化处理计算：
19、（6）
20、（7）
21、其中，vin为hsv颜色空间的亮度通道，sin为hsv颜色空间的饱和度通道，vmax为vin的最大值，vmin为vin的最小值，smax为sin的最大值，smin为sin的最小值。
22、可选地，所述s3，具体包括：
23、建立一种基于深度展开网络的retinex变分增强模型，其目标函数表示为：
24、（8）
25、其中，为数据保真项，利用l2范数约束待求解的光照分量l与反射率分量r的乘积和亮度通道v保持一致，为图像的像素点乘运算，和是反射率分量r的正则化项，分别表示反射率分量的图像先验和一阶梯度先验；而和是光照分量l的正则化项，分别表示光照分量的图像先验和一阶梯度先验，是一阶梯度算子，包括水平方向和垂直方向的一阶差分运算，、、和都是隐式先验函数，无需提前设置各自具体的显式表示形式，并通过深度展开网络学习，均为权重参数，由深度展开网络学习迭代更新；
26、分开处理数据保真项和正则化项，采用变量分裂方法来解耦数据保真项和正则化项，引入四个辅助变量q、 p、 t和j分别来近似r、 l、和, 将公式(8)转变为对应的增广拉格朗日函数：
27、 （9）
28、其中，为平衡权重参数，q、 p、 t和j分别是r、 l、和的各自近似辅助变量，通过交替迭代优化的网络展开方法求解公式(9)。
29、可选地，所述通过交替迭代优化的网络展开方法求解公式(9)，具体包括：
30、1)固定当前的反射率分量r和光照分量l，求解四个辅助变量 q、p、t、j 的目标函数分别为：
31、（10）
32、（11）
33、（12）
34、（13）
35、其中，rk、lk、、分别为r、l、、的第k次迭代结果，通过深度展开网络的展开模块求解四个辅助变量，在三次迭代内更新相应变量，包括：
36、将迭代更新步骤映射到深度神经网络架构中，展开为三个阶段，每个阶段对应一次迭代，由深度展开网络的一个展开模块完成，四个辅助变量q、p、t、j以交替方式进行如下更新：
37、（14）
38、（15）
39、（16）
40、（17）
41、其中，qk+1、pk+1、tk+1和jk+1分别是q、p、t和j的第k+1次迭代结果，均是深度卷积神经网络，{ rk, lk,, }作为深度卷积神经网络的输入变量，{ ，，， }表示可学习网络参数，通过设计第一深度卷积神经网络，从训练数据中学习辅助变量的隐式先验知识；
42、2）固定当前的上述四个辅助变量 q、p、t、j，求解反射率分量r和光照分量l的目标函数分别为：
43、（18）
44、（19）
45、其中，下标符号k是第k次迭代的次数，k+1是第k+1次迭代的次数，lk是l的第k次迭代结果，qk+1、tk+1、rk+1、pk+1、jk+1分别是q、t、r、p、j的第k+1次迭代结果，公式(18)和(19)中的除法都是图像像素之间的点除运算，通过深度展开网络的展开模块求解r和l，将迭代更新步骤映射到深度神经网络架构中，展开为三个阶段，每个阶段对应一次迭代，由深度展开网络的一个展开模块完成，两个变量r和l进行交替更新如下：
本文档来自技高网...【技术保护点】
1.一种基于深度展开网络的Retinex变分水下图像增强方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述S2的利用颜色白平衡方法，对所述水下降质图像进行颜色修正，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述S3，具体包括：
4.根据权利要求3所述的方法，其特征在于，所述通过交替迭代优化的网络展开方法求解公式（9），具体包括：
5.根据权利要求4所述的方法，其特征在于，所述深度展开网络将基于Retinex变分模型的水下图像增强问题转变为可学习网络的优化展开问题，通过深度卷积神经网络以数据驱动方式自适应地拟合反射率分量和光照分量的图像先验及一阶梯度先验，训练方式为端到端网络的全参数训练方式，所述深度展开网络包括多个展开模块，每个展开模块进行各个求解变量的一次迭代更新，每个展开模块包括多个深度卷积神经网络，从训练数据中学习各个求解变量的隐式先验知识。
6.根据权利要求4所述的方法，其特征在于，所述第一深度卷积神经网络包括4个卷积层和1个ReLU激活层；所述第二深度卷积神经网络包括5
7.根据权利要求1所述的方法，其特征在于，所述S4，具体包括：
8.一种基于深度展开网络的Retinex变分水下图像增强装置，其特征在于，所述装置包括：
9.一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有指令，其特征在于，所述指令由所述处理器加载并执行以实现如权利要求1-7任一项所述基于深度展开网络的Retinex变分水下图像增强方法。
10.一种计算机可读存储介质，所述存储介质中存储有指令，其特征在于，所述指令由处理器加载并执行以实现如权利要求1-7任一项所述基于深度展开网络的Retinex变分水下图像增强方法。
...【技术特征摘要】
1.一种基于深度展开网络的retinex变分水下图像增强方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述s2的利用颜色白平衡方法，对所述水下降质图像进行颜色修正，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述s3，具体包括：
4.根据权利要求3所述的方法，其特征在于，所述通过交替迭代优化的网络展开方法求解公式（9），具体包括：
5.根据权利要求4所述的方法，其特征在于，所述深度展开网络将基于retinex变分模型的水下图像增强问题转变为可学习网络的优化展开问题，通过深度卷积神经网络以数据驱动方式自适应地拟合反射率分量和光照分量的图像先验及一阶梯度先验，训练方式为端到端网络的全参数训练方式，所述深度展开网络包括多个展开模块，每个展开模块进行各个求解变量的一次迭代更新，每个展开模块包括多个深度卷积神经网络，从...
【专利技术属性】
技术研发人员：庄培显，李江昀，张天翔，王宏，张新恒，童俊杰，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。