一种结合RGB和HSV颜色空间的水下图像增强方法技术

本发明专利技术公开了一种结合RGB和HSV颜色空间的水下图像增强方法，步骤是：对原始的彩色水下图像进行颜色校正；将颜色校正之后的水下图像使用最近邻插值法生成多尺度水下图像；将多尺度水下图像送入编码器，在RGB和HSV两个颜色空间中分别提取多尺度特征；对于在编码阶段提取出的多尺度特征，使用选择性内核特征融合模块对来自RGB和HSV两个颜色空间中的同一尺度的特征进行有选择性融合；将融合后的特征进行解码重建，从最小的尺度开始逐步重建水下图像，并最终得到增强的水下图像。本发明专利技术通过采用RGB和HSV结合的双颜色空间，将HSV颜色空间中的色调，饱和度等重要信息引入至算法中以增强算法的鲁棒性，提高了网络泛化性。提高了网络泛化性。提高了网络泛化性。

【技术实现步骤摘要】
一种结合RGB和HSV颜色空间的水下图像增强方法


[0001]本专利技术涉及图像处理
，具体的说是涉及一种结合RGB和HSV颜色空间的水下图像增强方法。

技术介绍

[0002]高质量清晰的水下图像是进行海洋勘探、监测等一系列水下任务的重要保障。然而，由于水下复杂的成像机制，水下图像往往受到不同程度的退化。首先，光线在水下和陆地上的衰减不同，水下光线的传播衰减受到波长影响。红光在可见光中波长最长，因此在传播过程中，红光最先消失，接着是橙光、绿光和蓝光。因此大多数水下图像呈现蓝绿色调。其次，水体中的悬浮颗粒会反射光线，当反射的光线到达相机时会产生散射效果。水下图像因光线的选择性衰减和散射问题会出现颜色失真、细节模糊、对比度不足等问题。
[0003]目前水下图像增强技术大体分为两类，一类是传统方法；一类是深度学习方法。基于物理模型的传统方法的核心思想是针对水下图像的退化过程建立物理模型，通过求得模型中的参数后反向推理图像退化过程，最终得到相应的增强图像。基于非物理模型的传统方法的核心思想是不考虑水下图像的成像模型，直接通过直方图拉伸或是线性变换等方法对图像中的像素进行调整，达到去除图像偏色和提高图像对比度的效果。传统方法依赖于先验知识，且参数的估计过程难于考虑到不同的水下场景，因此此类算法缺乏普适性。近年来，深度学习在图像增强领域大放异彩，使用深度学习方法增强水下图像更加灵活，更加具有普适性，更能适应多变的水下场景。
[0004]目前基于深度学习的水下图像增强方法大都着眼于单一的RGB颜色空间，往往会限制算法的增强性能。RGB颜色空间只包含基础的图像信息，缺失水下图像的颜色退化和对比度不足的相关信息。同时，训练深度学习算法需要大量的成对样本，目前单单使用深度学习算法来增强水下图像往往会引起泛化性不足的问题。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术存在的技术问题和不足，提供一种结合RGB和HSV颜色空间的水下图像增强方法。
[0006]本专利技术的方法通过采用RGB和HSV结合的双颜色空间，将HSV颜色空间中的色调，饱和度等重要信息引入至算法中以增强算法的鲁棒性。同时，为了弥补数据不足分布不均匀的问题，在数据送入深度学习网络之前对数据进行颜色校正以最大程度提高网络泛化性能。具体方法步骤是，首先平滑输入图像，接着采取多尺度输入模式，分别从RGB和HSV空间中提取信息，最终增强水下图像，纠正各类偏色问题，提高对比度。
[0007]为达到上述目的，本专利技术所采用的技术方案是：
[0008]一种结合RGB和HSV颜色空间的水下图像增强方法，包括以下步骤：
[0009]步骤一：对原始的彩色水下图像进行颜色校正；
[0010]步骤二：将颜色校正之后的水下图像使用最近邻插值法生成多尺度水下图像；
[0011]步骤三：将多尺度水下图像送入编码器，在RGB和HSV两个颜色空间中分别提取多尺度特征；
[0012]步骤四：将在编码阶段提取出的多尺度特征，使用选择性内核特征融合模块SKFF(selective kernel feature fusion module)对来自RGB和HSV两个颜色空间中的同一尺度的特征进行有选择性融合；
[0013]步骤五：将融合后的特征进行解码重建，从最小的尺度开始逐步重建水下图像，并最终得到增强的水下图像。
[0014]进一步优选，步骤一中，所述的对原始的彩色水下图像进行颜色校正的具体方法和步骤为：
[0015](1)将输入彩色水下图像X按通道维度分成红色、绿色和蓝色三个通道，依次记为X
red
，X
green
，X
blue
。并对三个通道分别求均值，求得的均值依次记为μ
r
，μ
g
，μ
b
。其中μ
r
＝mean(X
red
)，μ
g
＝mean(X
green
)，μ
b
＝mean(X
blue
)，mean()代表求均值函数，即其中M和N分别代表通道的宽度和高度，x
i,j
代表通道中坐标为(i,j)的像素值。
[0016](2)对求得的均值进行从小到大的排序，得到最小均值μ
low
，中位数均值μ
mid
，最大均值μ
high
。其中μ
low
,μ
mid
,μ
high
＝sort(μ
r
,μ
g
,μ
b
)，sort()代表排序函数。
[0017](3)对红色、绿色和蓝色三个通道的均值分别进行判断。对最小均值的通道中的每一个元素加上中位数均值和最小均值的数值差Δμ1，Δμ1＝μ
mid
‑
μ
low
；对最大均值通道中的每一个元素减去最大均值和中位数均值的数值差Δμ2，Δμ2＝μ
high
‑
μ
mid
。
[0018](4)合并红色、绿色和蓝色三个通道得到颜色校正后的水下图像，操作如下：Z＝concat(X
red
,X
green
,X
blue
)，其中Z代表经过颜色校正的水下图像，concat()代表按通道维度将红色、绿色和蓝色通道合并成彩色图像。
[0019]进一步优选，步骤二中，所述的使用最近邻插值法生成多尺度水下图像的具体方法为：
[0020]scale_2＝interpolate(input＝scale_1,scale_factor＝0.5,mode＝'nearest')
[0021]scale_4＝interpolate(input＝scale_1,scale_factor＝0.25,mode＝'nearest')
[0022]其中，interpolate()代表插值函数，它接受三个参数，分别是输入图像intput，缩放系数scale_factor，和缩放模式mode。scale_1代表输入图像，即原始尺寸；scale_2代表原始尺寸图像的2倍下采样图像；scale_4代表原始尺寸图像的4倍下采样图像。
[0023]进一步优选，步骤三中，所述的将多尺度水下图像送入编码器，在RGB和HSV两个颜色空间中分别提取多尺度特征的具体方法为：
[0024](1)首先使用3
×
3卷积操作提取RGB颜色空间的水下图像尺度为scale_1的特征，之后送入由残差卷积构成的编码块中得到原始尺度的提取特征rgb_encoded_1；
[0025](2)为了稳定网络梯度，首先使用浅层卷积模块SCM(shallow convolutional module)提取RGB颜色空间的scale_2尺度的水下图像得到浅层特征rgb_本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合RGB和HSV颜色空间的水下图像增强方法，其特征在于，包括以下步骤：步骤一：对原始的彩色水下图像进行颜色校正；步骤二：将颜色校正之后的水下图像使用最近邻插值法生成多尺度水下图像；步骤三：将多尺度水下图像送入编码器，在RGB和HSV两个颜色空间中分别提取多尺度特征；步骤四将在编码阶段提取出的多尺度特征，使用选择性内核特征融合模块SKFF对来自RGB和HSV两个颜色空间中的同一尺度的特征进行有选择性融合；步骤五：将融合后的特征进行解码重建，从最小的尺度开始逐步重建水下图像，并最终得到增强的水下图像。2.根据权利要求1所述的一种结合RGB和HSV颜色空间的水下图像增强方法，其特征在于，步骤一中，所述对原始的彩色水下图像进行颜色校正的具体内容和方法步骤是：(1)将输入彩色水下图像X按通道维度分成红色、绿色和蓝色三个通道，分别依次记为X
red
，X
green
，X
blue
；并对三个通道分别求均值，求得的均值依次记为μ
r
，μ
g
，μ
b
；其中μ
r
＝mean(X
red
)，μ
g
＝mean(X
green
)，μ
b
＝mean(X
blue
)，mean()代表求均值函数，即其中M和N分别代表通道的宽度和高度，x
i,j
代表通道中坐标为(i,j)的像素值；(2)对求得的均值进行从小到大的排序，得到最小均值μ
low
，中位数均值μ
mid
，最大均值μ
high
；其中μ
low
,μ
mid
,μ
high
＝sort(μ
r
,μ
g
,μ
b
)，sort()代表排序函数；(3)对红色、绿色和蓝色三个通道的均值分别进行判断；对最小均值的通道中的每一个元素加上中位数均值和最小均值的数值差Δμ1，Δμ1＝μ
mid
‑
μ
low
；对最大均值通道中的每一个元素减去最大均值和中位数均值的数值差Δμ2，Δμ2＝μ
high
‑
μ
mid
；(4)合并红色、绿色和蓝色三个通道得到颜色校正后的水下图像，操作如下：Z＝concat(X
red
,X
green
,X
blue
)，其中Z代表经过颜色校正的水下图像，concat()代表按通道维度将红色、绿色和蓝色通道合并成彩色图像。3.根据权利要求1所述的一种结合RGB和HSV颜色空间的水下图像增强方法，其特征在于，步骤二中，所述使用最近邻插值法生成多尺度水下图像的具体内容和方法步骤是：scale_2＝interpolate(input＝scale_1,scale_factor＝0.5,mode＝'nearest')scale_4＝interpolate(input＝scale_1,scale_factor＝0.25,mode＝'nearest')其中，interpolate()代表插值函数，它接受三个参数，分别是输入图像intput，缩放系数scale_factor，和缩放模式；mode scale_1代表输入图像，即原始尺寸；scale_2代表原始尺寸图像的2倍下采样图像；scale_4代表原始尺寸图像的4倍下采样图像。4.根据权利要...

【专利技术属性】
技术研发人员：刘楚凡，束鑫，潘磊，史金龙，韩斌，范燕，华伟，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：