面向真实场景的暗光图像增强去噪方法、系统和存储介质技术方案

本发明专利技术公开了一种面向真实场景的暗光图像增强去噪方法、系统和存储介质，方法包括以下步骤：步骤1、获取暗光图像，进行潜在子空间重构；步骤2、基于交叉通道

【技术实现步骤摘要】
面向真实场景的暗光图像增强去噪方法、系统和存储介质


[0001]本专利技术涉及图像处理方法领域，具体是一种面向真实场景的暗光图像增强去噪方法、系统和存储介质。

技术介绍

[0002]由于真实暗光场景下的可见度差，低光图像增强(LLIE)在低光环境下的许多任务中发挥着重要作用，例如目标检测、识别和分割。然而，在真实的弱光环境中，由于光线和传感器的干扰，图像通常包含很多噪声，这会导致表示不准确，现有的方法大多数低光照图像增强方法只考虑无噪声的弱光图像增强。因此，为了能够更好地处理真实场景下的暗光图像，结合暗光图像增强和去噪将是一个更好的解决方案。暗光图像增强旨在通过估计图像照度来获得正常光照图像，以提高在暗光环境中捕获更多的信息。尽管现有的暗光增强方法在LLIE的任务上取得了不错的表现，但它们仍然面临两个挑战。
[0003]近年来，一类最具代表性的暗光增强方法，基于Retinex理论的暗光增强方法，通过将暗光图像进行分解，得到光照图和反射图。该理论假设暗光图像和正常光照图像的反射图具有一致性，而图像的明暗程度只取决于光照图，因此该类方法主要是对光照图进行调整，从而对暗光图像进行复原。然而，当这一类方法面向真实场景的暗光图像时，图像中会包含比较多的噪音，大部分存在于反射图分量中，从而导致暗光图像和正常光照图像的反射图的一致性不成立，复原的图像往往受到较大的干扰，出现斑点模糊的情况。另一类暗光增强方法是端到端的增强网络，这一类方法大部分没有显式地考虑噪音的问题。少部分的方法考虑到了图像中包含的噪声，但这些方法往往处理的是数据的原始格式，即RAW格式的数据，其包含的噪音等干扰因素较少，有用信息较多，基于RAW数据所训练的网络无法很好的应用到RGB图像中，泛化性能较差。
[0004]因此，提供面向真实场景的暗光增强与去噪影像系统，实现真实场景下采集的暗光图像增强与去噪，同时提高图像泛化能力，改善暗光图像在其他任务上的性能，是本领域技术人员亟待解决的问题。

技术实现思路

[0005]本专利技术的目的是提供一种面向真实场景的暗光图像增强去噪方法、系统和存储介质，以解决现有技术中没有很好的考虑联合增强和去噪任务，从而导致泛化性能差的问题。
[0006]为了达到上述目的，本专利技术所采用的技术方案为：
[0007]面向真实场景的暗光图像增强去噪方法，包括以下步骤：
[0008]步骤1、获取真实场景下含噪声的暗光图像，对含噪声的暗光图像进行潜在子空间重构，得到重构后的图像；
[0009]步骤2、基于交叉通道
‑
窗口注意力机制对步骤1重构后的图像进行特征提取和修复，得到增强减噪的图像；
[0010]步骤3、采用复原神经网络，将步骤2得到的增强去噪图像输入至复原神经网络进
行特征提取和重构，得到正常光照的无噪声图像。
[0011]进一步的步骤1过程如下：
[0012]步骤1.1、利用卷积核大小为3
×
3的卷积f3×3，提取所述暗光图像的浅层特征F
shallow
∈R
c
×
h
×
w
，其中R为实数域，c为通道数，A是暗光图像的高度，w是暗光图像的宽度；
[0013]步骤1.2、将步骤1.1得到的浅层特征F
shallow
进行潜在子空间重构，通过矩阵分解方法获取过程可逆的低秩潜在表示特征F
Latent
，如以下公式所示：
[0014]F
shallow
＝f3×3(X)∈R
c
×
h
×
w
，
[0015][0016][0017]其中：X表示输入的暗光噪音图像；
[0018]表示数据向量；
[0019]U和V分别是用来进行特征重构的低秩表示矩阵，且低秩表示矩阵V可以看做是输入特征的维度为r的低维表示，并有U∈R
r
×
hw
，V∈R
r
×
c
，r表示矩阵的秩，矩阵的秩r＜＜hw；
[0020]Trans()是转置操作；
[0021]Reshape
T
()是矩阵转换操作，实现将二维矩阵转换为三维矩阵；
[0022]由此通过低秩表示矩阵U和V，获得与浅层特征F
shallow
维度一致的降噪的低秩潜在表示特征F
Latent
，进而得到重构后的图像。
[0023]进一步的步骤2过程如下：
[0024]步骤2.1、基于交叉通道
‑
窗口注意力机制，构建局部和全局信息复原的深层特征重构模块，用于挖掘步骤1重构后的潜在特征的深层信息，构建图像细化模块调整重构后的图像的细节信息，所述深层特征重构模块包括3个编码块、3解码块，每个编码，解码块分别各4层交叉通道窗口注意力层构成；所述图像细化模块由4层交叉通道窗口注意力层构成；
[0025]步骤2.2、通过深层特征重构模块复原输入的潜在特征F
latent
的局部和全局信息，具体过程如以下公式所示：
[0026]F
s
，F
c
＝Divide(F
Latent
)，
[0027]F
sout
＝Swin_Transformer(F
s
)，
[0028]F
cout
＝Crossed_Transformer(F
c
)，
[0029]F
out
＝Concat(F
sout
，F
cout
)，
[0030]其中：
[0031]Divide()表示通道分割操作，用于将输入的低秩潜在表示特征F
Latent
分解为特征F
s
∈R
m
×
h
×
w
和F
c
∈R
k
×
h
×
w
，m和k为通道数，并有c＝m+k；
[0032]Swin_Transformer()表示窗口注意力分支，用以获取更加准确的局部特征；
[0033]Crossed_Transformer()表示交叉通道注意力分支，用以捕获有助于全局亮度调整以及色差的全局结构；
[0034]F
sout
和F
cout
分别表示窗口注意力分支和交叉通道注意力分支的输出特征；；
[0035]Concat(F
sout
，F
cout
)表示将获取的特征F
sout
和F
cout
从通道维度连接起来，形成编码解码块的输出F
out
∈R
2c
×
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.面向真实场景的暗光图像增强去噪方法，其特征在于，包括以下步骤：步骤1、获取真实场景下含噪声的暗光图像，对含噪声的暗光图像进行潜在子空间重构，得到重构后的图像；步骤2、基于交叉通道
‑
窗口注意力机制对步骤1重构后的图像进行特征提取和修复，得到增强减噪的图像；步骤3、采用复原神经网络，将步骤2得到的增强去噪图像输入至复原神经网络进行特征提取和重构，得到正常光照的无噪声图像。2.根据权利要求1所述的面向真实场景的暗光图像增强去噪方法，其特征在于，步骤1过程如下：步骤1.1、利用卷积核大小为3
×
3的卷积f3×3，提取所述暗光图像的浅层特征F
shallow
∈R
c
×
h
×
w
，其中R为实数域，c为通道数，h是暗光图像的高度，w是暗光图像的宽度；步骤1.2、将步骤1.1得到的浅层特征F
shallow
进行潜在子空间重构，通过矩阵分解方法获取过程可逆的低秩潜在表示特征F
latent
，如以下公式所示：F
shallow
＝f3×3(X)∈R
c
×
h
×
w
，，其中：X表示输入的暗光噪音图像；表示数据向量；U和V分别是用来进行特征重构的低秩表示矩阵，且低秩表示矩阵V可以看做是输入特征的维度为r的低维表示，并有U∈R
r
×
hw
，V∈R
r
×
c
，r表示矩阵的秩，矩阵的秩r＜＜hw；Trans( )是转置操作；Reshape
T
()是矩阵转换操作，实现将二维矩阵转换为三维矩阵；由此通过低秩表示矩阵U和V，获得与浅层特征F
shallow
维度一致的降噪的低秩潜在表示特征F
Latent
，进而得到重构后的图像。3.根据权利要求2所述的面向真实场景的暗光图像增强去噪方法，其特征在于，步骤2过程如下：步骤2.1、基于交叉通道一窗口注意力机制，构建局部和全局信息复原的深层特征重构模块，用于挖掘步骤1重构后的潜在特征的深层信息，构建图像细化模块调整重构后的图像的细节信息，所述深层特征重构模块包括3个编码块、3解码块，每个编码，解码块分别各4层交叉通道窗口注意力层构成；所述图像细化模块由4层交叉通道窗口注意力层构成；步骤2.2、通过深层特征重构模块复原输入的潜在特征F
latent
的局部和全局信息，具体过程如以下公式所示：F
s
，F
c
＝Divide(F
Latent
)，F
sout
＝Swin_Transformer(F
s
)，F
cout
＝Crossed_Transformer(F
c
)，F
out
＝Concat(F
sout
，F
cout
)，其中：Divide()表示通道分割操作，用于将输入的低秩潜在表示特征F
Latent
...

【专利技术属性】
技术研发人员：张召，任加欢，洪日昌，汪萌，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：