一种考虑真实噪声和伪影的微光图像增强方法及装置制造方法及图纸

本发明专利技术公开一种考虑真实噪声和伪影的微光图像增强方法及装置

【技术实现步骤摘要】
一种考虑真实噪声和伪影的微光图像增强方法及装置


[0001]本专利技术属于低照度图像增强
，具体涉及一种考虑真实噪声和伪影的微光图像增强方法及装置
。

技术介绍

[0002]随着相机设备技术的不断发展，在低照度环境下拍摄图像的需求大量增加，包括视觉监控，自动驾驶和计算摄影等领域
。
然而由于光照不足与传感器尺寸限制，微光图像质量的往往很糟糕，充满了嘈杂的噪声和伪影
。
现有的方法尽管在一定程度可以增强微光图像，但在真实微光条件下泛化性较差，增强后的图像往往出现亮部区域过曝和放大暗部区域噪声的问题，出现伪影和损失原有的细节和纹理，从而影响了后续的视觉应用
。
因此，在拍摄微光图像时，通过技术手段对微光图像进行增强是极其必要的
。
[0003]现有的微光图像增强深度学习技术主要有以下几种：
(1)Retinex
‑
Net
通过先验知识和正则化将低照度图像分解为反射率和照度，再分别增强得到最后的增强结果，这种简单的模型往往导致不现实的增强结果而且忽略了微光图像的噪声问题
。(2)KindD
方法使用了
U
‑
Net
网络对反射率分量进行了去噪处理，虽然有较好的增强效果，但是产生过度锐化和伪影问题
。(3)URetinex
‑
Net
提出展开网络以数据驱动的方式自适应拟合隐式先验，实现对噪声的抑制和细节保留，然而其在真实的环境下泛化性较差，往往出现对图像亮部区域过曝的情况
。

技术实现思路

[0004]本专利技术的目的是针对现有技术的不足，提供一种考虑真实噪声和伪影的微光图像增强方法，旨在解决微光图像在增强过程中出现的过曝和噪声问题
。
而为解决这一问题，本专利技术提出的方法受
Retinex
理论的启发，将图像分解为两个分量，遵循分而治之的原则，一个部分负责改善光照条件，另一个部分负责消除图像退化问题
。
其中提出的神经网络模型能有效改善过曝和伪影问题，通过合成的真实微光图像噪声来训练去噪器，从而提高了微光图像增强的质量
。
[0005]本专利技术方法的技术方案分为图像分解
、
照度优化
、
反射率恢复和暗帧数据库四个部分进行，具体内容如下：
[0006]步骤一
、
数据获取：
[0007]1.1
获取多张长短时间曝光的原始图像，且每张长时间曝光图像对应多张短曝光图像，然后将所有图像统一调整为固定尺寸的
RGB
图像；
[0008]1.2
构建暗帧数据库，对于每个感光度拍摄
n
个暗帧，使用相同的光圈和快门时间，平均
n
个暗帧保存噪声值，
n≥10。
[0009]步骤二
、
构建分解网络：
[0010]所述分解网络包括第一卷积块
、
两路并行的分支；其输入为短曝光图像，输出为输入图像的照度；
[0011]所述两路并行的分支包括上行分支和下行分支；
[0012]所述上行分支用于分解出低照度图像的反射率，其包括依次级联的第一最大池化层
、
第二卷积块
、
第二最大池化层
、
第三卷积块
、
第一反卷积层
、
第一连接层
、
第四卷积块
、
第二反卷积层
、
第二连接层
、
第五卷积块
、
第一卷积层
、
第一
Sigmoid
层；其中所述第一连接层将第一反卷积层的输出和第二卷积块的输出拼接；所述第二连接层将第二反卷积层的输出和第一卷积块的输出拼接；
[0013]所述下行分支用于分解出低照度图像的照度，其包括依次级联的第六卷积块
、
第三连接层
、
第二卷积层
、
第二
Sigmoid
层；其中所述第三连接层将第六卷积块的输出和第五卷积块的输出拼接；
[0014]所述上行分支和下行分支间添加跳跃连接；
[0015]步骤三
、
构建照度优化网络：
[0016]所述照度优化网络包括第四连接层
、
第七卷积块
、
第八卷积块
、
第九卷积块
、
第四卷积层
、
第三
Sigmoid
层；其输入为分解网络输出的照度；
[0017]步骤四
、
构建噪声模型
∶
[0018]原始图像的噪声源
D
建模为信号相关噪声和信号无关噪声，如下所示：
[0019]D
＝
K
d
K
a
(I+N
p
)+K
d
K
a
N1+K
d
N2+K
d
N
q
[0020]其中
K
d
K
a
(I+N
p
)
表示信号相关噪声，由于入射光子遵循泊松分布，所以把信号相关噪声建模为泊松分布，如下所示：
[0021][0022]其中
Y
表示干净图像，
K
a
表示相机系统的模拟增益，
K
d
表示相机系统的数字增益，
I
表示入射光子数，
N
p
表示依赖于信号的光子散粒噪声，表示采样的信号相关噪声；
K
d
K
a
N1+K
d
N2+K
d
N
q
表示信号无关噪声，包括暗电流噪声
、
固定模式噪声
、
热噪声和量化噪声；对于信号无关噪声，直接从暗帧数据库中对合成噪声进行采样，如：
[0023]K
d
K
a
N1+K
d
N2+K
d
N
q
＝
N
independent
[0024]N
independent
←
RandomSampling(B)
[0025]其中
B
表示暗帧数据库，
RandomSampling
表示随机采样；
N1表示模拟增益之前产生的噪声总和
(
包括暗电流噪声
、
固定模式噪声
、
复位噪声等
)
；
N2表示数字增益之前和模拟增益之后的所有噪声本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种考虑真实噪声和伪影的微光图像增强方法，其特征在于所述方法包括以下步骤：步骤一
、
数据获取：
1.1
获取多张长短时间曝光的原始图像，且每张长时间曝光图像对应多张短曝光图像，然后将所有图像统一调整为固定尺寸的
RGB
图像；
1.2
构建暗帧数据库，对于每个感光度拍摄
n
个暗帧，使用相同的光圈和快门时间，平均
n
个暗帧保存噪声值，
n≥10
；步骤二
、
构建分解网络：所述分解网络包括第一卷积块
、
两路并行的分支；其输入为短曝光图像，输出为输入图像的照度；所述两路并行的分支包括上行分支和下行分支；上行分支和下行分支间添加跳跃连接；所述上行分支用于分解出低照度图像的反射率，其包括依次级联的第一最大池化层
、
第二卷积块
、
第二最大池化层
、
第三卷积块
、
第一反卷积层
、
第一连接层
、
第四卷积块
、
第二反卷积层
、
第二连接层
、
第五卷积块
、
第一卷积层
、
第一
Sigmoid
层；其中所述第一连接层将第一反卷积层的输出和第二卷积块的输出拼接；所述第二连接层将第二反卷积层的输出和第一卷积块的输出拼接；所述下行分支用于分解出低照度图像的照度，其包括依次级联的第六卷积块
、
第三连接层
、
第二卷积层
、
第二
Sigmoid
层；其中所述第三连接层将第六卷积块的输出和第五卷积块的输出拼接；步骤三
、
构建照度优化网络：所述照度优化网络包括第四连接层
、
第七卷积块
、
第八卷积块
、
第九卷积块
、
第四卷积层
、
第三
Sigmoid
层；其输入为分解网络输出的照度，输出为优化照度；步骤四
、
构建噪声模型：原始图像的噪声源
D
建模为信号相关噪声和信号无关噪声，如公式
(1)
所示：
D
＝
K
d
K
a
(I+N
p
)+K
d
K
a
N1+K
d
N2+K
d
N
q
(1)
其中
K
d
K
a
(I+N
p
)
表示信号相关噪声，由于入射光子遵循泊松分布，所以把信号相关噪声建模为泊松分布，如公式
(2)
所示：其中
Y
表示干净图像，
K
a
表示相机系统的模拟增益，
K
d
表示相机系统的数字增益，
I
表示入射光子数，
N
p
表示依赖于信号的光子散粒噪声，表示采样的信号相关噪声；
K
d
K
a
N1+K
d
N2+K
d
N
q
表示信号无关噪声，包括暗电流噪声
、
固定模式噪声
、
热噪声和量化噪声；对于信号无关噪声，直接从暗帧数据库中对合成噪声进行采样，如公式
(4)
：
K
d
K
a
N1+K
d
N2+K
d
N
q
＝
N
independent
(3)N
independent
←
RandomSampling(B)(4)
其中
B
表示暗帧数据库，
RandomSampling
表示随机采样；
N1表示模拟增益之前产生的噪声总和；
N2表示数字增益之前和模拟增益之后的所有噪声总和；
N
q
表示量化噪声；
N
independent
表示信号无关噪声；
步骤五
、
根据公式
(1)
噪声模型得到短曝光图像的噪声源
D
，将其添加到原始长曝光图像，得到真实噪声的短曝光图像：步骤六
、
构建反射率恢复网络，并利用真实噪声的短曝光图像进行训练；所述反射率恢复网络以常规
U
‑

【专利技术属性】
技术研发人员：项杨军，胡更生，陈梅，
申请(专利权)人：杭州电子科技大学上虞科学与工程研究院有限公司，
类型：发明
国别省市：