一种基于深度学习的全彩夜视增强方法和系统技术方案

本发明专利技术提供一种基于深度学习的全彩夜间视觉增强方法和系统。该方法包括以下步骤：S1、采集各种环境光照度下的RAW格式图像序列信息；S2、预处理RAW格式图像序列，获得像素融合之后的RGB格式图像序列；S3、获取黑电平图像，去除黑电平；S4、根据图像典型区域亮度线性提亮；S5、通过带有门控循环单元的去噪网络获取去噪后的图像序列；S6、恢复初始亮度；S7、通过自监督的循环卷积神经网络自适应调整图像序列的亮度。本发明专利技术使用长时序信息对图像序列去噪，能够有效去除10

【技术实现步骤摘要】
一种基于深度学习的全彩夜视增强方法和系统


[0001]本专利技术涉及一种基于深度学习的全彩夜视增强方法和系统，属于计算机视觉领域。

技术介绍

[0002]夜视成像增强是一种后端图像处理技术，在获得夜间的红外或微光图像后，通过算法处理，去除噪声和色彩偏差，形成清晰且易于观察的增强后图像。红外图像的增强一般使用滤波算法实现噪声和背景的抑制，突出主要目标。黑白微光图像的增强与红外类似，主要是使用自适应滤波等方法增强图像的信噪比。此外还有一些增强算法赋予黑白微光图像伪彩色信息，以突出场景中的主要目标并提升使用者的观察体验。与上述夜视技术相比，采集全彩微光图像，结合深度学习技术提升微光图像的质量，可以获得色彩准确、信噪比高、亮度均衡的图像，提升夜视观感。
[0003]目前的人工智能微光增强技术使用配对或非配对的微光图像和正常光照下的图像训练网络，实现从微光到正常光照的映射，已取得较好的微光增强效果。但缺少星光级或大气辉光级的全彩夜视增强技术，且无法兼顾提升图像信噪比和调整亮度，当环境光照度下探到10
‑3Lux及以下时，现有基于深度学习的微光增强算法无法有效提升图像质量。

技术实现思路

[0004]为了解决现有技术中存在的上述技术问题，提升在最低10
‑3Lux照度环境下的全彩夜视增强效果，本专利技术提出了去噪和亮度调整分离的基于深度学习的全彩夜视增强方法和系统。
[0005]本专利技术方法的具体技术方案如下：
[0006]一种基于深度学习的全彩夜视增强方法，包括如下步骤：
[0007]S1：采集RAW格式的微光图像，将图像信息记为X
RAW
；
[0008]S2：对所述图像信息X
RAW
进行像素融合，然后转化为RGB格式图像，记为X
RGB
；
[0009]S3：使用步骤S1相同的采集参数并利用步骤S2的处理方法，获得N张RGB格式的暗场图像，将N张暗场图像的均值作为黑电平信息，记为X
BLACK
；
[0010]S4：选取所述图像信息X
RAW
的四周和中心这五个典型位置中M
×
N分辨率的图像块，计算均值并进一步计算得到线性提亮系数和去噪网络的输入X
IN1
＝Ratio
×
(X
RGB
‑
X
BLACK
)；
[0011]S5：将X
IN1
输入去噪网络，得到去除噪声之后的图像X
OUT1
；
[0012]S6：由步骤S4中获取的系数Ratio，恢复去噪后图像X
OUT1
的初始亮度分布，作为自适应亮度调整网络的输入X
IN2
＝X
OUT1
/Ratio；
[0013]S7：将X
IN2
输入自适应亮度调整网络，得到最终输出的图像序列。
[0014]本专利技术具有以下有益效果：
[0015](1)本专利技术针对极低照度环境下微光图像成像特点，使用像素融合、减黑电平等预处理方法预先去除部分噪声和色彩偏差，可提升微光图像质量。
[0016](2)将微光增强方法拆分为去噪和自适应亮度调整两个步骤，分别使用两个卷积神经网络实现对应功能，使用自适应亮度调整网络处理去噪后的微光图像，有效提高了对极低光照图像噪声的去除效果，提升图像亮度。
[0017](3)在去噪网络中使用门控循环单元GRU，利用图像时序信息去噪，有效提高图像信噪比，能够有效去除10
‑3Lux左右环境下采集的图像噪声。使用像素重组方法PixelShuffle完成上采样，避免由反卷积引入的图像模糊和棋盘格噪声。
[0018](4)使用了自监督学习方法训练循环卷积神经网络，通过复用权重参数减少内存占用，自监督学习有效提高了自适应亮度调整的鲁棒性，使输出图像整体亮度均一稳定，颜色偏差小，提升显示一致性。
附图说明
[0019]图1是本专利技术的全彩夜视增强系统的结构示意图；
[0020]图2是本专利技术的全彩夜视增强方法的流程示意图；
[0021]图3是本专利技术的去噪网络DenoiseNet的结构示意图；
[0022]图4是本专利技术的自适应亮度调整网络LightNet的结构示意图；
[0023]图5是本专利技术使用的GRU单元结构示意图。
具体实施方式
[0024]以下结合附图对本专利技术方案进行详细说明。
[0025]如图1所示，本实施例提供一种基于深度学习的全彩夜视增强系统，包括：
[0026]微光图像采集模块，用于采集RAW格式的微光图像，一般使用全彩微光相机，在星光级环境照度下采集可见光信息并有效成像，得到的图像格式为RAW，排列方式为RGGB；
[0027]预处理模块，用于预处理微光图像采集模块采集到的RAW格式图像：将RAW格式图像进行BIN2的像素融合，即相邻四像素融合，然后转化为RGB格式，并减去黑电平信息，黑电平信息为由微光图像采集模块获得的N张RGB格式的暗场图像的均值；
[0028]去噪模块，用于通过去噪网络去除预处理之后的RGB图像的噪声；将RGB图像线性提亮，输入去噪网络，再线性还原到初始亮度分布，作为自适应亮度调整网络的输入；
[0029]自适应亮度调整模块，用于通过训练好的自适应亮度调整网络处理去噪之后的RGB图像，调整亮度分布；
[0030]编码输出模块，用于将经过自适应亮度调整模块处理增强之后的RGB图像编码成视频信号，保存到本地存储介质或传输到显示器上展示。
[0031]如图2所示，本实施例提供的一种基于深度学习的全彩夜视增强的方法，包括如下步骤：
[0032]S1：使用微光相机采集RAW格式图像，固定相机的曝光时间、增益、光圈大小等参数，将初始图像信息记为X
RAW
；
[0033]S2：对X
RAW
进行BIN2融合，即相邻四像素融合，然后转化为RGB格式图像，记为X
RGB
；
[0034]S3：使用步骤S1中相同的采集参数，利用微光相机采集N张暗场图像，然后利用步
骤S2中的方法，将暗场图像转化为RGB格式，将N张RGB格式暗场图像的均值作为相机的黑电平信息，记为X
BLACK
；
[0035]S4：选取步骤S1中图像信息X
RAW
的四周和中心五个典型位置中M
×
N分辨率的图像块，计算均值并进一步计算得到线性提亮系数和去噪网络的输入X
IN1
＝Ratio
×
(X
RGB
‑
X
BLACK
)；
[0036]S5：将X
IN1
输入去噪网络DenoiseNet，得到去除噪声之后的图像X
OUT1
；...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的全彩夜视增强方法，其特征在于，包括如下步骤：S1：采集RAW格式的微光图像，将图像信息记为X
RAW
；S2：对所述图像信息X
RAW
进行像素融合，然后转化为RGB格式图像，记为X
RGB
；S3：使用步骤S1相同的采集参数并利用步骤S2的处理方法，获得N张RGB格式的暗场图像，将N张暗场图像的均值作为黑电平信息，记为X
BLACK
；S4：选取所述图像信息X
RAW
的四周和中心这五个典型位置中M
×
N分辨率的图像块，计算均值并进一步计算得到线性提亮系数和去噪网络的输入X
IN1
＝Ratio
×
(X
RGB
‑
X
BLACK
)；S5：将X
IN1
输入去噪网络，得到去除噪声之后的图像X
OUT1
；S6：由步骤S4中获取的系数Ratio，恢复去噪后图像X
OUT1
的初始亮度分布，作为自适应亮度调整网络的输入X
IN2
＝X
OUT1
/Ratio；S7：将X
IN2
输入自适应亮度调整网络，得到最终输出的图像序列。2.根据权利要求1所述的一种基于深度学习的全彩夜视增强方法，其特征在于，所述去噪网络包括编码器、特征映射单元和解码器，所述编码器用于将尺寸为H
×
W
×
3的RGB图像编码为尺寸为的特征图，所述解码器用于将尺寸为的特征图数据重排为尺寸为H
×
W
×
3的输出图像；所述特征映射单元包括残差网络和门控循环单元，用于完成噪声特征向无噪声特征的映射。3.根据权利要求2所述的一种基于深度学习的全彩夜视增强方法，其特征在于，所述特征映射单元由两个残差网络和一个门控循环单元组成，具体实现过程包括如下步骤：首先将尺寸为的特征图拆分为两个的子图，分别使用两个残差网络提取两个子图和中的有效特征，拼接得到门控循环单元的输入G
IN
，所述门控循环单元同时接收上一帧图像经门控循环单元处理得到的隐含特征层H
t
‑1，并输出当前帧的隐含特征层H
t
，其中，在起始帧，使用全0的数组作为门控循环单元的隐含特征层；使用所述残差网络获取从隐含特征层H
t
到无噪声特征的映射。4.根据权利要求1所述的一种基于深度学习的全彩夜视增强方法，其特征在于，所述去噪网络使用有监督学习方法进行训练，训练数据为人为添加噪声的仿真数据集，噪声建模为高斯噪声、泊松噪声、动态条纹噪声和色彩退化噪声的混合结果，训练时统计图像序列的平均损失作为误差进行反向传播。5.根据权利要求4所述的一种基于深度学习的全彩夜视增强方法，其特征在于，所述去噪网络的损失函数为：L
D...

【专利技术属性】
技术研发人员：彭成磊，刘知豪，岳涛，潘红兵，王宇宣，
申请(专利权)人：南京大学，
类型：发明
国别省市：