极低光原始图像的去噪方法及装置制造方法及图纸

极低光原始图像的去噪方法及装置，能够提高联合去噪和去马赛克方法对极弱光图像的泛化能力，在不损失性能的情况下大大减少了参数数量，鲁棒性更好。方法包括：(1)向系统输入一个极低光原始图像；(2)图像重构，将单通道原始图像重构成分辨率为原来图像1/4的RGBG四通道图像；(3)黑电平归一化；(4)以指定倍数的放大比率增强信号；(5)输入SUnet++神经网络；(6)输出一个分辨率与输入神经网络的图像相同的RGB*4的十二通道图像；(7)将输出图像重构成分辨率与原系统输入图像相同的RGB三通道图像；(8)输出一个亮度正常的RGB图像。(8)输出一个亮度正常的RGB图像。(8)输出一个亮度正常的RGB图像。

【技术实现步骤摘要】
极低光原始图像的去噪方法及装置


[0001]本专利技术涉及图像处理的
，尤其涉及一种极低光原始图像的去噪 方法，以及极低光原始图像的去噪装置。

技术介绍

[0002]随着拍摄、储存以及显示设备的快速发展，人们对图像质量的要求越来 越高。基于RGB图像的去噪研究渐渐不能满足现实世界的需要，作为原始数 据的RAW(原始)图像显然更有研究价值。作为现实世界的通用格式，RGB 图像在存储、显示方面的便捷性又不言而喻。因此，研究从RAW噪声图像到 RGB干净图像之间的映射关系，是打破瓶颈的科学而有效的方法。
[0003]以往的去噪和去马赛克过程常常是分开进行的，并在ISP中依次实现。 在从成像传感器获得原始数据之后，传统的图像处理流水线应用一系列模块， 例如白平衡、去马赛克、去噪、锐化、色彩空间转换、伽马校正等。但是去 马赛克的过程本身就会产生一定的误差，这会使去噪过程复杂化。此外，因 为RAW图像的噪声更加符合我们常用的统计学模型，目前应用不同技术实现 的基于RAW图像的联合去噪和去马赛克研究取得了显著的成效。
[0004]在某些极端的条件下，这些效果则很有限。最近，对于极低光环境下RAW 图像的联合去噪去马赛克问题，一些方法取得了突破性的进展。这些方法主 要是数据驱动的学习方法，其中深度卷积神经网络被训练在由噪声RAW图像 和相应的干净RGB图像组成的成对数据集上。但是，这些研究在颜色准确、 细腻程度以及泛化能力方面还存在很大的局限性。
[0005]这些研究所使用的网络模型多数是比较简单且常用的网络模型，目前效 果最好的是使用Unet进行训练。Unet在图像分割、自然语言处理、图像处 理等领域有着广泛的应用。但是同样，它也存在着上述所说的一些缺陷，因 此有大量学者尝试对其改进。Oktay O等人提出了一个Attention Gate的即 插即用模块，并将其引入Unet.通过有选择性的学习输入图像中相互关联的区 域，抑制不相关区域的显著性，得到了更精准的图像分割结果。Zhou Z等人 重新设计了Skip Connection，以在解码器子网络上聚合语义尺度不同的特征， 通过将不同深度的U
‑
Net的有效集成，大大地提升了Unet的泛化能力 (Unet++)。
[0006]这些改进虽然提升了网络的性能但也使得网络更加的复杂，额外引入了 大量的参数。
[0007]尽管摄影设备发展迅速，但在极端弱光环境下拍摄高清RAW图像一直是 一个难以解决的问题。现有方法利用神经网络自动学习极低光噪声RAW图像 到长曝光RGB图像的映射，对极低光图像进行联合去噪和去马赛克，但在其 他数据集上的表现则非常有限。

技术实现思路

[0008]为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种极低光 原始图像的去噪方法，其能够提高联合去噪和去马赛克方法对极弱光图像的 泛化能力，在不损失性能的情况下大大减少了参数数量，鲁棒性更好。
[0009]本专利技术的技术方案是：这种极低光原始图像的去噪方法，其包括以下步 骤：
[0010](1)向系统输入一个极低光原始图像；
[0011](2)图像重构，将单通道原始图像重构成分辨率为原来图像1/4的 RGBG四通道图像；
[0012](3)黑电平归一化；
[0013](4)以指定倍数的放大比率增强信号；
[0014](5)输入SUnet++神经网络；
[0015](6)输出一个分辨率与输入神经网络的图像相同的RGB*4的十二通 道图像；
[0016](7)将输出图像重构成分辨率与原系统输入图像相同的RGB三通道 图像；
[0017](8)输出一个亮度正常的RGB图像。
[0018]本专利技术在Unet++的基础上，引入可分离卷积操作，提出了一个新的 SUnet++网络模型，通过使用多倍的可分离卷积操作替代部分常规卷积操作， 不仅缓解了Unet++参数过多的问题，同时还增强了性能，因此能够提高联合 去噪和去马赛克方法对极弱光图像的泛化能力，在不损失性能的情况下大大 减少了参数数量，鲁棒性更好。
[0019]还提供了极低光原始图像的去噪装置，该装置包括：
[0020]输入模块，其配置来向系统输入一个极低光原始图像；
[0021]第一重构模块，其配置来将单通道原始图像重构成分辨率为原来图像 1/4的RGBG四通道图像；
[0022]归一化模块，其配置来黑电平归一化；
[0023]放大模块，其配置来以指定倍数的放大比率增强信号；
[0024]网络输入模块，其配置来输入SUnet++神经网络；
[0025]网络输出模块，其配置来输出一个分辨率与输入神经网络的图像相同 的RGB*4的十二通道图像；
[0026]第二重构模块，其配置来将输出图像重构成分辨率与原系统输入图像 相同的RGB三通道图像；
[0027]输出模块，其配置来输出一个亮度正常的RGB图像。
附图说明
[0028]图1为本专利技术的极低光原始图像的去噪方法的流程图。
[0029]图2为本专利技术的SUnet++网络结构拓扑图。
[0030]图3为本专利技术的γ
‑
α组合操作流程图。
[0031]图4为本专利技术的α
‑
β组合操作流程图。
[0032]图5为对比算法SID的γ
‑
α
’
组合操作流程图。
[0033]图6示出了以输入通道4为例α操作中参数数量的变化。
[0034]图7为实施数据集内容介绍。
[0035]图8为极低光图像的联合去噪去马赛克主观结果对比。
具体实施方式
[0036]如图1所示，这种极低光原始图像的去噪方法，其包括以下步骤：
[0037](1)向系统输入一个极低光原始图像；
[0038](2)图像重构，将单通道原始图像重构成分辨率为原来图像1/4的 RGBG四通道图像；
[0039](3)黑电平归一化；
[0040](4)以指定倍数的放大比率增强信号；
[0041](5)输入SUnet++神经网络；
[0042](6)输出一个分辨率与输入神经网络的图像相同的RGB*4的十二通 道图像；
[0043](7)将输出图像重构成分辨率与原系统输入图像相同的RGB三通道 图像；
[0044](8)输出一个亮度正常的RGB图像。
[0045]本专利技术在Unet++的基础上，引入可分离卷积操作，提出了一个新的 SUnet++网络模型，通过使用多倍的可分离卷积操作替代部分常规卷积操作， 不仅缓解了Unet++参数过多的问题，同时还增强了性能，因此能够提高联合 去噪和去马赛克方法对极弱光图像的泛化能力，在不损失性能的情况下大大 减少了参数数量，鲁棒性更好。
[0046]优选地，所述步骤(1)中，输入图像是一个尺寸任意、通道数为1的 Bayer模式RA本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.极低光原始图像的去噪方法，其特征在于：其包括以下步骤：(1)向系统输入一个极低光原始图像；(2)图像重构，将单通道原始图像重构成分辨率为原来图像1/4的RGBG四通道图像；(3)黑电平归一化；(4)以指定倍数的放大比率增强信号；(5)输入SUnet++神经网络；(6)输出一个分辨率与输入神经网络的图像相同的RGB*4的十二通道图像；(7)将输出图像重构成分辨率与原系统输入图像相同的RGB三通道图像；(8)输出一个亮度正常的RGB图像。2.根据权利要求1所述的极低光原始图像的去噪方法，其特征在于：所述步骤(1)中，输入图像是一个尺寸任意、通道数为1的Bayer模式RAW图像，记做H*W*1。3.根据权利要求2所述的极低光原始图像的去噪方法，其特征在于：所述步骤(2)中，按照RGBG的格式将其拆分为一个空间分辨率减半的4通道张量4.根据权利要求3所述的极低光原始图像的去噪方法，其特征在于：所述步骤(4)中，指定倍数为100或300，以便消除黑色像素。5.根据权利要求4所述的极低光原始图像的去噪方法，其特征在于：所述步骤(5)中，将处理后的数据作为SUnet++模型的输入；所述步骤(6)中，输出一个和网络模型输入分辨率相同的12通道的张量6.根据权利要求5所述的极低光原始图像的去噪方法，其特征在于：所述步骤(7)中，将步骤(6)的结果打包整理成一个与原系统输出入分辨率相同的RGB图像H*W*3。7.根据权利要求6所述的极低光原始图像的去噪方法，其特征在于：所述步骤(5)中，在SUnet++模型中间的核心三角区中，N
i,j
表示第i层的第j个节点，F
i,j
表示由其他节点得到N
i,j
的操作的集合，其中正整数i、j满足i+j≤6，且在(1≤i≤5,1≤j≤5)范围内取值；当j＝1时，N
i,j
由N
i
‑
1,j
经过操作α和γ得到；当j>1时，N
i,j
由N
i
‑
1,j
和N
i+1,j
‑1经过操作α和β得到；操作F
i,j...

【专利技术属性】
技术研发人员：朱青，齐景仲，齐娜，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：