一种基于对比学习的细粒度噪声估计方法和系统技术方案

本发明专利技术涉及一种基于对比学习的细粒度噪声估计方法和系统，属于计算摄像科学技术领域。本发明专利技术利用待测试的带噪图像中发掘相机本身的噪声属性和参数，对其建模并生成大量拟真的仿真成对数据集，再利用深度神经网络学习仿真带噪图像到干净图像之间的映射关系，并用训练好的网络对真实数码相机拍摄的带噪图像进行去噪处理，实现对真实图像质量的提升和增强。本发明专利技术能够仅从待测试的带噪图像估计适用于特定相机的噪声参数，避免了噪声建模对于成对数据和标定数据的依赖性，显著提升真实图像去噪的精度。本发明专利技术可以用于对消费级数码相机或移动设备拍摄出来的真实图像噪声去除，以提供更加真实的训练数据的方式促进深度网络对真实噪声的去除。真实噪声的去除。真实噪声的去除。

【技术实现步骤摘要】
一种基于对比学习的细粒度噪声估计方法和系统


[0001]本专利技术涉及一种基于对比学习的细粒度噪声估计方法和系统，属于计算摄像科学


技术介绍

[0002]图像去噪(Image Denoising)是低层视觉领域中一项基础且十分重要的任务。近年来，随着深度学习工具的兴起，现有工作已经可以在可加性高斯白噪声(Additive White Gaussian Noise,AWGN)去除上，达到近乎完美的效果。然而，这些方法对于数码相机、移动设备等成像设备拍摄的真实图像的噪声去除，达不到令人满意的效果。造成该现象的主要原因，是传感器的真实噪声分布不服从常用的噪声假设，导致深度学习的训练集和真实测试数据之间存在领域差。
[0003]目前，解决上述问题的方法通常有以下两种方式。
[0004]一是直接对真实的传感器噪声进行更加精确的建模，并用于拟真噪声图像的生成。以可加性高斯白噪声为基础，近20年内涌现出了许多对真实噪声分布的建模，包括泊松高斯模型(通常用异方差高斯模型近似)、泊松混合模型等。目前，对真实噪声最完善的建模是Wei等人于2021年提出的基于图像生成流程的物理噪声模型。此外，也有一些基于深度学习的生成模型被用到噪声图像的生成，包括标准化流以及生成对抗网络。然而，此类方法需要特定相机拍摄的成对数据或特殊的标定数据来做建模或生成，只能用于相机或符合要求的数据可及的情景。
[0005]二是噪声估计，这也是解决真实噪声去除的一个有效手段。噪声水平常常在深度去噪网络中作为输入引导，以告诉网络输入图片的大致噪声大小。近年来，陆续出现了不少基于计算和基于深度学习的噪声水平函数估计方法。然而，此类方法只能对不够准确的高斯白噪声以及异方差高斯噪声进行估计，无法对成分更加复杂的真实噪声模型进行估计。另外，噪声估计往往仅用在了模型的输入上，并未利用估计的噪声来探索相机本身的噪声属性。

技术实现思路

[0006]本专利技术的目的是为了克服现有技术存在的不足和缺陷，创造性地提出一种基于对比学习的细粒度噪声估计方法，能够在复杂的噪声模型假设下，仅使用待测试的带噪图像估计适用于特定相机的噪声参数，建立噪声参数和感光度之间的联合概率分布，从而生成更加真实的仿真成对数据以促进深度网络的学习，达到精准的真实图像去噪效果。同时，本方法进一步提出了一种基于对比学习的细粒度噪声估计系统。
[0007]本专利技术采用以下技术方案实现。
[0008]一种基于对比学习的细粒度噪声估计方法，包括以下步骤：
[0009]首先，构建细粒度噪声模型，设计输入为带噪图像，输出为噪声模型参数的深度神经网络。具体地，细粒度噪声模型的构建，是从传感器的物理成像流程出发，通过分析光的
量子效应、暗电流、源极跟随器噪声、扫描模式等流程，对组成传感器噪声分量N1,N2,
…
,N
L
进行统计建模，L为目标相机噪声分量的数量。
[0010]其中，所述基于对比学习的噪声估计神经网络，包括基于对比学习的特征提取器、带噪图像的数据增强和基于单张图像的细粒度噪声参数估计网络。
[0011]然后，使用已标定相机的噪声参数，生成仿真数据集并训练网络；
[0012]之后，对未标定噪声参数的相机待测图像进行参数估计，构建该相机的各噪声分量与ISO之间的联合概率分布。
[0013]其中，所述构建各噪声分量和ISO之间的联合概率分布，包括使用细粒度噪声参数估计网络对待测试带噪图像进行参数估计，将估计的参数与对应的ISO做函数拟合并构建联合概率分布。
[0014]最后，利用联合概率分布，完成仿真图像生成和训练去噪网络。
[0015]其中，所述仿真图像生成和去噪网络的训练，包括使用构建好的联合概率分布对噪声参数进行采样，生成图像并训练去噪网络。将真实图像输入训练好的去噪网络，进行真实噪声的去除。
[0016]另一方面，为实现上述目的，本专利技术进一步提出了一种基于对比学习的细粒度噪声估计和去除系统，包括建立模块、估计模块、生成模块、训练模块和成像模块。
[0017]其中，建立模块，针对不同传感器构建特异的细粒度真实噪声分布模型；
[0018]进一步地，建立模块从传感器的物理成像流程出发，通过分析光的量子效应、暗电流、源极跟随器噪声、扫描模式等流程，分析并建模噪声成分中重要的分量N1,N2,
…
,N
L
。特别的，对一般的数码相机来说，构建的噪声模型包括与信号相关的散粒噪声N
s
、与信号无关的读出噪声N
read
、偏色噪声μ
c
和随机行噪声N
row
。
[0019]估计模块，用于学习能够估计细粒度噪声模型参数的神经网络模型，对单张带噪图像进行噪声估计。
[0020]进一步地，估计模块包括基于对比学习的特征提取器，带噪图像的数据增强和基于单张图像的细粒度噪声参数估计网络。
[0021]生成模块，用于生成大量符合特定相机噪声分布的拟真带噪
‑
干净成对训练数据集；
[0022]进一步地，生成模块包括使用细粒度噪声参数估计网络对待测试带噪图像进行参数估计，将估计的参数与对应的ISO做函数拟合并构建联合概率分布，使用构建好的联合概率分布对噪声参数进行采样并生成拟真带噪图像。
[0023]训练模块，用于搭建深度去噪神经网络，将拟真带噪图片作为输入，将对应干净图片作为真值，对深度去噪网络进行训练，得到训练完成的网络模型参数；
[0024]成像模块，用于使用训练好的网络对真实的带噪图像进行去噪与成像。
[0025]进一步地，训练模块和成像模块包括使用构建好的联合概率分布对噪声参数进行采样，生成图像并训练去噪网络，将真实图像输入训练好的去噪网络进行真实噪声的去除。
[0026]上述模块的连接关系如下：
[0027]建立模块的输出端与估计模块的输入端相连。估计模块的输出端与生成模块的输入端相连。生成模块的输出端与训练模块的输入端相连。训练模块的输出端与成像模块的输入端相连。
[0028]有益效果
[0029]本专利技术，对比现有技术，具有以下优点：
[0030]1.本专利技术，先利用待测试的带噪图像中发掘传感器本身的噪声属性和参数，对其建模并生成大量拟真的仿真成对数据集，再利用深度神经网络学习仿真带噪图像到干净图像之间的映射关系，并用训练好的网络对真实传感器拍摄的带噪图像进行去噪处理，实现对真实图像质量的提升和增强。
[0031]2.本专利技术能够仅从待测试的带噪图像估计适用于特定相机传感器的噪声参数，避免了噪声建模对于成对数据和标定数据的依赖性，显著提升真实图像去噪的精度。
[0032]3.本专利技术是一种精确的、不依赖于硬件本身的、细粒度的真实带噪图像生成和去噪方法，可以用于对包含数码相机、移动设备在内的成像设备拍摄出来的真实图像噪声去除，通过对传感器噪声模型进行细粒度建模，基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的细粒度噪声估计方法，其特征在于，包括以下步骤：步骤101：根据传感器的物理成像流程，细粒度地对物理噪声分量进行建模，通过分析物理成像过程中包含光的量子效应、暗电流、源极跟随器噪声、扫描模式在内的各流程，建模总噪声N的各个组成分量N
i
：其中，L为主要噪声分量的个数；对每个噪声分量N
i
，构建其符合的统计概率分布模型：N
i
～F
i
(θ
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，F
i
和θ
i
分别表示分量N
i
服从的分布表示以及对应的参数；所有噪声分量的分布参数组成多元组θ＝(θ1,θ2,
…
,θ
L
)；步骤102：训练基于对比学习的深度神经网络学习细粒度噪声参数估计模型，用于估计单张带噪图像在细粒度噪声模型假设下的噪声参数；通过拍摄拍与光有关的一系列平场帧和黑暗环境下的一系列偏置帧，对所述噪声参数多元组θ进行标定，包括：对相机进行参数标定，根据式3所示的采样方式对噪声参数进行采样；在干净的数据集上生成带噪图像，作为基于对比学习的噪声估计网络的训练数据；步骤103：利用步骤102中训练好的基于对比学习的细粒度噪声估计网络模型，对待测带噪图像进行噪声估计和联合概率分布构建，并用于生成连续ISO段的成对数据集；步骤104：以步骤103中生成的成对拟真数据集为输入，训练深度去噪网络，用于对真实带噪测试图像的去噪；通过搭建基于深度学习的去噪网络，将生成的带噪图像作为输入，将用于加噪的干净图像作为真值，对深度去噪网络进行训练，并得到优化后的网络模型参数；使用训练好的去噪网络对真实带噪的数据集进行降噪，得到去噪后的预测干净图像。2.如权利要求1所述的一种基于对比学习的细粒度噪声估计方法，其特征在于，步骤101中，使用各噪声分量随ISO的联合概率分布和采样策略，实现连续ISO段上的噪声采样和生成；根据ISO的定义，其与系统增益K之间存在线性关系，则各噪声分量随ISO的联合概率分布和采样策略，使用各噪声分量随系统增益K的联合概率分布来代替，其在对数线性关系下用高斯分布来表示：log(K)～U(log(K
min
),log(K
max
))其中，U表示均匀分布，a
i
、b
i
分别表示第i个噪声分量在对数线性域下读出噪声标准差的均值和系统增益之间的斜率和均值，表示与之对应的标准差，K
min
、K
max
分别表示相机所能取到的最小和最大ISO所对应的系统增益K；表示高斯分布。3.如权利要求2所述的一种基于对比学习的细粒度噪声估计方法，其特征在于，步骤101中，当目标传感器为数码相机时，噪声分量包括与信号相关的散粒噪声N
s
、与信号无关的读出噪声N
read
、偏色噪声μ
c
和随机行噪声N
row
；受光子接收的不稳定性影响，散粒噪声N
s
用泊松分布表示：
式4中，I表示光子的理论数值，表示泊松分布；读出噪声N
read
和偏色噪声μ
c...

【专利技术属性】
技术研发人员：付莹，邹云昊，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：