【技术实现步骤摘要】
一种基于对比学习的细粒度噪声估计方法和系统
[0001]本专利技术涉及一种基于对比学习的细粒度噪声估计方法和系统，属于计算摄像科学
技术介绍
[0002]图像去噪(Image Denoising)是低层视觉领域中一项基础且十分重要的任务。近年来，随着深度学习工具的兴起，现有工作已经可以在可加性高斯白噪声(Additive White Gaussian Noise,AWGN)去除上，达到近乎完美的效果。然而，这些方法对于数码相机、移动设备等成像设备拍摄的真实图像的噪声去除，达不到令人满意的效果。造成该现象的主要原因，是传感器的真实噪声分布不服从常用的噪声假设，导致深度学习的训练集和真实测试数据之间存在领域差。
[0003]目前，解决上述问题的方法通常有以下两种方式。
[0004]一是直接对真实的传感器噪声进行更加精确的建模，并用于拟真噪声图像的生成。以可加性高斯白噪声为基础，近20年内涌现出了许多对真实噪声分布的建模，包括泊松高斯模型(通常用异方差高斯模型近似)、泊松混合模型等。目前，对真实噪声最完善...
【技术保护点】
【技术特征摘要】
1.一种基于对比学习的细粒度噪声估计方法，其特征在于，包括以下步骤：步骤101：根据传感器的物理成像流程，细粒度地对物理噪声分量进行建模，通过分析物理成像过程中包含光的量子效应、暗电流、源极跟随器噪声、扫描模式在内的各流程，建模总噪声N的各个组成分量N
i
：其中，L为主要噪声分量的个数；对每个噪声分量N
i
，构建其符合的统计概率分布模型：N
i
～F
i
(θ
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，F
i
和θ
i
分别表示分量N
i
服从的分布表示以及对应的参数；所有噪声分量的分布参数组成多元组θ＝(θ1,θ2,
…
,θ
L
)；步骤102：训练基于对比学习的深度神经网络学习细粒度噪声参数估计模型，用于估计单张带噪图像在细粒度噪声模型假设下的噪声参数；通过拍摄拍与光有关的一系列平场帧和黑暗环境下的一系列偏置帧，对所述噪声参数多元组θ进行标定，包括：对相机进行参数标定，根据式3所示的采样方式对噪声参数进行采样；在干净的数据集上生成带噪图像，作为基于对比学习的噪声估计网络的训练数据；步骤103：利用步骤102中训练好的基于对比学习的细粒度噪声估计网络模型，对待测带噪图像进行噪声估计和联合概率分布构建，并用于生成连续ISO段的成对数据集；步骤104：以步骤103中生成的成对拟真数据集为输入，训练深度去噪网络，用于对真实带噪测试图像的去噪；通过搭建基于深度学习的去噪网络，将生成的带噪图像作为输入，将用于加噪的干净图像作为真值，对深度去噪网络进行训练，并得到优化后的网络模型参数；使用训练好的去噪网络对真实带噪的数据集进行降噪，得到去噪后的预测干净图像。2.如权利要求1所述的一种基于对比学习的细粒度噪声估计方法，其特征在于，步骤101中，使用各噪声分量随ISO的联合概率分布和采样策略，实现连续ISO段上的噪声采样和生成；根据ISO的定义，其与系统增益K之间存在线性关系，则各噪声分量随ISO的联合概率分布和采样策略，使用各噪声分量随系统增益K的联合概率分布来代替，其在对数线性关系下用高斯分布来表示：log(K)～U(log(K
min
),log(K
max
))其中，U表示均匀分布，a
i
、b
i
分别表示第i个噪声分量在对数线性域下读出噪声标准差的均值和系统增益之间的斜率和均值，表示与之对应的标准差，K
min
、K
max
分别表示相机所能取到的最小和最大ISO所对应的系统增益K；表示高斯分布。3.如权利要求2所述的一种基于对比学习的细粒度噪声估计方法，其特征在于，步骤101中，当目标传感器为数码相机时，噪声分量包括与信号相关的散粒噪声N
s
、与信号无关的读出噪声N
read
、偏色噪声μ
c
和随机行噪声N
row
；受光子接收的不稳定性影响，散粒噪声N
s
用泊松分布表示：
式4中，I表示光子的理论数值，表示泊松分布；读出噪声N
read
和偏色噪声μ
c...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。