一种免标定的制造技术

本发明专利技术公开了一种免标定的

【技术实现步骤摘要】
一种免标定的RAW图像去噪方法、系统、介质及设备


[0001]本专利技术涉及图像处理
，尤其涉及一种免标定的
RAW
图像去噪方法
、
系统
、
介质及设备
。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术
。
[0003]自从
SIDD
的开创性工作以来，
RAW
数据在图像去噪方面的潜力就被探索
。
最近的工作从正常光图像去噪转向极低光环境，例如
SID(Learning to see in the dark)、ELD(Physics
‑
based noise modeling for extreme low
‑
light photography)。
尽管基于真实噪声的方法取得了有希望的结果，但收集大规模配对
(
低质量和高质量对
)
真实数据集的困难仍然是其部署的瓶颈
。
使用配对的低质量原始图像
(
例如
Noise2Noise
和
Noise2NoiseFlow)
进行训练，可以避免费力地收集噪声
‑
无噪图像对
。
然而，这些方法在强噪声和极暗场景中总是失败
。
[0004]基于合成噪声的方法可以避免收集成对数据集的繁琐工作，但实际的限制仍然存在
。
普遍存在的噪声模型
(
泊松噪声和高斯噪声
)
严重偏离真实噪声分布，尤其是在极低光照环境下
。
因此，基于标定的方法可以模拟电子成像流程中的每个噪声分量，依赖于其可靠性而蓬勃发展
。
张等人意识到信号无关噪声的来源过于复杂而难以建模，因此提出了一种从暗帧中随机采样信号无关噪声的方法
。
然而，它仍然需要对信号相关噪声的参数进行校准，例如整体系统增益
。
克里斯蒂安等人结合基于物理的噪声模型和生成对抗框架构建噪声生成器
。
邹等人旨在通过使用对比学习进行参数估计来实现更准确和简洁的校准
。
尽管基于校准的方法实现了卓越的性能，但仍需要稳定的照明环境
(
例如亮度和温度
)、
标定专用数据收集
(
例如每个相机设置的数十张图像
)
以及复杂的后处理
(
例如对准
、
定位和统计
)
才能实现噪声参数估计
。
此外，由于参数的多样性和不均匀的预定义噪声模型，每个相机都需要重复的标定和训练过程
。
并且，没有考虑合成噪声和真实噪声之间的域差距
。
[0005]在对合成数据进行训练并在真实数据上进行测试时，真实噪声和合成噪声之间的域差距是不可避免的挑战
。
随着
AdaIN
和少样本学习的进步，目前研究主要集中在利用迁移学习或领域适应技术来缩小领域差距
。
然而，在极暗的场景中，由于极端噪声和额外的数字增益引起的数值不稳定，这些方法将无法进行信号重建
。

技术实现思路

[0006]针对现有技术存在的不足，本专利技术的目的是提供一种免标定的
RAW
图像去噪方法
、
系统
、
介质及设备，提出了一种无需校准的流程来照亮每一个黑暗，避免了校准噪声参数的所有额外成本
。
还通过预训练和微调解耦去噪网络和特定目标相机之间的强连接，实现了更为高效准确的
RAW
图像去噪
。
[0007]为了实现上述目的，本专利技术是通过如下的技术方案来实现：
[0008]本专利技术第一方面提供了一种免标定的
RAW
图像去噪方法，包括以下步骤：
[0009]获取待去噪的
RAW
图像；
[0010]给定一个去噪的神经网络，并在神经网络的每一个卷积层的模型内噪声去除模块前添加一个摄像机特定对齐模块分支，得到初步去噪模型；
[0011]利用虚拟相机对初步去噪模型进行预训练；
[0012]对预训练后的模型进行微调，其中微调过程为：对预训练后的模型进行微调；对微调后模型的摄像机特定对齐模块分支旁侧添加一个模型外噪声去除模块分支；对模型外噪声去除模块分支进行微调；
[0013]利用微调后的去噪模型对
RAW
图像进行去噪处理
。
[0014]进一步的，给定的去噪神经网络为
U
‑
Net
神经网络
。
[0015]进一步的，添加的摄像机特定对齐模块为
m
路并行分支，每一路为一个逐通道的线性变换
。
[0016]进一步的，利用虚拟相机对初步去噪模型进行预训练的具体步骤为：
[0017]给定虚拟相机数以及相应的参数空间；
[0018]对第
k
个相机，选择每一个参数区间的第
k
个
m
等分点并将其组合，得到一个虚拟相机的参数；
[0019]利用虚拟相机的参数对给定的无噪声数据进行增强，并对初步去噪模型进行预训练
。
[0020]进一步的，在预训练结束后，将摄像机特定对齐模块进行单路的逐通道线性变换，变换后的参数为之前分支路数的参数平均值
。
[0021]更进一步的，对预训练后的模型进行微调得具体步骤为：
[0022]利用微调数据集对预训练后的模型进行反向传播以微调，得到参数更新后的去噪模型；
[0023]固定更新后的去噪模型，并在每个微调后模型的摄像机特定对齐模块分支旁侧添加一个模型外噪声去除模块分支；
[0024]利用微调数据集仅对模型外噪声去除模块分支进行微调
。
[0025]更进一步的，利用结构重参数化方法将微调后的去噪模型通过线性组合的方式融合起来，变为一个普通的卷积分支，得到最终的去噪模型
。
[0026]本专利技术第二方面提供了一种免标定的
RAW
图像去噪系统，包括：
[0027]图像获取模块，被配置为获取待去噪的
RAW
图像；
[0028]初步模型构建模块，被配置为给定一个去噪的神经网络，并在神经网络的每一个卷积层的模型内噪声去除模块前添加一个摄像机特定对齐模块分支，得到初步去噪模型；
[0029]模型预训练模块，被配置为利用虚拟相机对初步去噪模型进行预训练；
[0030]模型微调模块，被配置为对预训练后的模型进行微调，其中微调过程为：对预训练后的模型进行微调；对微调后模型的摄像机特定对齐模块分支旁侧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种免标定的
RAW
图像去噪方法，其特征在于，包括以下步骤：获取待去噪的
RAW
图像；给定一个去噪的神经网络，并在神经网络的每一个卷积层的模型内噪声去除模块前添加一个摄像机特定对齐模块分支，得到初步去噪模型；利用虚拟相机对初步去噪模型进行预训练；对预训练后的模型进行微调，其中微调过程为：对预训练后的模型进行微调；对微调后模型的摄像机特定对齐模块分支旁侧添加一个模型外噪声去除模块分支；对模型外噪声去除模块分支进行微调；利用微调后的去噪模型对
RAW
图像进行去噪处理
。2.
如权利要求1所述的免标定的
RAW
图像去噪方法，其特征在于，给定的去噪神经网络为
U
‑
Net
神经网络
。3.
如权利要求1所述的免标定的
RAW
图像去噪方法，其特征在于，添加的摄像机特定对齐模块为
m
路并行分支，每一路为一个逐通道的线性变换
。4.
如权利要求1所述的免标定的
RAW
图像去噪方法，其特征在于，利用虚拟相机对初步去噪模型进行预训练的具体步骤为：给定虚拟相机数以及相应的参数空间；对第
k
个相机，选择每一个参数区间的第
k
个
m
等分点并将其组合，得到一个虚拟相机的参数；利用虚拟相机的参数对给定的无噪声数据进行增强，并对初步去噪模型进行预训练
。5.
如权利要求1所述的免标定的
RAW
图像去噪方法，其特征在于，在预训练结束后，将摄像机特定对齐模块进行单路的逐通道线性变换，变换后的参数为之前分支路数的参数平均值
。6.
如权利要求5所述的免标定的
RAW...

【专利技术属性】
技术研发人员：郭春乐，靳鑫，肖嘉文，韩凌昊，刘夏雷，李重仪，程明明，
申请(专利权)人：南开大学，
类型：发明
国别省市：