一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法技术

本发明专利技术公开了一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法，该方法为：构建黑白

【技术实现步骤摘要】
一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法


[0001]本专利技术涉及图像处理领域，具体涉及一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法。

技术介绍

[0002]图像去噪与去马赛克是彩色相机图像处理流程中必不可少的部分。现有方法一般先在RAW域对图像进行去噪，再利用去马赛克算法将图像转化到RGB域中。随着深度学习技术的发展，基于神经网络的算法模型在去噪和去马赛克任务上均取得了更好的效果。在庞大的训练数据量与模型参数量的支持下，利用神经网络同时建模多种退化类型成为可能。因此，联合去噪去马赛克网络同时对两个过程进行建模，可以防止误差累积，同时复用图像特征。例如，在2021IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops会议上的“Beyond Joint Demosaicking and Denoising:An Image Processing Pipeline for a Pixel
‑
bin Image Sensor”论文，引入注意力模块、对抗训练等多种机制，提升联合去噪去马赛克效果。然而，虽然神经网络可以较好地学习复原过程，但在信噪比较低的暗光场景下，单图复原算法在噪声去除、细节恢复等方面存在性能瓶颈。
[0003]另一方面，随着多传感器设备的发展，多图融合处理成为突破单图算法瓶颈的重要手段。黑白
‑
彩色双目相机系统广泛应用于智能手机等设备，黑白相机相比于彩色相机，成像过程不受到色彩滤波片影响，同时具有更高的进光量，因此在成像质量上具有明显优势。基于黑白相机引导彩色相机进行去噪和去马赛克，可以充分发挥多传感器的组合优势。然而，现有的引导复原神经网络方法无法直接处理非对齐场景。在2019British Machine Vision Conference会议上的“Robust Joint Image Reconstruction from Color and Monochrome Cameras”论文，首先基于光流对双目图像进行像素级别的配准，来减轻视差带来的影响，随后基于传统优化方法迭代求解复原结果。该方法计算量较大，同时在低信噪比场景下，难以实现准确的配准，进一步影响了后续的联合去噪去马赛克过程。

技术实现思路

[0004]本专利技术从黑白相机的成像优势出发，提出一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法。为了消除二者之间由于视差引起的非对齐因素，本专利技术基于注意力机制构造对齐引导图像生成模块，并基于感知损失函数进行训练，从而生成用于引导RAW图像去噪去马赛克的高质量对齐引导图像。同时，本专利技术基于颜色
‑
结构损失函数进行联合引导去噪去马赛克网络模块的训练，使得复原结果具有更好的视觉效果。本专利技术方法通过生成高质量的对齐引导图像，可处理含视差的非对齐引导联合去噪去马赛克场景，同时允许黑白图像本身受到噪声污染且不影响引导效果。基于视差注意力机制降低双目视差和黑白相机自身噪声的影响，利用黑白
‑
彩色双目系统中的黑白相机图像信息，协助彩色相机的联合去噪去马赛克过程。
[0005]本专利技术提供一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法，利用高信噪比的黑白相机图像，跨视差引导彩色相机RAW图像进行联合去噪去马赛克，该方法步骤如下：
[0006]S1：构建暗光场景下含噪声的黑白
‑
彩色双目相机仿真数据集。
[0007]S2：基于步骤S1中的数据集构建联合去噪去马赛克模型。
[0008]所述联合去噪去马赛克模型包括对齐引导图像生成模块和引导去噪去马赛克模块。
[0009]S21：构建所述对齐引导图像生成模块，所述对齐引导图像生成模块基于视差注意力机制求解黑白图像和RAW图像在视差方向上的特征相关性，利用相关的结构特征构建对齐引导图像特征，从而得到对齐引导图像；以RAW图像对应的干净灰度图像真值作为监督，基于感知损失函数训练对齐引导图像生成模块至收敛，使得对齐引导图像生成模块生成的对齐引导图像在结构上与RAW图像尽可能相近。
[0010]S22：构建所述引导去噪去马赛克模块，所述引导去噪去马赛克模块分别提取RAW图像的特征和对齐引导图像的特征，对RAW图像特征分辨率进行上采样后，对两者以特征通道拼接的方式进行特征融合，最后通过特征解码生成RAW图像对应的干净RGB图像，同时完成引导去噪和引导去马赛克过程；基于结构
‑
颜色损失函数训练引导去噪去马赛克模块至收敛，使得去噪去马赛克结果同时具有准确的颜色重建和锐利的细节结构。
[0011]所述对齐引导图像生成模块基于视差注意力机制，融合非对齐的黑白相机图像信息与彩色相机图像信息，生成与彩色相机对齐的高质量引导图像；所述引导去噪去马赛克模块基于高质量的对齐引导图像，对彩色相机RAW图像的联合去噪去马赛克过程进行引导。
[0012]S3：基于步骤S2构建的联合去噪去马赛克模型对彩色RAW图像进行去噪去马赛克。针对黑白
‑
彩色双目相机系统，在暗光下同时采集图像。通过对齐引导图像生成模块，利用黑白相机图像提供的额外高信噪比信息，并减轻非对齐因素的影响，同时对彩色相机RAW图像的去噪与去马赛克过程进行引导，输出视觉效果良好的彩色暗光图像。
[0013]步骤S1基于已有的彩色双目图像数据集，生成大量的暗光场景下含噪声的黑白
‑
彩色双目系统仿真数据集，用于联合去噪去马赛克模型的训练和测试。含噪声的黑白
‑
彩色双目系统仿真数据集构建方法具体如下：
[0014]S11将双目彩色相机采集的正常图像中的每个像素在亮度上除以K以仿真暗光场景。
[0015]S12对于左视图，基于RGGB的Bayer像素排列模式进行色彩通道值采样，生成RAW图像。对于右视图，则通过三个颜色通道值相加的方式，模拟黑白相机完整的进光量，生成黑白图像。
[0016]S13对黑白图像与RAW图像添加相同参数的泊松
‑
高斯噪声的污染。
[0017]步骤S2中联合去噪去马赛克模型的构建包括两个部分，一是构建对齐引导图像生成模块，二是构建引导去噪去马赛克模块：
[0018]所述对齐引导图像生成模块基于视差注意力机制求解黑白图像和RAW图像在视差方向上的特征相关性，利用相关的结构特征构建对齐引导图像特征，具体方法如下：
[0019]首先将RAW图像基于传统去马赛克算法进行去马赛克，并通过三个颜色通道相加的形式转化为单通道灰度图像。其次，通过相同的特征提取器提取来自左右视图的RAW图像
特征F
raw
与黑白图像特征F
mono
，在特征空间降低噪声干扰，增强结构信息。随后，基于视差注意力机制，针对F
raw
特征和F
mono
特征在视差方向上求解相关性权重矩阵M，并利用行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法，其特征在于，利用黑白相机输出图像，跨视差引导彩色相机RAW图像进行联合去噪去马赛克，具体步骤如下：S1：数据集构建，构建暗光场景下含噪声的黑白
‑
彩色双目相机仿真数据集；S2：基于步骤S1中的数据集构建联合去噪去马赛克模型；所述联合去噪去马赛克模型包括对齐引导图像生成模块和引导去噪去马赛克模块；首先，构建所述对齐引导图像生成模块，所述对齐引导图像生成模块基于视差注意力机制求解黑白图像和RAW图像在视差方向上的特征相关性，利用相关的结构特征构建对齐引导图像特征，从而得到对齐引导图像；以RAW图像对应的干净灰度图像真值作为监督，基于感知损失函数训练所述对齐引导图像生成模块至收敛；其次，构建所述引导去噪去马赛克模块，所述引导去噪去马赛克模块分别提取RAW图像的特征和对齐引导图像的特征，并以特征通道拼接的方式进行特征融合，最后通过特征解码生成RAW图像对应的干净RGB图像，同时完成引导去噪和引导去马赛克过程；基于结构
‑
颜色损失函数训练所述引导去噪去马赛克模块至收敛；S3：基于步骤S2构建的联合去噪去马赛克模型对彩色RAW图像进行去噪去马赛克。2.根据权利要求1所述的基于黑白图像引导的彩色RAW图像联合去噪去马赛克方法，其特征在于，所述步骤S1具体包括以下步骤：1.1将双目彩色相机采集的正常图像中的每个像素在亮度上除以K以仿真暗光场景；1.2对于左视图，基于RGGB的Bayer像素排列模式进行色彩通道值采样，生成RAW图像；对于右视图，通过三个颜色通道值相加的方式模拟黑白相机完整的进光量，生成黑白图像；1.3对黑白图像与RAW图像添加相同参数的泊松
‑
高斯噪声的污染。3.根据权利要求1所述的基于黑白图像引导的彩色RAW图像联合去噪去马赛克方法，其特征在于，步骤S2中，所述对齐引导图像生成模块基于视差注意力机制求解黑白图像和RAW图像在视差方向上的特征相关性，利用相关的结构特征构建对齐引导图像特征，具体方法为：首先，将RAW图像基于传统去马赛克算法进行去马赛克，并通过三个颜色通道相加的形式转化为单通道灰度图像；其次，通过相同的特征提取器提取来自左右视图的RAW图像特征F
raw
与黑白图像特征F
mono
；随后，基于视差注意力机制，针对F
raw
特征和F
mono
特征在视差方向上求解相关性权...

【专利技术属性】
技术研发人员：沈会良，刘雄伟，张润民，曹思源，俞贝楠，
申请(专利权)人：浙江大学，
类型：发明
国别省市：