RAW域视频去噪方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种RAW域视频去噪方法、装置、电子设备及存储介质，涉及图像处理技术领域，该方法包括：按序获取RAW域视频中当前待去噪的视频帧；其中，RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的图像块按时序构成第一图像块序列；根据当前待去噪的视频帧的图像块和对应第一图像块序列中相邻预设个数的图像块构建第二图像块序列；根据当前待去噪的视频帧中的图像块是否为暗部区域，将图像块所在的第二图像块序列进行对应处理后，利用对应的去噪网络得到图像块的去噪结果；将各个图像块的去噪结果进行整合得到待去噪的视频帧的去噪结果。本发明专利技术实施例有效地提高了RAW域视频的去噪质量。施例有效地提高了RAW域视频的去噪质量。施例有效地提高了RAW域视频的去噪质量。

【技术实现步骤摘要】
RAW域视频去噪方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及图像处理
，具体涉及一种RAW域视频去噪方法、装置、电子设备及存储介质。

技术介绍

[0002]人类对客观世界的认识绝大部分是通过视觉系统获取的信息。视觉信息在人类感知和认识世界的过程中起到了极其重要的作用，但是在视频信号中往往掺杂着各种噪声，以至于视频变得模糊、质量下降，从而导致视频中的一些重要细节信息丢失。在对视频图像进行处理或者应用时，如何保留视频图像中的有用信息，去除噪声，是一个热点也是一个难点。
[0003]RAW 图像是图像感应器将捕捉到的光源信号转化为数字信号的原始数据，是无损的，包含了物体原始的颜色信息。RAW 数据格式一般采用的是Bayer（拜耳）排列方式，鉴于人眼对绿色波段的色彩比较敏感，Bayer数据格式中包含了50%的绿色信息，以及25%的红色和25%的蓝色信息。
[0004]在RAW域上去噪有助于改善后续的ISP（Image Signal Processing，图像信号处理）处理，还原更真实的色彩。因此，如何提高RAW域视频的去噪质量成为亟待解决的问题。

技术实现思路

[0005]针对现有技术存在的缺陷，本专利技术实施例提供一种RAW域视频去噪方法、装置、电子设备及存储介质。
[0006]本专利技术实施例提供一种RAW域视频去噪方法，包括：按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列；根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列；根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果；将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果。
[0007]根据本专利技术实施例提供的一种RAW域视频去噪方法，所述根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果，包括：响应于所述当前待去噪的视频帧中的图像块为暗部区域，将所述图像块所在的所述第二图像块序列进行VST变换及通道拆分，得到对应各个通道的第三图像块序列；将各个通道的所述第三图像块序列分别输入VST域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述图像块的去噪结果。
[0008]根据本专利技术实施例提供的一种RAW域视频去噪方法，所述根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果，包括：响应于所述当前待去噪的视频帧中的图像块为非暗部区域，将所述图像块所在的所述第二图像块序列进行通道拆分，得到对应各个通道的第四图像块序列；将各个通道的所述第四图像块序列分别输入像素域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行通道整合，得到所述图像块的去噪结果。
[0009]根据本专利技术实施例提供的一种RAW域视频去噪方法，在所述按序获取RAW域视频中当前待去噪的视频帧之前，所述方法还包括：合成噪声信号满足高斯
‑
泊松分布的RAW域样本视频；将所述RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第五图像块序列；根据所述RAW域样本视频中的待去噪视频帧的图像块和对应所述第五图像块序列中相邻所述预设个数的图像块构建第六图像块序列；对所述第六图像块序列进行VST变换及通道拆分，得到对应各个通道的第七图像块序列；将各个通道的所述第七图像块序列分别输入视频去噪网络模型，得到所述待去噪视频帧的图像块的各通道去噪结果；将所述待去噪视频帧的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述待去噪视频帧的图像块的去噪结果；将所述待去噪视频帧的图像块的去噪结果进行整合，得到所述待去噪视频帧的去噪结果的预测值；利用所述待去噪视频帧的去噪结果的所述预测值和真值计算损失函数，训练所述视频去噪网络模型，训练结束得到所述VST域去噪网络。
[0010]根据本专利技术实施例提供的一种RAW域视频去噪方法，在所述按序获取RAW域视频中当前待去噪的视频帧之前，所述方法还包括：合成噪声信号满足高斯
‑
泊松分布的RAW域样本视频；将所述RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第八图像块序列；根据所述RAW域样本视频中的待去噪视频帧的图像块和对应所述第八图像块序列中相邻所述预设个数的图像块构建第九图像块序列；对所述第九图像块序列进行通道拆分，得到对应各个通道的第十图像块序列；将各个通道的所述第十图像块序列分别输入视频去噪网络模型，得到所述待去噪视频帧的图像块的各通道去噪结果；将所述待去噪视频帧的图像块的各通道去噪结果进行通道整合，得到所述待去噪视频帧的图像块的去噪结果；将所述待去噪视频帧的图像块的去噪结果进行整合，得到所述待去噪视频帧的去噪结果的预测值；利用所述待去噪视频帧的去噪结果的所述预测值和真值计算损失函数，训练所述视频去噪网络模型，训练结束得到所述像素域去噪网络。
[0011]根据本专利技术实施例提供的一种RAW域视频去噪方法，所述方法还包括：将所述当前待去噪的视频帧中的图像块的像素值进行归一化处理，得到归一化像素值；根据所述归一化像素值计算均值及方差；响应于所述均值小于预设均值且所述方差小于预设方差，则确定所述图像块为暗部区域；否则，确定所述图像块为非暗部区域。
[0012]根据本专利技术实施例提供的一种RAW域视频去噪方法，所述预设裁剪规则包括：按照预设方向的预设移动步长将所述视频帧裁剪为多个图像块；其中，所述预设移动步长小于或等于移动方向上所述图像块的尺寸。
[0013]根据本专利技术实施例提供的一种RAW域视频去噪方法，所述将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果，包
括：响应于至少两个图像块包含重叠像素点，则通过计算所述至少两个图像块关于所述重叠像素点的去噪结果的加权和得到所述重叠像素点的像素值。
[0014]本专利技术实施例还提供一种RAW域视频去噪装置，包括：获取模块，用于：按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列；构建模块，用于：根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列；去噪模块，用于：根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种RAW域视频去噪方法，其特征在于，包括：按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列；根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列；根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果；将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果。2.根据权利要求1所述的RAW域视频去噪方法，其特征在于，所述根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果，包括：响应于所述当前待去噪的视频帧中的图像块为暗部区域，将所述图像块所在的所述第二图像块序列进行VST变换及通道拆分，得到对应各个通道的第三图像块序列；将各个通道的所述第三图像块序列分别输入VST域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述图像块的去噪结果。3.根据权利要求1所述的RAW域视频去噪方法，其特征在于，所述根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果，包括：响应于所述当前待去噪的视频帧中的图像块为非暗部区域，将所述图像块所在的所述第二图像块序列进行通道拆分，得到对应各个通道的第四图像块序列；将各个通道的所述第四图像块序列分别输入像素域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行通道整合，得到所述图像块的去噪结果。4.根据权利要求2所述的RAW域视频去噪方法，其特征在于，在所述按序获取RAW域视频中当前待去噪的视频帧之前，所述方法还包括：合成噪声信号满足高斯
‑
泊松分布的RAW域样本视频；将所述RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第五图像块序列；根据所述RAW域样本视频中的待去噪视频帧的图像块和对应所述第五图像块序列中相邻所述预设个数的图像块构建第六图像块序列；对所述第六图像块序列进行VST变换及通道拆分，得到对应各个通道的第七图像块序列；将各个通道的所述第七图像块序列分别输入视频去噪网络模型，得到所述待去噪视频帧的图像块的各通道去噪结果；
将所述待去噪视频帧的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述待去噪视频帧的图像块的去噪结果；将所述待去噪视频帧的图像块的去噪结果进行整合，得到所述待去噪视频帧的去噪结果的预测值；利用所述待去噪视频帧的去噪结果的所述预测值和真值计算损失函数，训练所述视频去噪网络模型，训练结束得到所述VST域去噪网络。5.根据权利要求3所述的R...

【专利技术属性】
技术研发人员：刘长松，王丽婷，陈昊宁，陶晓明，
申请(专利权)人：清华大学，
类型：发明
国别省市：