视频降噪方法、装置及电子设备制造方法及图纸

本申请提出一种视频降噪方法、装置及电子设备，其中方法包括：获取待处理的视频，视频中的各帧图像包括低频分量和拉普拉斯分量；针对视频中的各帧图像，根据图像的低频分量以及图像对应的上一帧图像的低频分量降噪结果，确定图像的低频分量降噪结果；根据图像的低频分量降噪结果以及拉普拉斯分量，确定图像对应的中间图像；对中间图像进行保边滤波处理，得到图像对应的降噪后图像，从而通过采用降噪神经网络对图像中的低频分量进行降噪处理，再采用保边滤波处理对图像进行降噪处理，确保图像中低频分量和高频分量的降噪效果，且降低计算量。且降低计算量。且降低计算量。

【技术实现步骤摘要】
视频降噪方法、装置及电子设备


[0001]本申请涉及图像处理
，尤其涉及一种视频降噪方法、装置及电子设备。

技术介绍

[0002]目前的视频降噪方法主要为，获取视频中的图像；将图像输入深度神经网络，获取深度神经网络输出的降噪后图像。其中，深度神经网络对图像中高频分量的降噪效果差，导致降噪后图像不自然；且深度神经网络要求输入的图像为全分辨率图像，计算量大，部署深度神经网络的硬件的开销过大。

技术实现思路

[0003]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0004]本申请提出一种视频降噪方法，以实现采用降噪神经网络对图像中的低频分量进行降噪处理，再采用保边滤波处理对图像进行降噪处理，确保图像中低频分量和高频分量的降噪效果，且降低计算量。
[0005]本申请第一方面实施例提出了一种视频降噪方法，所述方法包括：获取待处理的视频，所述视频中的各帧图像包括低频分量和拉普拉斯分量；针对所述视频中的各帧图像，根据所述图像的低频分量以及所述图像对应的上一帧图像的低频分量降噪结果，确定所述图像的低频分量降噪结果；根据所述图像的低频分量降噪结果以及拉普拉斯分量，确定所述图像对应的中间图像；对所述中间图像进行保边滤波处理，得到所述图像对应的降噪后图像。
[0006]本申请实施例的视频降噪方法，通过获取待处理的视频，视频中的各帧图像包括低频分量和拉普拉斯分量；针对视频中的各帧图像，根据图像的低频分量以及图像对应的上一帧图像的低频分量降噪结果，确定图像的低频分量降噪结果；根据图像的低频分量降噪结果以及拉普拉斯分量，确定图像对应的中间图像；对中间图像进行保边滤波处理，得到图像对应的降噪后图像，从而通过采用降噪神经网络对图像中的低频分量进行降噪处理，再采用保边滤波处理对图像进行降噪处理，确保图像中低频分量和高频分量的降噪效果，且降低计算量。
[0007]可选地，所述获取待处理的视频，所述视频中的各帧图像包括低频分量和拉普拉斯分量，包括：获取待处理的视频，所述视频中包括多帧图像；针对所述视频中的各帧图像，对所述图像进行k倍下采样处理，得到所述图像中的低频分量；对所述低频分量进行k倍上采样处理，得到第一上采样结果；根据所述图像以及所述第一上采样结果，确定所述图像中的拉普拉斯分量。
[0008]可选地，所述针对所述视频中的各帧图像，根据所述图像的低频分量以及所述图像对应的上一帧图像的低频分量降噪结果，确定所述图像的低频分量降噪结果，包括：针对所述视频中的各帧图像，将所述图像的低频分量以及所述图像对应的上一帧图像的低频分量降噪结果，输入降噪神经网络，获取所述降噪神经网络输出的时域掩膜以及空域降噪残
差；根据所述时域掩膜、所述空域降噪残差、所述低频分量以及所述上一帧图像的低频分量降噪结果，确定所述图像的低频分量降噪结果。
[0009]可选地，所述降噪神经网络的训练方式，包括：获取至少一个原始视频以及初始的降噪神经网络，所述原始视频在无噪声环境下采集得到；针对所述原始视频中的各帧原始图像，按照k采样倍率对所述原始图像进行加噪声处理，得到所述原始图像对应的带噪声图像；根据至少一个所述原始视频，以及所述原始视频中原始图像对应的带噪声图像，对所述初始的降噪神经网络进行训练处理，得到训练好的降噪神经网络。
[0010]可选地，所述根据所述图像的低频分量降噪结果以及拉普拉斯分量，确定所述图像对应的中间图像，包括：对所述低频分量降噪结果进行k倍上采样处理，得到第二上采样结果；对所述第二上采样结果以及所述拉普拉斯分量进行融合处理，得到所述图像对应的中间图像。
[0011]可选地，在根据所述图像的低频分量降噪结果以及拉普拉斯分量，确定所述图像对应的中间图像之后，所述方法还包括：采用拜耳亮度通道滤波器对所述中间图像进行预降噪处理，得到所述中间图像的预降噪结果；根据所述中间图像的预降噪结果，以及所述上一帧图像对应的中间图像预降噪结果，确定所述中间图像的运动区域置信度掩膜；根据所述中间图像的运动区域置信度掩膜、所述中间图像的预降噪结果、以及所述上一帧图像对应的中间图像时序降噪结果，确定所述中间图像的时序降噪结果；根据所述中间图像的时序降噪结果，对所述中间图像进行更新处理。
[0012]本申请第二方面实施例提出了一种视频降噪装置，所述装置包括：获取模块，用于获取待处理的视频，所述视频中的各帧图像包括低频分量和拉普拉斯分量；第一确定模块，用于针对所述视频中的各帧图像，根据所述图像的低频分量以及所述图像对应的上一帧图像的低频分量降噪结果，确定所述图像的低频分量降噪结果；第二确定模块，用于根据所述图像的低频分量降噪结果以及拉普拉斯分量，确定所述图像对应的中间图像；滤波处理模块，用于对所述中间图像进行保边滤波处理，得到所述图像对应的降噪后图像。
[0013]本申请实施例的视频降噪装置，通过获取待处理的视频，视频中的各帧图像包括低频分量和拉普拉斯分量；针对视频中的各帧图像，根据图像的低频分量以及图像对应的上一帧图像的低频分量降噪结果，确定图像的低频分量降噪结果；根据图像的低频分量降噪结果以及拉普拉斯分量，确定图像对应的中间图像；对中间图像进行保边滤波处理，得到图像对应的降噪后图像，从而通过采用降噪神经网络对图像中的低频分量进行降噪处理，再采用保边滤波处理对图像进行降噪处理，确保图像中低频分量和高频分量的降噪效果，且降低计算量。
[0014]可选地，所述获取模块具体用于，获取待处理的视频，所述视频中包括多帧图像；针对所述视频中的各帧图像，对所述图像进行k倍下采样处理，得到所述图像中的低频分量；对所述低频分量进行k倍上采样处理，得到第一上采样结果；根据所述图像以及所述第一上采样结果，确定所述图像中的拉普拉斯分量。
[0015]可选地，所述第一确定模块具体用于，针对所述视频中的各帧图像，将所述图像的低频分量以及所述图像对应的上一帧图像的低频分量降噪结果，输入降噪神经网络，获取所述降噪神经网络输出的时域掩膜以及空域降噪残差；根据所述时域掩膜、所述空域降噪残差、所述低频分量以及所述上一帧图像的低频分量降噪结果，确定所述图像的低频分量
降噪结果。
[0016]可选地，所述第一确定模块具体还用于，获取至少一个原始视频以及初始的降噪神经网络，所述原始视频在无噪声环境下采集得到；针对所述原始视频中的各帧原始图像，按照k采样倍率对所述原始图像进行加噪声处理，得到所述原始图像对应的带噪声图像；根据至少一个所述原始视频，以及所述原始视频中原始图像对应的带噪声图像，对所述初始的降噪神经网络进行训练处理，得到训练好的降噪神经网络。
[0017]可选地，所述第二确定模块具体用于，对所述低频分量降噪结果进行k倍上采样处理，得到第二上采样结果；对所述第二上采样结果以及所述拉普拉斯分量进行融合处理，得到所述图像对应的中间图像。
[0018]可选地，所述装置还包括：预降噪模块、第三确定模块、第四确定模块和更新模块；所述预降噪模块，用于采用拜耳亮度通道滤波器对所述中间图像进行预降噪处理，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频降噪方法，其特征在于，所述方法包括：获取待处理的视频，所述视频中的各帧图像包括低频分量和拉普拉斯分量；针对所述视频中的各帧图像，根据所述图像的低频分量以及所述图像对应的上一帧图像的低频分量降噪结果，确定所述图像的低频分量降噪结果；根据所述图像的低频分量降噪结果以及拉普拉斯分量，确定所述图像对应的中间图像；对所述中间图像进行保边滤波处理，得到所述图像对应的降噪后图像。2.根据权利要求1所述的方法，其特征在于，所述获取待处理的视频，所述视频中的各帧图像包括低频分量和拉普拉斯分量，包括：获取待处理的视频，所述视频中包括多帧图像；针对所述视频中的各帧图像，对所述图像进行k倍下采样处理，得到所述图像中的低频分量；对所述低频分量进行k倍上采样处理，得到第一上采样结果；根据所述图像以及所述第一上采样结果，确定所述图像中的拉普拉斯分量。3.根据权利要求1所述的方法，其特征在于，所述针对所述视频中的各帧图像，根据所述图像的低频分量以及所述图像对应的上一帧图像的低频分量降噪结果，确定所述图像的低频分量降噪结果，包括：针对所述视频中的各帧图像，将所述图像的低频分量以及所述图像对应的上一帧图像的低频分量降噪结果，输入降噪神经网络，获取所述降噪神经网络输出的时域掩膜以及空域降噪残差；根据所述时域掩膜、所述空域降噪残差、所述低频分量以及所述上一帧图像的低频分量降噪结果，确定所述图像的低频分量降噪结果。4.根据权利要求3所述的方法，其特征在于，所述降噪神经网络的训练方式，包括：获取至少一个原始视频以及初始的降噪神经网络，所述原始视频在无噪声环境下采集得到；针对所述原始视频中的各帧原始图像，按照k采样倍率对所述原始图像进行加噪声处理，得到所述原始图像对应的带噪声图像；根据至少一个所述原始视频，以及所述原始视频中原始图像对应的带噪声图像，对所述初始的降噪神经网络进行训练处理，得到训练好的降噪神经网络。5.根据权利要求1所述的方法，其特征在于，所述根据所述图像的低频分量降噪结果以及拉普拉斯分量，确定所述图像对应的中间图像，包括：对所述低频分量降噪结果进行k倍上采样处理，得到第二上采样结果；对所述第二上采样结果以及所述拉普拉斯分量进行融合处理，得到所述图像对应的中间图像。6.根据权利要求1所述的方法，其特征在于，在根据所述图像的低频分量降噪结果以及拉普拉斯分量，确定所述图像对应的中间图像之后，所述方法还包括：采用拜耳亮度通道滤波器对所述中间图像进行预降噪处理，得到所述中间图像的预降噪结果；根据所述中间图像的预降噪结果，以及所述上一帧图像对应的中间图像预降噪结果，
确定所述中间图像的运动区域置信度掩膜；根据所述中间图像的运动区域置信度掩膜、所述中间图像的预降噪结果、以及所述上一帧图像对应的中间图像时序降噪结果，确定所述中间图像的时序降噪结果；根据所述中间图像的时序降噪结果，对所述中间图像进行更新处理。7.一种视频降噪装置，其特征在于，所述装置包括：获取模块，用于获取待处理的视频，所述视频中的各帧图像包括低频分量和拉普拉斯分量；第一确定模块，用于针对所述视频中的各帧图像，...

【专利技术属性】
技术研发人员：刘建伟，
申请(专利权)人：深圳爱芯元智科技有限公司，
类型：发明
国别省市：