一种基于运动估计和噪声估计的视频实时降噪方法及装置制造方法及图纸

本发明专利技术公开了一种基于运动估计和噪声估计的视频实时降噪方法及装置，所述方法包括：获取当前帧的原始图像，并对所述原始图像分别进行中值滤波和双边滤波，得到第一滤波图像和第二滤波图像；基于所述第一滤波图像与所述第二滤波图像分别进行噪声估计与运动估计，得到所述当前帧的噪声估计图与运动估计图；基于所述噪声估计图与所述运动估计图进行计算以及进行帧融合，得到3D去噪图像，所述3D去噪图像用于下一帧的降噪计算。本发明专利技术结合了运动估计和噪声水平估计对视频图像进行精细化的区域划分，实现对不同的区域实施不同降噪策略。实现对不同的区域实施不同降噪策略。实现对不同的区域实施不同降噪策略。

【技术实现步骤摘要】
一种基于运动估计和噪声估计的视频实时降噪方法及装置


[0001]本专利技术涉及视频降噪
，尤其涉及一种基于运动估计和噪声估计的视频实时降噪方法及装置。

技术介绍

[0002]视频去噪是一项在多个领域中被广泛使用的重要技术，其目的是消除视频信号中存在的噪声干扰，提高视频的图像质量。随着现代应用对高分辨率视频和实时处理的需求日益增长，视频去噪算法的效率成为了实际应用中不可忽视的关键因素。在实践中，视频去噪方法的速度和效率往往是业界和学术界关注的重点问题之一，需要不断优化算法设计和实现方法，以提高视频去噪的实时性和处理效率。
[0003]从本质上讲，视频去噪可以被视为图像去噪的一种扩展形式。因此，图像去噪所采用的技术可以被应用到视频去噪中，但需要考虑到视频数据的时间性质，进行一些额外的处理。具体而言，视频帧之间存在时间上的关联性和连续性，这意味着在去除噪声时，不能简单地对每一帧进行独立的处理。相反，需要考虑到视频序列中的空间和时间冗余，利用相邻帧之间的相关性来增强去噪效果。同时，视频去噪算法需要保证去噪后的视频仍然具有良好的时空一致性和连续性，以确保最终的视频质量。
[0004]目前为止，对图像和视频降噪效果最好的方法就是基于图像的非局部自相似性的算法，利用自然图像中存在的空间冗余性和视频序列连续帧之间在时域上存在的冗余性，通过块匹配的方式，找出时域和空域存在的相似块，通过平均相似块来对图像或者视频进行降噪。非局部均值滤波(NLM)算法基于图像纹理相似性，通过块匹配寻找目标像素周围一定区域的相似块，将目标像素替换为与其具有相似纹理的像素的加权平均值来达到降噪的目的。对于视频处理来说，除了寻找图像自身的相似块之外，还需要在相邻帧之间寻找相似块。非局部均值滤波器可以保留图像细节和纹理，同时去除高斯噪声和椒盐噪声，该算法被广泛应用于图像去噪、图像增强、图像分割等领域。
[0005]目前广泛使用的效果极好的图像降噪方法之一是BM3D(Block
‑
Matching 3D，三维块匹配)算法，该框架结合了自然图像的非局部相似性特征和变换域中的稀疏表示。BM3D的计算过程依赖于所谓的分组和协同过滤。首先，将搜索到的相互相似的二维图像块堆叠成三维组(分组,Grouping)，然后通过变换域收缩(协同过滤，Collaborative Filtering)对每个组进行过滤，同时为每个分组块提供单独的估计。这些估计值被返回到原先相似的二维图像块各自的位置，并最终聚合以生成最终的降噪图像。在此过程中，BM3D利用了自然图像的非局部和局部空间相关性，分别利用了大量相互相似的图像块和每个图像块内图像数据的高度相关性。将其扩展到视频降噪领域，并对来自时域和空域的相似性进行区分，可以得到V
‑
BM4D(Video
‑
BM4D)视频降噪算法。在分组阶段，会同时寻找时域和空域的相似块，由于连续帧之间来自时域的沿物体运动轨迹的相似性，要大于同一帧图像的非局部相似性，因此对来自时域和空域的相似块进行区分，并且在最终聚合得到目标像素降噪结果时，添加了不同的权重，以达到更好的降噪效果。
[0006]上述的基于块匹配的降噪算法，由于其优秀的降噪效果，在近些年来得到极为广泛的应用。然而块匹配和变换域所涉及到的复杂计算，限制了这些算法的应用场景，难以应用在实时性要求较高的应用场景中，硬件设计也相对复杂。此外，现有的一部分算法会参考视频连续帧之间的运动情况，进一步的提升降噪的效果，然而现有技术中缺少降噪算法对噪声水平进行估计并将其与运动估计相结合，导致降噪效果不佳。
[0007]因此，现有技术还有待改进和提高。

技术实现思路

[0008]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于运动估计和噪声估计的视频实时降噪方法及装置，旨在解决现有技术中缺少降噪算法对噪声水平进行估计并将其与运动估计相结合，导致降噪效果不佳的问题。
[0009]为了解决上述技术问题，本专利技术所采用的技术方案如下：
[0010]第一方面，本专利技术提供一种基于运动估计和噪声估计的视频实时降噪方法，其中，所述方法包括：
[0011]获取当前帧的原始图像，并对所述原始图像分别进行中值滤波和双边滤波，得到第一滤波图像和第二滤波图像；
[0012]基于所述第一滤波图像与所述第二滤波图像分别进行噪声估计与运动估计，得到所述当前帧的噪声估计图与运动估计图；
[0013]基于所述噪声估计图与所述运动估计图进行计算以及进行帧融合，得到3D去噪图像，所述3D去噪图像用于下一帧的降噪计算。
[0014]在一种实现方式中，所述基于所述第一滤波图像与所述第二滤波图像分别进行噪声估计与运动估计，得到所述当前帧的噪声估计图与运动估计图，包括：
[0015]根据所述第一滤波图像与所述原始图像进行噪声估计，得到所述噪声估计图；
[0016]获取前帧降噪图像，并根据所述前帧降噪图像与所述第二滤波图像进行运动估计，得到所述运动估计图。
[0017]在一种实现方式中，所述根据所述第一滤波图像与所述原始图像进行噪声估计，得到所述噪声估计图，包括：
[0018]基于所述第一滤波图像与所述原始图像，计算差异数据；
[0019]获取预设的梯度阈值，基于所述梯度阈值与所述差异数据计算每个像素的噪声方差，得到所述噪声估计图。
[0020]在一种实现方式中，所述基于所述噪声估计图与所述运动估计图进行计算以及进行帧融合，得到3D去噪图像，包括：
[0021]基于所述噪声估计图与所述运动估计图进行帧融合计算，得到帧融合权重图；
[0022]基于所述帧融合权重图、前帧降噪图像以及所述第二滤波结果，得到所述3D去噪图像。
[0023]在一种实现方式中，所述基于所述帧融合权重图、前帧降噪图像以及所述第二滤波结果，得到所述3D去噪图像，包括：
[0024]基于所述帧融合权重图确定融合比例；
[0025]根据所述融合比例，将所述前帧降噪图像与所述第二滤波结果在像素上进行图像
融合，得到所述3D去噪图像。
[0026]在一种实现方式中，所述图像融合的计算过程为：
[0027]i
result
(n,p)＝i
bf
(n,p)
×
F
Wiener
(n,p)+i
result
(n
‑
1,p)
×
(1
‑
F
Wiener
(n,p))；
[0028][0029]F
delta
(n,p)＝|i
bf
(n,p)
‑
i
result
(n
‑
1,p)|；
[0030]其中，p＝(x,y)为第n帧原始图像I(n)中的某个位置，F
Wiener
(n,p)为对于一个给本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于运动估计和噪声估计的视频实时降噪方法，其特征在于，所述方法包括：获取当前帧的原始图像，并对所述原始图像分别进行中值滤波和双边滤波，得到第一滤波图像和第二滤波图像；基于所述第一滤波图像与所述第二滤波图像分别进行噪声估计与运动估计，得到所述当前帧的噪声估计图与运动估计图；基于所述噪声估计图与所述运动估计图进行计算以及进行帧融合，得到3D去噪图像，所述3D去噪图像用于下一帧的降噪计算。2.根据权利要求1所述的基于运动估计和噪声估计的视频实时降噪方法，其特征在于，所述基于所述第一滤波图像与所述第二滤波图像分别进行噪声估计与运动估计，得到所述当前帧的噪声估计图与运动估计图，包括：根据所述第一滤波图像与所述原始图像进行噪声估计，得到所述噪声估计图；获取前帧降噪图像，并根据所述前帧降噪图像与所述第二滤波图像进行运动估计，得到所述运动估计图。3.根据权利要求2所述的基于运动估计和噪声估计的视频实时降噪方法，其特征在于，所述根据所述第一滤波图像与所述原始图像进行噪声估计，得到所述噪声估计图，包括：基于所述第一滤波图像与所述原始图像，计算差异数据；获取预设的梯度阈值，基于所述梯度阈值与所述差异数据计算每个像素的噪声方差，得到所述噪声估计图。4.根据权利要求1所述的基于运动估计和噪声估计的视频实时降噪方法，其特征在于，所述基于所述噪声估计图与所述运动估计图进行计算以及进行帧融合，得到3D去噪图像，包括：基于所述噪声估计图与所述运动估计图进行帧融合计算，得到帧融合权重图；基于所述帧融合权重图、前帧降噪图像以及所述第二滤波结果，得到所述3D去噪图像。5.根据权利要求4所述的基于运动估计和噪声估计的视频实时降噪方法，其特征在于，所述基于所述帧融合权重图、前帧降噪图像以及所述第二滤波结果，得到所述3D去噪图像，包括：基于所述帧融合权重图确定融合比例；根据所述融合比例，将所述前帧降噪图像与所述第二滤波结果在像素上进行图像融合，得到所述3D去噪图像。6.根据权利要求5所述的基于运动估计和噪声估计的视频实时降噪方法，其特征在于，所述图像融合的计算过程为：i
result
(n,p)＝i
bf
(n,p)
×
F
Wiener
(n,p)+i
result
(n
‑
1,p)
×
(1

【专利技术属性】
技术研发人员：石港，王祥龙，欧阳逸辰，
申请(专利权)人：深圳聚源视芯科技有限公司，
类型：发明
国别省市：