一种视频去噪方法及计算设备技术

本发明专利技术公开了一种视频去噪方法，该方法包括步骤：获取视频序列中待去噪帧的至少一个相邻帧；以及针对待去噪帧的每个像素点进行时间域去噪，该时间域去噪包括：对于待去噪帧的每个相邻帧，获取待去噪帧的像素点在该相邻帧上的匹配像素点，并计算匹配像素点的权重；基于获取的待去噪帧的像素点在各相邻帧上的匹配像素点的权重，计算待去噪帧的像素点及其匹配像素点的加权平均数，以得到待去噪帧的像素点进行时间域去噪后的像素值。本发明专利技术还公开了相应的计算设备和计算机存储介质。

A video denoising method and computing device

The invention discloses a video denoising method, the method comprises the following steps: acquiring at least one sequence adjacent to the denoising frame; each pixel and according to denoising the frame time domain denoising, the time domain denoising including: for each frame to frame. To obtain matching pixel dots to denoising frames in the adjacent frame, and calculate the weights of pixels of the pixel to obtain; denoising based on frame weight matching pixels in each frame of the pixel to be calculated, denoising and matching frame pixel weighted average the number of pixels to obtain pixel to denoising frame time domain denoising value. The invention also discloses the corresponding computing equipment and the computer storage medium.

【技术实现步骤摘要】
一种视频去噪方法及计算设备
本专利技术涉及图像处理
，尤其是一种视频去噪方法及计算设备。
技术介绍
在图片或视频采集的应用场景中，所获取的图像不可避免会有信号噪声。例如，在夜晚等场景中所拍摄的图片或视频通常有比较明显的噪点。图像去噪是图像处理(单幅图片处理或视频帧序列的处理)中十分重要的环节。而去噪主要面对的问题是如何在有效去除时间域和空间域噪声的同时又能够有效保留图像的边界纹理细节不受到破坏。目前较为主流的处理方式是在空间域进行双边滤波，在时间域进行均值滤波，但是这一方法的缺点是不能保证视频相邻帧滤波强度的一致性，因此在视频播放时会由于前后两帧滤波的强度不一致而出现闪动。其中，即使采用均值滤波也并不能很好的解决时间域的闪烁噪声，若视频前后两帧有运动，这种时间域的均值滤波还会导致很强的重影。特别地，对于高噪图像，虽然选择较大平滑可以较好去噪，但会导致图像模糊，其边缘也相对模糊。如果选择较小平滑，则很难有效去除图像中的噪声。视频帧序列中的图像就是如此，由于视频在拍摄中存在很多诸如暗光条件、长时间镜头污染、错误的镜头曝光等等之类的复杂情况，也就导致视频中的噪声程度往往都很高。因此，需要一种更优化的视频去噪方案。
技术实现思路
为此，本专利技术提供了一种视频去噪方法及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。根据本专利技术的一个方面，提供了一种视频去噪方法，该方法包括步骤：获取视频序列中待去噪帧的至少一个相邻帧；针对待去噪帧的每个像素点进行时间域去噪，该时间域去噪包括：对于待去噪帧的每个相邻帧，获取待去噪帧的像素点在该相邻帧上的匹配像素点，并计算匹配像素点的权重；基于获取的待去噪帧的像素点在各相邻帧上的匹配像素点的权重，计算待去噪帧的像素点及其匹配像素点的加权平均数，以得到待去噪帧的像素点进行时间域去噪后的像素值；其中计算匹配像素点的权重包括：在待去噪帧中构建以待去噪帧的像素点为中心的子块，在相邻帧中构建以匹配像素点为中心的匹配块，匹配块与子块大小相同；根据所构建的子块和匹配块得到残差块；以及基于待去噪帧的噪声标准差，将残差块映射为加权块，并根据加权块计算匹配像素点的权重。可选地，在根据本专利技术的视频去噪方法中，获取待去噪帧的像素点在该相邻帧上的匹配像素点的步骤包括：获取待去噪帧和相邻帧的图像金字塔，图像金字塔包括以原始图像为底层、分辨率随层级升高而降低的多层图像；对于待去噪帧和相邻帧的图像金字塔，自上而下地逐层计算光流，直至到达底层为止；根据底层的光流结果，获取相邻帧中与待去噪帧的像素点相匹配的匹配像素点。可选地，在根据本专利技术的视频去噪方法中，获取待去噪帧和相邻帧的图像金字塔的步骤包括：以原始图像为图像金字塔的第0层，并通过对原始图像以k因数连续降采样来依次得到图像金字塔的第1，2，…，Lm层；其中第L层图像的分辨率为0≤L≤Lm；第0层为底层，第Lm层为顶层，k＝2。可选地，在根据本专利技术的视频去噪方法中，降采样包括均值降采样，均值降采样按照以下步骤来进行降采样：将原始图像划分为若干个相同大小的降采样块；以该降采样块中所有像素点的平均值作为该降采样块的采样值；由若干个降采样块的采样值构成降采样后的图像。可选地，在根据本专利技术的视频去噪方法中，对于待去噪帧和相邻帧的图像金字塔，自上而下地逐层计算光流的步骤包括：计算顶层图像的光流；对于顶层以下的每层图像，均基于其上一层图像的光流来计算该层图像的光流。可选地，在根据本专利技术的视频去噪方法中，对于顶层以下的每层图像，均基于其上一层图像的光流来计算该层图像的光流的步骤包括：对于顶层以下的每层图像，以其上一层计算得到的光流作为该层的初始光流；计算该层的光流增量；根据该层的初始光流和光流增量得到该层的光流。可选地，在根据本专利技术的视频去噪方法中，顶层以下第L层的光流按照以下公式计算：式中为第L层的光流，为第L层的初始光流，为第L层的光流增量；顶层以下第L-1层的初始光流按照以下公式计算：式中为第L-1层的初始光流；以及底层的光流按照以下公式计算：其中为底层的光流，为底层的初始光流，为底层的光流增量，为顶层的光流。可选地，在根据本专利技术的视频去噪方法中，顶层以下第L层的光流增量满足以下方程：其中，dxL、为待去噪帧的第L层图像中像素点u(ux,uy)的光流增量在x、y方向上的分量，w为以像素点u(ux,uy)为中心构建的搜索窗口(2wux+1,2wuy+1)的半径，IL(x,y)为待去噪帧的第L层图像，JL(x,y)为相邻帧的第L层图像。可选地，在根据本专利技术的视频去噪方法中，待去噪帧的顶层图像中像素点p(x,y)的像素值为I(x,y,t)，其光流满足以下方程：式中以像素点p(x,y)为中心的邻域窗口包括像素点p1、p2、…、pn，Ix(pn)、Iy(pn)、It(pn)分别为I(x,y,t)在像素点pn处对x、y、t的偏导，u、v为像素点p(x,y)的光流在x、y方向上的分量。可选地，在根据本专利技术的视频去噪方法中，在基于待去噪帧的噪声标准差，将残差块映射为加权块之前，还包括步骤：计算待去噪帧的噪声标准差，包括：以第一预定大小的窗口遍历所述待去噪帧，并计算每一个窗口的方差值；对于其中方差值为前第一预定比例的每个窗口，以该窗口的中心为中心，构建第二预定大小的标准块，并计算该标准块的方差值；对于其中方差值为前第二预定比例的多个标准块，计算其方差值的均值，以得到待去噪帧的噪声标准差。可选地，在根据本专利技术的视频去噪方法中，基于待去噪帧的噪声标准差，将残差块映射为加权块的步骤包括：对残差块的绝对值进行均值滤波；对于滤波后的残差块中的每个像素点，计算其三通道的像素均值；以及基于该像素均值和噪声标准差的比较，确定加权块中与该像素点对应位置的像素点的像素值。可选地，在根据本专利技术的视频去噪方法中，加权块中每个像素点的像素值按照以下公式确定：其中Motionneibor为加权块中像素点的像素值，Grayneibor为滤波后的残差块中对应位置像素点的三通道像素均值，NoiseVar为待去噪帧的噪声标准差。可选地，在根据本专利技术的视频去噪方法中，根据加权块计算匹配像素点的权重的步骤包括：以加权块中心的像素点为中心，构建均值块；计算该均值块的均值，以得到匹配像素点的权重。可选地，在根据本专利技术的视频去噪方法中，基于获取的待去噪帧的像素点在各相邻帧上的匹配像素点的权重，计算待去噪帧的像素点及其匹配像素点的加权平均数的步骤包括：按照以下公式计算得到待去噪帧的像素点进行时间域去噪后的像素值：式中pTfi为进行时间域去噪后的像素值，pi为待去噪帧的像素点的像素值，pneibor为匹配像素点的像素值，Meanneibor为匹配像素点的权重，为所有匹配像素点的像素值与其权重的乘积之和，为所有匹配像素点的权重之和。可选地，在根据本专利技术的视频去噪方法中，在得到待去噪帧的像素点进行时间域去噪后的像素值之后，方法还包括步骤：对待去噪帧的像素点进行空间域去噪。可选地，在根据本专利技术的视频去噪方法中，子块和匹配块的大小均为5×5。可选地，在根据本专利技术的视频去噪方法中，均值块大小为3×3。可选地，在根据本专利技术的视频去噪方法中，待去噪帧的相邻帧为该待去噪帧前的相邻帧、和/或该待去噪帧后的相邻帧。根据本专利技术的另一个专利技术，提供本文档来自技高网...

【技术保护点】
一种视频去噪方法，该方法包括步骤：获取视频序列中待去噪帧的至少一个相邻帧；以及针对所述待去噪帧的每个像素点进行时间域去噪，所述时间域去噪包括：对于所述待去噪帧的每个相邻帧，获取所述待去噪帧的像素点在该相邻帧上的匹配像素点，并计算所述匹配像素点的权重；基于获取的所述待去噪帧的像素点在各相邻帧上的匹配像素点的权重，计算所述待去噪帧的像素点及其匹配像素点的加权平均数，以得到所述待去噪帧的像素点进行时间域去噪后的像素值；其中所述计算匹配像素点的权重包括：在待去噪帧中构建以所述待去噪帧的像素点为中心的子块，在相邻帧中构建以所述匹配像素点为中心的匹配块，所述匹配块与所述子块大小相同；根据所构建的子块和匹配块得到残差块；以及基于所述待去噪帧的噪声标准差，将所述残差块映射为加权块，并根据所述加权块计算所述匹配像素点的权重。

【技术特征摘要】
1.一种视频去噪方法，该方法包括步骤：获取视频序列中待去噪帧的至少一个相邻帧；以及针对所述待去噪帧的每个像素点进行时间域去噪，所述时间域去噪包括：对于所述待去噪帧的每个相邻帧，获取所述待去噪帧的像素点在该相邻帧上的匹配像素点，并计算所述匹配像素点的权重；基于获取的所述待去噪帧的像素点在各相邻帧上的匹配像素点的权重，计算所述待去噪帧的像素点及其匹配像素点的加权平均数，以得到所述待去噪帧的像素点进行时间域去噪后的像素值；其中所述计算匹配像素点的权重包括：在待去噪帧中构建以所述待去噪帧的像素点为中心的子块，在相邻帧中构建以所述匹配像素点为中心的匹配块，所述匹配块与所述子块大小相同；根据所构建的子块和匹配块得到残差块；以及基于所述待去噪帧的噪声标准差，将所述残差块映射为加权块，并根据所述加权块计算所述匹配像素点的权重。2.如权利要求1所述的方法，其中，所述获取待去噪帧的像素点在该相邻帧上的匹配像素点的步骤包括：获取所述待去噪帧和所述相邻帧的图像金字塔，所述图像金字塔包括以原始图像为底层、分辨率随层级升高而降低的多层图像；对于待去噪帧和相邻帧的图像金字塔，自上而下地逐层计算光流，直至到达底层为止；根据底层的光流结果，获取所述相邻帧中与所述待去噪帧的像素点相匹配的匹配像素点。3.如权利要求2所述的方法，其中，所述获取待去噪帧和相邻帧的图像金字塔的步骤包括：以原始图像为图像金字塔的第0层，并通过对原始图像以k因数连续降采样来依次得到图像金字塔的第1，2，…，Lm层；其中第L层图像的分辨率为0≤L≤Lm；第0层为底层，第Lm层为顶层，k＝2。4.如权利要求3所述的方法，其中，所述降采样包括均值降采样，所述均值降采样按照以下步骤来进行降采样：将原始图像划分为若干个相同大小的降采样块；以该降采样块中所有像素点的平均值作为该降采样块的采样值；由所述若干个降采样块的采样值构成降采样后的图像。5.如权利要求3所述的方法，其中，所述对于待去噪帧和相邻帧的图像金字塔，自上而下地逐层计算光流的步骤包括：计算顶层图像的光流；对于顶层以下的每层图像，均基于其上一层图像的光流来计算该层图像的光流。6.如权利要求5所述的方法，其中，所述对于顶层以下的每层图像，均基于其上一层图像的光流来计算...

【专利技术属性】
技术研发人员：周星光，程安，张伟，傅松林，洪炜冬，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建,35