一种视频多帧去噪及增强方法技术

本发明专利技术提供了一种视频多帧去噪及增强方法，此方法由全局运动估计模块、局部运动检测模块、多帧融合滤波模块、去块效应模块和图像增强模块组成。全局运动估计模块获得多帧之间的全局运动矢量，用于去除相机的全局运动，为下一步提供必要条件；局部运动检测模块能够检测出场景中的局部运动；多帧融合滤波模块对于局部运动块采用双边滤波的方式进行融合滤波，而对于非局部运动块则采用简单的均值滤波的方式进行融合滤波；去块效应模块可以处理由于不同融合滤波方式产生的块效应；多帧融合滤波模块和去块效应模块之后，图像会有所模糊，图像增强模块会增强图像的主观质量使得处理之后的视频清晰锐利，并能大大抑制视频噪声，大大降低视频传输码率。

【技术实现步骤摘要】
一种视频多帧去噪及增强方法
本专利技术属于图像处理领域，更具体的说涉及一种视频多帧去噪及增强方法。
技术介绍
视频去噪是图像处理领域的一个热点问题，也是一个极具挑战的研究方向。视频中的噪声不仅会阻碍人们对视频内容的理解，还会大大增加视频传输的码率。基于单帧的图像去噪算法，普遍利用图像的局部信息来平滑处理，或者采用假想的噪声模型来模拟噪声并在一定的约束条件下求得最优解，这两种方法不可避免地使图像丢失了很多细节信息。针对一般的监控场景，相机不会出现较大频率和较大幅度的运动，其相邻帧会存在很大的时域相关性，所以基于多帧的监控视频去噪会比单帧视频去噪获得更好的效果。
技术实现思路
本专利技术从提升视频主观质量和降低视频码率出发，专利技术了一种视频多帧去噪及增强方法，使得处理之后的视频清晰锐利，并能大大抑制视频噪声，大大降低视频传输码率。为了解决上述技术问题，本专利技术的技术方案为：一种视频多帧去噪及增强方法，包括有全局运动估计模块、局部运动检测模块、多帧融合滤波模块、去块效应模块和图像增强模块，所述全局运动估计模块获得多帧之间的全局运动矢量，去除相机的全局运动，所述局部运动检测模块能够检测出场景中的局部运动，所述多帧融合滤波模块对于局部运动块采用双边滤波的方式进行融合滤波，所述去块效应模块处理由于不同融合滤波方式产生的块效应，所述图像增强模块最后增强图像的主观质量。进一步的，所述全局运动估计模块的按照如下步骤进行：Q1对于输入的多帧图像，确定参考帧与配准帧；Q2建立参考帧与配准帧的图像金字塔；Q3从金字塔的顶层开始计算全局运动估计，运动估计采用块匹配的方式，选择参考帧居中的图像块作为匹配基准块，然后在一定的搜索范围内使用穷尽搜索来获得配准帧的最优图像块，匹配准则使用绝对差值和SAD策略；Q4得到上一层的全局运动估计之后，在当前帧基于上一层的运动估计结果，使用与上一层相同的搜索匹配策略进行估计当前帧的全局运动矢量；Q5一级一级将全局运动传递到最底层，得到最终的全局运动矢量，最终全局运动矢量＝上述所有层的全局运动矢量之和。进一步的，所述局部运动检测模块按照如下步骤进行：J1根据全局运动矢量将配准帧与参考帧对齐，并将所有帧划分成不重叠的局部图像块；J2计算参考帧图像块与配准帧对应图像块的像素绝对差值，如果像素绝对差值大于设定阈值的个数占图像块像素总个数的比例超过设定比例值，则认为是局部运动块；J3如果所有的配准帧对应图像块按二中的方式判定为非局部运动块，则当前图像块为非局部运动块。进一步的，所述多帧融合滤波模块按照如下步骤进行：D1对于判定为非局部运动的块，采用均值滤波的方式对所有时域图像块进行加权平均，D2对于判定为局部运动的块，对局部运动块内的各个像素采用时域双边滤波的方式进行滤波。进一步的，所述去块效应模块按照如下步骤进行：K1判断块边界是否属于局部运动块和非局部运动块的边界；K2对于属于局部运动块与非局部运动块相邻的块边界，进行去块效应滤波，否则不进行处理。进一步的，所述图像增强模块按照如下步骤进行：T1对输入图像I进行高斯滤波，得到Ig；T2输入图像减去高斯滤波图像，得到diff＝I–Ig；T3计算图像I的局部平均方差图，得到Is；T4获取Is的最小值Vmin和最大值Vmax，归一化Is得到Isn，Isn＝(Is-Vmin)/(Vmax-Vmin)，将Isn作为增强系数；T5增强图像Ie＝CLIP(I+Isn*Isn，0,255)，CLIP函数为图像像素值限定函数，如果为8位像素值，则限定范围为0和255。本专利技术提供了一种视频多帧去噪及增强方法，可以提升视频的整体主观质量，使得处理之后的视频清晰锐利，同时能大大抑制视频噪声，大大降低视频传输码率，同时，本专利技术的方法性能效率很高，能够满足实际工程的需要。附图说明图1为本专利技术一种视频多帧去噪及增强方法的多帧去噪增强模块图；图2为本专利技术一种视频多帧去噪及增强方法的视频处理系统流程图；图3为本专利技术一种视频多帧去噪及增强方法的多帧去噪增强流程图；图4为本专利技术一种视频多帧去噪及增强方法的全局运动估计流程图；图5为本专利技术一种视频多帧去噪及增强方法的判定局部运动流程图。图6为本专利技术一种视频多帧去噪及增强方法的图像增强流程图。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。对于一个需要处理的监控视频，我们首先将视频解码出多帧YUV数据，并将中间一帧设为参考帧，将参考帧前后的多帧设为配准帧，提取出参考帧和配准帧的多帧Y分量数据，送入多帧去噪增强模块，经过去噪增强的Y数据与参考帧的UV数据进行编码输出一帧视频数据，本专利技术中使用5帧数据来进行多帧去噪增强，选择第三帧为参考帧，参考帧前后各有两帧配准帧，视频处理系统流程图可见图2。对于输入的5帧Y分量数据，先计算4个配准帧与参考帧的全局运动，根据全局运动矢量将配准帧与参考帧对齐，然后将对齐的所有帧划分成不重叠的局部图像块，并判定局部图像块是否存在局部运动，如果存在局部运动则进行双边滤波5帧对应图像块，否则均值滤波5帧对应图像块，接着对可能存在块效应的块边界进行去块效应滤波，最后进一步增强去噪图像，得到最终输出Y分量数据，本专利技术中可设定局部图像块大小为8*8，多帧去噪增强流程图可见图3。全局运动估计流程如下，流程图如图4所示：建立参考帧与配准帧的图像金字塔，金字塔的级数根据图像尺寸的大小而定，对于1080p大小的视频，金字塔的级数可设为3，建立图像金子塔的方式可以使用高斯金字塔也可使用均值金字塔；从金字塔的顶层开始计算全局运动估计，运动估计采用块匹配的方式，选择参考帧居中的图像块作为匹配基准块，然后在一定的搜索范围内使用穷尽搜索来获得配准帧的最优图像块，匹配准则使用绝对差值和(SAD)策略；得到上一层的全局运动估计之后，在当前帧基于上一层的运动估计结果，使用与上一层相同的搜索匹配策略进行估计当前帧的全局运动矢量；一级一级将全局运动传递到最底层，得到最终的全局运动矢量，假设图像金字塔有3层，如果每一层的全局运动矢量为MV1，MV2，MV3，则最终的全局运动矢量MV＝MV1+MV2+MV3；判定局部运动流程如下，流程图如图5所示：根据全局运动矢量将配准帧与参考帧对齐，并将所有帧划分成不重叠的局部图像块，局部图像块的大小可设8*8；计算参考帧图像块与配准帧对应图像块的像素绝对差值，如果像素绝对差值大于设定阈值T1的个数占图像块像素总个数的比例超过设定比例值T2，则认为是局部运动块，本专利技术中，T1可设定为25，T2可设定为0.3；如果所有的配准帧对应图像块按二中的方式判定为非局部运动块，则当前图像块为非局部运动块；多帧融合滤波流程如下：对于判定为非局部运动的块，采用均值滤波的方式对所有时域图像块进行加权平均。对于判定为局部运动的块，对局部运动块内的各个像素采用时域双边滤波的方式进行滤波。去块效应流程如下：判断块边界是否属于局部运动块和非局部运动块的边界；对于属于局部运动块与非局部运动块相邻的块边界，进行去块效应滤波，否则不进行处理；图像增强流程如下，流程图如图6本文档来自技高网...

【技术保护点】
一种视频多帧去噪及增强方法，其特征在于，包括有全局运动估计模块、局部运动检测模块、多帧融合滤波模块、去块效应模块和图像增强模块，所述全局运动估计模块获得多帧之间的全局运动矢量，去除相机的全局运动，所述局部运动检测模块用于检测出场景中的局部运动，所述多帧融合滤波模块对局部运动块采用双边滤波的方式进行融合滤波，所述去块效应模块处理由于不同融合滤波方式产生的块效应，所述图像增强模块最后增强图像的主观质量。

【技术特征摘要】
1.一种视频多帧去噪及增强方法，其特征在于，包括有全局运动估计模块、局部运动检测模块、多帧融合滤波模块、去块效应模块和图像增强模块，所述全局运动估计模块获得多帧之间的全局运动矢量，去除相机的全局运动，所述局部运动检测模块用于检测出场景中的局部运动，所述多帧融合滤波模块对局部运动块采用双边滤波的方式进行融合滤波，所述去块效应模块处理由于不同融合滤波方式产生的块效应，所述图像增强模块最后增强图像的主观质量。2.根据权利要求1所述的一种视频多帧去噪及增强方法，其特征在于，所述全局运动估计模块的按照如下步骤进行：Q1对于输入的多帧图像，确定参考帧与配准帧，Q2建立参考帧与配准帧的图像金字塔，Q3从金字塔的顶层开始计算全局运动估计，运动估计采用块匹配的方式，选择参考帧居中的图像块作为匹配基准块，然后在一定的搜索范围内使用穷尽搜索来获得配准帧的最优图像块，匹配准则使用绝对差值和SAD策略，Q4得到上一层的全局运动估计之后，在当前帧基于上一层的运动估计结果，使用与上一层相同的搜索匹配策略进行估计当前帧的全局运动矢量，Q5一级一级将全局运动传递到最底层，得到最终的全局运动矢量，最终全局运动矢量＝上述所有层的全局运动矢量之和。3.根据权利要求1所述的一种视频多帧去噪及增强方法，其特征在于，所述局部运动检测模块按照如下步骤进行：J1根据全局运动矢量将配准帧与参考帧对齐，并将所有帧划分成不重叠的局部图像块，J2计算参考帧图像块与配...

【专利技术属性】
技术研发人员：赵海宾，
申请(专利权)人：杭州当虹科技有限公司，
类型：发明
国别省市：浙江,33