一种细节敏感的实时弱光视频增强方法和系统技术方案

本发明专利技术提供一种细节敏感的实时弱光视频增强方法和系统，首先对弱光视频进行多重灰度变换，获得多张局部区域亮度合理的灰度图，然后利用细节评估方法对变换后的图像进行细节评估并获得权重图，再利用快速融合的方法将多个变换后的图像及其权重图融合成一张增强图像，再用采样加速的方法对增强过程进行加速，最后进行后处理得到增强后的视频。本发明专利技术有如下优点：细节敏感的增强方法能够将弱光视频各个区域增强到细节丰富的程度并在此过程中能够防止过曝光现象的出现，快速融合方法和采样加速技术能够大大减少运算所需时间，达到实时视频增强的速率。

A Detail-sensitive Real-time Low-light Video Enhancement Method and System

The present invention provides a detail-sensitive real-time low-light video enhancement method and system. Firstly, multi-gray-level transformation of low-light video is carried out to obtain several gray-level images with reasonable brightness in local areas. Then, the detail evaluation method is used to evaluate the transformed images and obtain the weight map. Then, the fast fusion method is used to fuse the transformed images and their weight maps into one. An enhanced image is then accelerated by sampling and acceleration. Finally, the enhanced video is obtained by post-processing. The invention has the following advantages: the detail-sensitive enhancement method can enhance each area of low-light video to the level of rich details and prevent the occurrence of over-exposure in the process, and the fast fusion method and sampling acceleration technology can greatly reduce the operation time and achieve the real-time video enhancement rate.

【技术实现步骤摘要】
一种细节敏感的实时弱光视频增强方法和系统
本专利技术属于视频处理领域，涉及一种弱光视频增强方法，尤其是一种细节敏感的实时弱光视频增强方法和系统。
技术介绍
在环境光照不足或者对比强烈的条件下拍摄视频时，画面常常出现较暗的区域，影响细节的呈现，需要对其进行增强以提升视觉观感。此外视频拍摄时需要进行实时预览，要求弱光视频增强技术能够达到实时的处理效率。现有的弱光视频增强技术主要有gamma校准、直方图均衡化、基于色调映射的方法、基于本征分解的增强方法、基于反相暗通道的方法、基于统计学习的方法。这几类方法均存在缺陷：gamma校准将灰度往高光部分压缩，容易造成视频高光区域的细节丢失；直方图均衡只在全局进行色彩空间的映射，视频中正常的局部区域可能会缺乏足够的灰度范围来呈现细节；多重色调映射方法在增强过程中需要生成多张与原图大小一致的中间图像并建立图像金字塔，因此效率低下；基于本征分解的方法计算复杂、实际处理时所需时间较长，且现有的模型难以准确还原真实的光照情况；反相暗通道方法一般适用于户外大场景拍摄的视频，不具备普适性；基于统计学习的方法依靠大量的视频数据集，需要首先给定弱光视频及其人工增强后的视频进行训练，且处理效率较低。
技术实现思路
本专利技术的目的是克服上述现有方法存在的缺陷提供一种细节敏感的实时视频增强技术，对弱光视频进行细节敏感的光照增强，从而有效地使得视频中各个区域的细节得以清晰呈现，并利用采样加速方法对运行效率进行加速，在全高清分辨率尺寸下达到实时的增强速率。本专利技术的上述技术问题主要是通过以下技术方案得以解决的：一种细节敏感的实时弱光视频增强方法，包括以下步骤：步骤1，将视频图像帧转化为灰度图，并对其进行下采样处理，获得低分辨率灰度图；步骤2，采用多个参数对低分辨率灰度图进行多重灰度变换处理，获得变换图集；步骤3，对变换图集中的每张图像进行细节评估，获得权重图集，再将变换图集与权重图集进行快速融合，获得参照图；步骤4，重复步骤1-3获得视频每帧对应的参照图，再用改进的BGU(bilateralguidedupsampling)方法对其进行上采样，得到与视频同分辨率大小的灰度增强图；步骤5，利用色调恢复方法结合视频原图像帧对灰度增强图进行色调恢复，再合并所有彩色增强图，得到弱光增强后的视频。进一步的，步骤1中获得低分辨率灰度图的实现方式为，将灰度图划分成n×n大小的块，计算每个块的平均值，并按照块的位置重新组合成低分辨率灰度图。进一步的，所述步骤2中多重灰度变换的具体公式为：其中a取值为{2i|i＝1，2，...，m}，m为参数个数，x和f(x)分别是变换前和变换后灰度图中每个像素的灰度值。进一步的，所述步骤3中对变换图集中的每张图像进行细节评估，获得权重图集的具体方法为：对变换图集{I1，I2，...，Im}中的每一张图像计算其梯度图，再取梯度图的绝对值进行最大值滤波，获得权重图集{W1，W2，...，Wm}。进一步的，所述步骤3中将变换图集与权重图集进行快速融合，获得参照图的具体方法为：对变换图集{I1，I2，...，Im}及对应的权重图集{W1，W2，...，Wm}，用以下公式获得融合后的图像其中为权重图集的归一化图：Gaussian表示基于DCT(discretecosinetransform)的快速高斯滤波方法，滤波参数：σ＝min(r，c)/2，其中r和c分别为权重图像素的行数和列数。进一步的，所述步骤4中改进的BGU方法为：步骤4.1，将步骤1中增强前的低分辨率灰度图序列与步骤3中增强后的参照图序列建立3D双边网格序列；步骤4.2，将双边网格序列按照视频帧的时间顺序组合起来，得到一个4D双边网格H；步骤4.3，利用4D高斯核对H进行滤波，得到H′；步骤4.4，利用H′结合快速三线性插值方法对视频每帧高分辨率灰度图像Gi进行变换，获得增强后的高分辨率灰度图像进一步的，步骤5中利用公式对视频每帧对应的灰度增强图进行色调恢复，其中s＝0.5，ε＝10-6，从而获得RGB增强图像本专利技术还提供一种细节敏感的实时弱光视频增强系统，包括以下模块：低分辨率灰度图获取模块，用于将视频图像帧转化为灰度图，并对其进行下采样处理，获得低分辨率灰度图；多重灰度变换处理模块，用于采用多个参数对低分辨率灰度图进行多重灰度变换处理，获得变换图集；参照图获取模块，用于对变换图集中的每张图像进行细节评估，获得权重图集，再将变换图集与权重图集进行快速融合，获得参照图；灰度增强图获取模块，用于重复上述三个模块获得视频每帧对应的参照图，再用改进的BGU(bilateralguidedupsampling)方法对其进行上采样，得到与视频同分辨率大小的灰度增强图；色调恢复模块，用于利用色调恢复方法结合视频原图像帧对灰度增强图进行色调恢复，再合并所有彩色增强图，得到弱光增强后的视频。进一步的，所述多重灰度变换处理模块中多重灰度变换的具体公式为：其中a取值为{2i|i＝1，2，...，m}，m为参数个数，x和f(x)分别是变换前和变换后灰度图中每个像素的灰度值。进一步的，所述参照图获取模块的具体实现方式如下：对变换图集{I1，I2，...，Im}中的每一张图像计算其梯度图，再取梯度图的绝对值进行最大值滤波，获得权重图集{W1，W2，...，Wm}；对变换图集{I1，I2，...，Im}及对应的权重图集{W1，W2，...，Wm}，用以下公式获得融合后的图像其中为权重图集的归一化图：Gaussian表示基于DCT(discretecosinetransform)的快速高斯滤波方法，滤波参数：σ＝min(r，c)/2，其中r和c分别为权重图像素的行数和列数。本专利技术有如下优点：1.本专利技术的多重灰度变换方法能够防止视频在增强中产生的过曝光现象；2.本专利技术的细节评估方法能够将视频各个区域的亮度调节到细节最丰富的程度；3.本专利技术基于DCT高斯滤波的快速融合方法能够减少内存需求并提高运算效率；4.本专利技术改进的BGU方法能够大大减少增强过程消耗的时间，达到实时速率，并且使得增强前后具有连贯性，减少帧间瑕疵。附图说明图1是现有灰度映射方法和本专利技术灰度变换方法的比较，其中，(a)图为UnderexposedVideoEnhancementviaPerceptionDrivenProgressiveFusion中的色调映射函数，(b)图为本专利技术的灰度变换函数。图2是采用图1中两种函数最终增强结果的比较，其中，(a)为输入图像，(b)为采用色调映射的结果，(c)为采用本专利技术的灰度变换结果。图3是图像评估方法的比较，(a)为输入图像，(b)为采用ExposureFusion和UnderexposedVideoEnhancementviaPerceptionDrivenProgressiveFusion中的图像视觉感知方法得到的最终增强结果，(c)为采用本专利技术的细节敏感评估得到的最终增强结果。图4是本专利技术对单层融合(SingleScaleFusion)的改进结果，(a)为输入图像，(b)为采用单层融合方法的结果，(c)为本专利技术改进后的结果。图5是本专利技术的数据流图。具体实施方式下面结合附图和实施例对本专利技术的技术方案作进一步说明。如图5所示，一种细节敏感的实时本文档来自技高网...

【技术保护点】
1.一种细节敏感的实时弱光视频增强方法，其特征在于，包括以下步骤：步骤1，将视频图像帧转化为灰度图，并对其进行下采样处理，获得低分辨率灰度图；步骤2，采用多个参数对低分辨率灰度图进行多重灰度变换处理，获得变换图集；步骤3，对变换图集中的每张图像进行细节评估，获得权重图集，再将变换图集与权重图集进行快速融合，获得参照图；步骤4，重复步骤1‑3获得视频每帧对应的参照图，再用改进的BGU(bilateral guided upsampling)方法对其进行上采样，得到与视频同分辨率大小的灰度增强图；步骤5，利用色调恢复方法结合视频原图像帧对灰度增强图进行色调恢复，再合并所有彩色增强图，得到弱光增强后的视频。

【技术特征摘要】
1.一种细节敏感的实时弱光视频增强方法，其特征在于，包括以下步骤：步骤1，将视频图像帧转化为灰度图，并对其进行下采样处理，获得低分辨率灰度图；步骤2，采用多个参数对低分辨率灰度图进行多重灰度变换处理，获得变换图集；步骤3，对变换图集中的每张图像进行细节评估，获得权重图集，再将变换图集与权重图集进行快速融合，获得参照图；步骤4，重复步骤1-3获得视频每帧对应的参照图，再用改进的BGU(bilateralguidedupsampling)方法对其进行上采样，得到与视频同分辨率大小的灰度增强图；步骤5，利用色调恢复方法结合视频原图像帧对灰度增强图进行色调恢复，再合并所有彩色增强图，得到弱光增强后的视频。2.根据权利要求1所述的一种细节敏感的实时弱光视频增强方法，其特征在于：步骤1中获得低分辨率灰度图的实现方式为，将灰度图划分成n×n大小的块，计算每个块的平均值，并按照块的位置重新组合成低分辨率灰度图。3.根据权利要求1所述的一种细节敏感的实时弱光视频增强方法，其特征在于：所述步骤2中多重灰度变换的具体公式为：其中a取值为{2i|i＝1，2，...，m}，m为参数个数，x和f(x)分别是变换前和变换后灰度图中每个像素的灰度值。4.根据权利要求1所述的一种细节敏感的实时弱光视频增强方法，其特征在于：所述步骤3中对变换图集中的每张图像进行细节评估，获得权重图集的具体方法为：对变换图集{I1，I2，...，Im}中的每一张图像计算其梯度图，再取梯度图的绝对值进行最大值滤波，获得权重图集{W1，W2，...，Wm}。5.根据权利要求4所述的一种细节敏感的实时弱光视频增强方法，其特征在于：所述步骤3中将变换图集与权重图集进行快速融合，获得参照图的具体方法为：对变换图集{I1，I2，...，Im}及对应的权重图集{W1，W2，...，Wm}，用以下公式获得融合后的图像其中为权重图集的归一化图：Gaussian表示基于DCT(discretecosinetransform)的快速高斯滤波方法，滤波参数：σ＝min(r，c)/2，其中r和c分别为权重图像素的行数和列数。6.根据权利要求1所述的一种细节敏感的实时弱光视频增强方法，其特征在于：所述步骤4中改进的BGU方法为：步骤4.1，将步骤1中增强前的低分辨率灰度图序列与步骤3中增强后...

【专利技术属性】
技术研发人员：肖春霞，段炼，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42