有雾视频处理方法及计算机可读存储介质技术

本发明专利技术公开了一种有雾视频处理方法及计算机可读存储介质。所述方法包括以下步骤：步骤一，获取视频帧，计算所获取的当前视频帧的暗通道图；步骤二，判断存储在缓存介质中的历史视频帧的暗通道图的数量是否大于预设阈值，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，转至步骤三；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，则以所述当前视频帧的暗通道图作为重建图，转至步骤四；步骤三，对所述当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析，得到重建图；步骤四，基于重建图，计算所述当前视频帧的传输图。利用本发明专利技术能够对有雾视频进行去雾处理。

Foggy video processing method and computer readable storage medium

The invention discloses a foggy video processing method and a computer readable storage medium. The method includes the following steps: first, a video frame is obtained and a dark channel diagram of the current video frame obtained is calculated; step two determines whether the number of dark channel graphs of the historical video frame stored in the cache medium is larger than the default threshold, if the number of dark channel graphs stored in the historical video frame in the cache medium is stored. Greater than the preset threshold value is turned to step three; if the number of dark channel graphs of a historical video frame stored in a cache medium is less than the preset threshold, a dark channel graph of the current video frame is taken as a reconstruction diagram, to step four; step three, a dark channel graph of the current video frame and a cache medium stored in the buffer medium. The dark channel graph of the historical video frame is analyzed online by the principal component analysis, and the reconstruction diagram is obtained. Step four, based on the reconstruction diagram, calculates the transmission graph of the current video frame. The fog can be processed by fog.

【技术实现步骤摘要】
有雾视频处理方法及计算机可读存储介质
本专利技术涉及一种有雾视频处理方法及计算机可读存储介质。
技术介绍
雾天条件下，采集设备获取的图像会出现对比度下降、颜色失真等现象，造成细节信息的缺失，直接限制和接影响了视频监控、遥感导航等信息系统效用的发挥，降低后续图像分析方法的稳定性。随着计算机视觉应用的日益广泛和计算机技术发展与成熟，图像去雾技术逐渐受到了全世界研究人员的关注。图像去雾技术是指通过一定的方法和手段，去除天气因素对图像质量的影响，恢复有效的图像细节信息，获得效果较好的高质量图像的过程。目前，基于物理模型的图像去雾方法，通常建立图像退化模型I＝JT+A(1-T)其中，I为输入的待去雾图像，J为去雾后的图像，A为大气光(AirLight)，T为传输图(TransmissionMap)。去雾问题可转化为已知I，分别估计A和T，进而获得J或其近似值的过程。在获得大气光A之后，需要对T进行估计。T是一个与图像大小尺寸相同的矩阵，当A确定后，T的取值由雾浓度确定。如果使用暗通道D刻画雾浓度，T的计算公式为其中λ∈(0,1]为常数。关于暗通道，以RGB彩色图像为例，取图像各像素点三个通道的最小值称为暗通道，计算公式为目前，关于视频中估计T的方法包括两类：第一类方法是直接估计每一视频帧的传输图，即将每一视频帧当作单幅图像逐帧独立处理，估计其传输图。申请号为201210125321.5、201410153491.3、201410271513.6和201310189056.1的中国专利申请分别公开了四种视频帧图像去雾方法，其将当前视频帧作为单幅图像处理，属于上述第一类方法。第二类方法是只独立估计初始时刻的传输图，后续时刻的传输图利用视频帧之间的关系进行处理。以上两类方法的处理结果基本相同，但第一类方法较为耗时，而第二类方法的效率较高。具体来讲，第二类方法主要采用马尔科夫场(MarkovField)建立视频空间-时间域的连续性约束。第二类方法可通过两种具体方法实现：第一种方法是使用引导滤波计算初步的传输图，通过光流建立的误差图建立前后时刻传输图之间的时域空马尔科夫场，实现传输图的改善与更新。但是，由于需要计算初步的传输图和光流，导致第一种方法的处理效率较低；第二种方法是建立灰度值先验(IntensityValuePrior)，认为雾浓度越浓，图像灰度值越大，雾浓度图通过暗通道图刻画，基于此，通过MRF建立图像像素值与当前和临近时刻暗通道(雾浓度图)之间的关系，通过雾浓度图计算传输图。第二种方法在除雾处理准确性和效率方面都取得了不错的效果，但实际是通过图像帧的连续性间接建立起了雾浓度的连续性，并未直接考虑雾浓度在时空域上的连续关系。此外，申请号为201510056025.8的中国专利申请公开了一种监控视频的实时去雾方法，使用与待处理视频帧最相似的过去时刻视频帧传输图作为计算结果。但是，该方法需要存储过去的所有传输图并进行匹配搜索计算，复杂度较高。申请号为201510990786.0的中国专利申请公开了一种应用于视频监控系统的实时视频去雾方法，将当前帧图像与前一帧图像进行实时比对分析，得到当前帧图像中的透射率共用区域和透射率待求区域，对共用区域直接使用上一帧的结果，对待求区域重新计算。但是，该方法减少了视频传输图的计算量，当共用区域较小时，计算量仍然较大。综上，已有的有雾视频处理方法大多是将视频帧看作单幅图像进行独立处理，或是通过视频图像的连续性建模，没有充分挖掘雾浓度的时空特性，且计算流程相对更为复杂。
技术实现思路
有鉴于此，本专利技术提出一种有雾视频处理方法及计算机可读存储介质，对于有雾视频图像，能够建立视频帧之间雾浓度图(暗通道)的直接表示关系，优化传输图计算流程，从而在更短的处理时间内提供更为贴近实际的传输图估计结果。根据本专利技术的一个方面，本专利技术的有雾视频处理方法包括以下步骤：步骤一，获取视频帧，计算所获取的当前视频帧的暗通道图；步骤二，判断存储在缓存介质中的历史视频帧的暗通道图的数量是否大于预设阈值，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，转至步骤三；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，则以所述当前视频帧的暗通道图作为重建图，转至步骤四；步骤三，对所述当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析，得到重建图；步骤四，基于重建图，计算所述当前视频帧的传输图。根据本专利技术的方法，优选地，步骤三中，对所述当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析包括：将所述当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图列向量化并联立，计算和更新均值矩阵、基矩阵、特征值矩阵和遗忘因子。根据本专利技术的方法，优选地，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，所述方法还包括将步骤三的重建图存储至所述缓存介质，作为下一帧的历史视频帧的暗通道图；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，所述方法还包括将步骤一的当前视频帧的暗通道图存储至所述缓存介质，作为下一帧的历史视频帧的暗通道图。根据本专利技术的方法，优选地，在步骤一之前，所述方法还包括对前n帧视频帧进行缓存预处理步骤，该缓存预处理步骤包括：计算前n帧视频帧中各个视频帧的暗通道图，将计算结果存储在缓存介质中，作为下一帧的历史视频帧的暗通道图。根据本专利技术的方法，优选地，该缓存预处理步骤具体包括：预先设定自然数n，读入前n帧视频帧I1,I2,...In，各帧大小为k×m，按照如下公式计算前n帧视频帧中各个视频帧的暗通道图：其中，表示第i彩色视频帧I的红(r)、绿(g)和蓝(b)通道图像；min()表示求矩阵各个位置红(r)、绿(g)和蓝(b)三个通道值中最小值的函数；将各个视频帧的计算结果转化为列向量形式，组成矩阵D，表示为Dn＝[D1,D2,...Dn](k×m)×n，将计算结果矩阵D存储在缓存介质中，作为下一帧的历史视频帧的暗通道图。根据本专利技术的方法，优选地，将第n+1帧视频帧作为步骤一所述的当前视频帧，并按照如下方式执行步骤三：以均值矩阵Mn、基矩阵Bn、特征值矩阵Σn、遗忘因子fn∈(0,1]和表示系数Cn为初始化参数，其中，Mn大小为(k×m)×1；先对Dn各列分别进行均值滤波，再对滤波结果求行方向的均值矩阵Mn；对Dn进行奇异值分解获得Σn，计算公式为：[Bn,Σn,V]＝svd(Dn)(3)Cn＝B′n×(Dn-Mn)(4)其中，V表示奇异值分解出来的除了Mn和Bn之外的另一个矩阵，B′n表示Bn的转置矩阵；median()表示均值滤波函数，svd()表示奇异值分解，遗忘因子fn∈(0,1]由人工设定；按照公式(5)计算历史视频帧的暗通道图的重建图Rn+1：Rn+1＝Mn+Bn×Cn(5)按照公式(1)计算第n+1帧视频帧的暗通道图Dn+1，并将Dn+1加入至矩阵D的第n+1列，表示为Dn+1＝[D1,D2,...Dn,Dn+1](k×m)×(n+1)；基于当前视频帧的暗通道图和/或历史视频帧的暗通道图，使用K-L变换更新均值矩阵Mn、基矩阵Bn、特征值矩阵Σn和遗忘因子fn∈(0,1]，从而获得当本文档来自技高网...

【技术保护点】
1.一种有雾视频处理方法，其特征在于，所述方法包括以下步骤：步骤一，获取视频帧，计算所获取的当前视频帧的暗通道图；步骤二，判断存储在缓存介质中的历史视频帧的暗通道图的数量是否大于预设阈值，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，转至步骤三；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，则以当前视频帧的暗通道图作为重建图，转至步骤四；步骤三，对当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析，得到重建图；步骤四，基于重建图，计算当前视频帧的传输图。

【技术特征摘要】
1.一种有雾视频处理方法，其特征在于，所述方法包括以下步骤：步骤一，获取视频帧，计算所获取的当前视频帧的暗通道图；步骤二，判断存储在缓存介质中的历史视频帧的暗通道图的数量是否大于预设阈值，如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，转至步骤三；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，则以当前视频帧的暗通道图作为重建图，转至步骤四；步骤三，对当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析，得到重建图；步骤四，基于重建图，计算当前视频帧的传输图。2.根据权利要求1所述的方法，其特征在于，步骤三中，对当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图进行在线主成分分析包括：将当前视频帧的暗通道图和存储在缓存介质中的历史视频帧的暗通道图列向量化并联立，计算和更新均值矩阵、基矩阵、特征值矩阵和遗忘因子。3.根据权利要求1所述的方法，其特征在于：如果存储在缓存介质中的历史视频帧的暗通道图的数量大于所述预设阈值，所述方法还包括将步骤三的重建图存储至缓存介质，作为下一帧的历史视频帧的暗通道图；如果存储在缓存介质中的历史视频帧的暗通道图的数量小于所述预设阈值，所述方法还包括将步骤一的当前视频帧的暗通道图存储至缓存介质，作为下一帧的历史视频帧的暗通道图。4.根据权利要求1所述的方法，其特征在于，在步骤一之前，所述方法还包括对前n帧视频帧进行缓存预处理步骤，该缓存预处理步骤包括：计算前n帧视频帧中各个视频帧的暗通道图，将计算结果存储在缓存介质中，作为下一帧的历史视频帧的暗通道图。5.根据权利要求4所述的方法，其特征在于，该缓存预处理步骤具体包括：预先设定自然数n，读入前n帧视频帧I1,I2,...In，各帧大小为k×m，按照如下公式计算前n帧视频帧中各个视频帧的暗通道图：其中，表示第i彩色视频帧I的红(r)、绿(g)和蓝(b)通道图像；min()表示求矩阵各个位置红(r)、绿(g)和蓝(b)三个通道值中最小值的函数；将各个视频帧的计算结果转化为列向量形式，组成矩阵D，表示为Dn＝[D1,D2,...Dn](k×m)×n，将计算结果矩阵D存储在缓存介质中，作为下一帧的历史视频帧的暗通道图。6.根据权利要求5所述的方法，其特征在于，将第n+1帧视频帧作为步骤一所述的当前视频帧，并按照如下方式执行步骤三：以均值矩阵Mn、基矩阵Bn、特征值矩阵Σn、遗忘因子fn∈(0,1]和表示系数Cn为初始化参数，其中，Mn大小为(k×m)×1；先对Dn各列分别进行均值滤波，再对滤波结果求行方向的均值矩阵Mn；对Dn进行奇异值分解获得Σn，计算公式为：[Bn,Σn,V]＝svd(Dn)(3)Cn＝B′n×(Dn-Mn)(4)其中，V表示奇异值分解出来的除了Mn和Bn之外的另一个矩阵，B′n表示Bn的转置矩阵；median()表示均值滤波函数，svd()表示奇异值分解，遗忘因子fn∈(0,1]由人工设定；按照公式...

【专利技术属性】
技术研发人员：薛明，张润田，李振平，
申请(专利权)人：国家安全生产监督管理总局通信信息中心，
类型：发明
国别省市：北京,11