一种基于多尺度卷积稀疏编码的视频去雨雪方法技术

一种基于多尺度卷积稀疏编码的视频去雨雪方法，在低秩背景的假设下，同时估计视频中的雨雪成分和移动前景。首先，获取含有雨雪噪声的视频数据，初始化模型；根据雨雪和视频前景的特点建立雨雪图的生成模型；根据雨雪在视频中成像的结构特性——运动的雨雪在图像上是可重复的和多尺度的雨条局部块，建立关于雨雪的多尺度卷积稀疏编码模型；根据视频前景稀疏性的特点建立移动物体检测模型；在最大似然估计框架下将模型整合为去雨雪/模型；应用雨雪视频和去雨雪模型，得到去雨雪视频与其他统计变量，输出去雨雪视频。本发明专利技术旨在建立基于雨雪生成原理及雨雪噪声结构特性的高质量视频去雨雪模型，进而更准确地使得视频去雨雪技术可以广泛应用于更复杂的实际场景中。

A video deconvolution method based on multi-scale convolution sparse coding

Based on multi-scale convolution sparse coding, a video de-snow method is proposed. Under the assumption of low-rank background, the rain and snow components and moving foreground are estimated simultaneously. Firstly, the video data containing rain and snow noise are acquired to initialize the model; the rain and snow map generation model is established according to the characteristics of rain and snow and video foreground; and the multi-scale rolling of rain and snow is established according to the structural characteristics of rain and snow imaging in video, that is, the moving rain and snow are repeatable and multi-scale local blocks of rain and snow strips in the image. Sparse coding model; moving object detection model based on the characteristics of sparse video foreground; the model is integrated into a snow/rain removal model under the maximum likelihood estimation framework; the snow/rain removal video and other statistical variables are obtained by using snow/rain removal video and snow removal model, and the snow/rain removal video is output. The invention aims to establish a high quality video snow removal model based on the principle of rain and snow generation and the structure characteristics of rain and snow noise, thereby more accurately enabling the video snow removal technology to be widely used in more complex actual scenes.

【技术实现步骤摘要】
一种基于多尺度卷积稀疏编码的视频去雨雪方法
本专利技术涉及一种户外拍摄影像的视频图像处理技术，具体涉及一种多尺度卷积稀疏编码的视频去雨雪方法。
技术介绍
随着国家“天眼”工程的深入，室外监控视频发挥着越来越强的安保功能。但是由于室外拍摄系统的拍摄时常遭受恶劣天气(如雨、雪、雾)的影响，使得拍摄视频或图像的细节被破坏，背景部分被高亮的雨滴、雨条、雪块遮挡，导致无法利用拍摄的影像进行进一步的处理操作，如行人再识别、目标检测、图像分割与识别等。因此，视频图像去雨雪成为计算机视觉领域近年来兴起的一项技术。在保留视频图像细节的前提下，去雨雪技术对室外的视频图像进行处理，最大限度地恢复受影响的视频和图像，从而允许计算机视觉算法对视频图像精确地进行进一步的分析。去雨雪技术可以被总结归为两大类，基于频域信息的分析方法和基于时域信息的分析方法。基于频域信息的分析方法将图像变换到频域空间，将雨雪看成图像中的高频成分进行去除；基于时域信息的分析方法主要利用了图像中的雨雪具有的几类特性，如亮度特性，形状特性，色彩特性，空间特性等。在视频去雨雪方法中，一类方法基于雨雪的亮度特性，由于雨雪提高了视频背景的亮度，从而利用相邻帧之间的像素差判断该像素点是否被雨覆盖，但此类方法无法适用于大雨雪场景以及有移动前景的场景。由于雨雪的多样性和随机性，精确地分辨雨雪一直是去雨雪问题的关键。为了克服这类难题，许多去雨雪方法被相继提出：一类是基于概率的去雨雪方法，该方法通过统计雨雪引起像素值波动的规律进行雨雪初检，再对初检结果进行微调检测；一类是基于结构特性对雨雪进行建模的方法，如根据随机场刻画雨雪运动形成雨雪的动力学特性建模，根据雨雪的光学模型及雨雪的尺寸和方向角约束建模。现有技术一般通过刻画雨雪的典型特征或学习其区别于非雨雪图像的判别性信息等方式实现在视频中雨雪的检测与分离。这样的方法一方面着重于视频中雨雪的显著信息刻画，而并未充分考虑视频中雨雪层结构的整体信息，如视频中雨雪层的局部块是可重复的并且是多尺度的，因而现有技术并未充分利用视频中雨雪部分的整体信息导致去雨雪结果并不理想。另一方面，为了得到雨雪的特殊结构信息，近代出现了一些判别性的视频去雨雪方法，这些方法需要外在构造一个带雨雪/不带雨雪的有标注判别数据库来对雨雪进行结构学习。而这些标注信息对于实际中具有特定结构的带雨雪视频，一方面往往难以获得，或需要耗费大量人力物力获得，另一方面会带来对训练数据的bias问题，即训练结果只能对训练数据中出现的雨雪类型进行去雨雪，而对于未在训练数据中体现的雨雪视频，则无法获得有效视频去雨雪效果。
技术实现思路
本专利技术的目的在于提供一种无须预先标注带雨雪/不带雨雪数据的无监督视频的尺度卷积稀疏编码的视频去雨雪方法。为达到上述目的本专利技术采用的技术方案是：步骤S1：获取雨雪视频X∈Rh×w×T并初始化模型变量及参数，其中，w为视频的长宽，T为视频帧数；步骤S2：根据视频中雨雪的结构特性构造多尺度卷积稀疏编码的雨雪检测模型；步骤S3：根据视频前景支撑的结构特性和统计特性构建运动物体检测模型；步骤S4：根据监控视频背景的低秩特性构建视频背景恢复模型；步骤S5：在最大似然框架下整合步骤S2-S4中子模型为完整的视频去雨雪统计模型，并用迭代优化算法交替优化模型；步骤S6：以步骤S1获得的原雨雪视频为输入，应用基于多尺度卷积稀疏编码的去雨雪算法，获得去雨雪视频及其他统计变量。所述步骤S1中，对获取的雨雪视频X∈Rh×w×T分解为：X＝B+F+R其中，B,F,R∈Rh×w×T分别表示视频的背景，前景和雨雪层。所述步骤S2中，视频中雨雪对局部具有多尺度性和可重复性的结构特性，依据上述雨雪的特性用多尺度卷积稀疏编码来表示视频中的雨雪层信息：其中，R为视频的雨雪层；为卷积算子，为一系列卷积核，其表示了雨雪层局部模式的可重复性；为一系列特征图，其近似定位雨雪的位置；K表示卷积核总共有K个尺度，其中第k个尺度有nk个卷积核，由雨雪噪声在视频中的稀疏性可知：近似定位雨雪位置的特征图也是稀疏的，则根据特征图的稀疏性构建基于多尺度卷积稀疏编码的雨雪检测模型：其中，l(·,·)是用来度量两段视频之间相似性的损失函数。所述步骤S3中，根据视频前景支撑将视频分解为移动的前景和不动的背景两部分，形式如下：其中，为哈达玛乘积算子，其含义为矩阵对应元素逐项相乘，X为输入视频，H∈Rh×w×T为视频的移动前景支撑，其定义为：即H在视频中有移动前景的像素点处取值为1，其他地方取值为0，记H⊥代表H的正交补，即：H+H⊥＝1，代表原视频中无移动前景的部分。所述步骤S3中，根据视频中前景支撑的相对光滑稀疏特性和其前后帧的相似性构建以下运动物体检测模型来区分视频的前景目标：其中，F∈Rh×w×T为视频中的前景部分，l(·,·)是用来度量两段视频之间相似性的损失函数，3DTV代表对视频前后帧的三个方向右、下、后做全变分。所述步骤S4中，监控视频背景具有低秩性：B＝Fold(UVT)其中，U、V为视频背景的低秩分解，即U∈Rd×r,V∈RT×r，d＝h×w,r＜min(d,T)。'Fold'操作将低秩矩阵每一列展开成相应的视频帧。由上述视频背景的低秩性构造基于低秩矩阵分解的背景恢复模型，如下：s.t.r＜min(h×w,T)。所述步骤S5中，将S2-S4中子模型整合为完整的多尺度卷积稀疏编码的视频去雨雪模型：其中，参数集合Θ＝{U,V,H,F,R,D,M}。此模型可用迭代优化算法交替优化模型；在此求解算法中将相似性度量函数l(·,·)取做Frobenius范数，此时模型(1)的增广拉格朗日函数为：其中，T是朗格朗日乘子，ρ＞0。所述步骤S5中，采用迭代优化算法求解步骤S5中的多尺度卷积稀疏编码的视频去雨雪模型公式(2)：S5.1.1)给出模型(2)中交替方向乘子法的迭代格式与终止条件：其中，迭代终止条件是其中B＝Fold(UVT)S5.1.2)对问题(3)-(8)进行求解，给出迭代的具体算式；S5.1.3)设置迭代的初始值为：H0＝0，U0，V0由著名的奇异值分解方法作用在D上产生，初始高斯均值设为0，初始协方差矩阵是由随机矩阵对称正交化后获得；S5.1.4)进行(3)-(9)的迭代运算，直到迭代满足终止条件即似然函数下降速率小于阈值或迭代次数达到上限。对问题(3)-(8)进行具体的求解算式；S5.2.1)所述的(3)式，即求解如下的前景支撑的问题：该问题是一阶二值马尔科夫随机场问题，可用图割算法对H进行求解。S5.2.2)所述的(4)式，即求解如下的视频前景的问题：此问题可由典型的TV正则算法求解。S5.2.3)所述的(5)式，即求解如下的视频背景中U,V的问题：此问题是低秩矩阵分解问题，可用低秩矩阵分解求解。S5.2.4)所述的(6)式，即求解如下的特征图的问题：此问题是典型的卷积稀疏编码问题，通过引入辅助变量写出对应的等价式：引入拉格朗日乘子ξ和拉格朗日变量μsk，上述问题等价于其对应的ADMM算法迭代求解如下：可将上述子问题用FFT算法快速求解；上述子问题可通过收缩阈值算子解得：拉格朗日变量求解如下：S5.2.5)所述的(7)式，即求解如下的卷积核的问题：为了求解上述问题，让线性算子Mks满足其中本文档来自技高网...

【技术保护点】
1.一种基于多尺度卷积稀疏编码的视频去雨雪方法，其特征在于包括如下步骤：步骤S1：获取雨雪视频X∈Rh×w×T并初始化模型变量及参数，其中h，w为视频的长宽，T为视频帧数；步骤S2：根据视频中雨雪的结构特性构造多尺度卷积稀疏编码的雨雪检测模型；步骤S3：根据视频前景支撑的结构特性和统计特性构建运动物体检测模型；步骤S4：根据监控视频背景的低秩特性构建视频背景恢复模型；步骤S5：在最大似然框架下整合步骤S2‑S4中子模型为完整的视频去雨雪统计模型，并用迭代优化算法交替优化模型；步骤S6：以步骤S1获得的原雨雪视频为输入，应用基于多尺度卷积稀疏编码的去雨雪算法，获得去雨雪视频及其他统计变量。

【技术特征摘要】
1.一种基于多尺度卷积稀疏编码的视频去雨雪方法，其特征在于包括如下步骤：步骤S1：获取雨雪视频X∈Rh×w×T并初始化模型变量及参数，其中h，w为视频的长宽，T为视频帧数；步骤S2：根据视频中雨雪的结构特性构造多尺度卷积稀疏编码的雨雪检测模型；步骤S3：根据视频前景支撑的结构特性和统计特性构建运动物体检测模型；步骤S4：根据监控视频背景的低秩特性构建视频背景恢复模型；步骤S5：在最大似然框架下整合步骤S2-S4中子模型为完整的视频去雨雪统计模型，并用迭代优化算法交替优化模型；步骤S6：以步骤S1获得的原雨雪视频为输入，应用基于多尺度卷积稀疏编码的去雨雪算法，获得去雨雪视频及其他统计变量。2.根据权利要求1所述的基于多尺度卷积稀疏编码的视频去雨雪方法，其特征在于：所述步骤S1中，对获取的雨雪视频X∈Rh×w×T分解为：X＝B+F+R其中，B,F,R∈Rh×w×T分别表示视频的背景，前景和雨雪层。3.根据权利要求1所述的基于多尺度卷积稀疏编码的视频去雨雪方法，其特征在于：所述步骤S2中，视频中雨雪的局部模式具有多尺度性和可重复性的结构特性，依据上述雨雪的特性用多尺度卷积稀疏编码来表示视频中的雨雪层信息：其中，R为视频的雨雪层；为卷积算子，为一系列卷积核，其表示了雨雪层局部模式的可重复性；为一系列特征图，其近似定位了雨雪的位置；K表示卷积核总共有K个尺度，其中第k个尺度有nk个卷积核，由雨雪在视频中的稀疏性可知：近似定位雨雪位置的特征图也是稀疏的，则根据特征图的稀疏性构建基于多尺度卷积稀疏编码的雨雪检测模型：其中，l(·,·)是用来度量两段视频之间相似性的损失函数。4.根据权利要求1所述的基于多尺度卷积稀疏编码的视频去雨雪方法，其特征在于：所述步骤S3中，根据视频前景支撑将视频分解为移动的前景和不动的背景两部分，形式如下：其中，为哈达玛乘积算子，其含义为矩阵对应元素逐项相乘，X为输入视频，H∈Rh×w×T为视频的移动前景支撑，其定义为：即H在视频中有移动前景的像素点处取值为1，其他地方取值为0，记H⊥代表H的正交补，即：H+H⊥＝1，代表原视频中无移动前景的部分。5.根据权利要求1所述的基于多尺度卷积稀疏编码的视频去雨雪方法，其特征在于：所述步骤S3中，根据视频中前景支撑的相对光滑稀疏特性和其前后帧的相似性构建以下运动物体检测模型来区分视频的前景目标：其中，F∈Rh×w×T为视频中的前景部分，l(·,·)是用来度量两段视频之间相似性的损失函数，3DTV代表对视频前后帧的三个方向右、下、后做全变分。6.根据权利要求1所述的基于多尺度卷积稀疏编码的视频去雨雪方法，其特征在于：所述步骤S4中，监控视频背景具有低秩性：B＝Fold(UVT)其中，U、V为视...

【专利技术属性】
技术研发人员：孟德宇，李明晗，赵谦，谢琦，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61