一种基于时间域的雨线分解和空间结构引导的视频去雨方法技术

本发明专利技术属于计算机视觉技术领域，提供了一种基于时间域的雨线分解和空间结构引导的视频去雨方法。我们从位置和强度两个方面处理每帧的雨条纹，定义了一种可学习的分解方式来学习雨分布，位置引导图作用于与强度有关的单帧去雨块上，以准确地去除雨条纹。其次，我们构建带有边缘引导图的多帧融合模块，以融合时间空间信息，同时恢复背景并保留更多细节。大量实验表明，与其他最新方法相比，我们的算法在视频去雨任务方面表现出色。关于网络架构的消融性实验充分表明了我们的网络的有效性。

【技术实现步骤摘要】
一种基于时间域的雨线分解和空间结构引导的视频去雨方法
本专利技术属于计算机视觉领域，涉及一种基于时间域的雨线分解和空间结构引导的视频去雨方法。
技术介绍
在日常生活当中，人们经常会受到恶劣天气的影响，比如大雾天气、大雪天气、暴雨天气，这些恶劣天气不仅影响着人们的正常出行，还会对拍摄的图像或者视频造成干扰降质。在室外计算机视觉应用中，降雨算是比较常见的恶劣天气条件，同时也是一个具有挑战性的问题，会在小部分区域造成严重的强度和光线波动，人们的视线的可见度和摄像设备的清晰程度都会受到很大影响，这些设备拍摄到的照片和录像会出现图像降质、噪声增多遮挡重要背景信息、应用信息较少等情况，在不同的领域中都会遇到这样的问题，图像噪声多、细节信息缺实在很多时候会影响使用者的使用和视觉系统本身的性能降低。因此，在实际的视频分析场景中，消除视频序列中的雨线至关重要。由于有雨视频序列是在室外拍摄的，周围环绕着各种移动物体，因此很难将雨水条纹与复杂的背景纹理完全区分开。因此，由于降雨的稀疏性和不对称性以及相关的定义降雨条纹的复杂程度，在计算机视觉研究中越来越重视去雨问题，因为目前的方法仍然存在些许问题，例如存在细节模糊平滑，以及不理想的去雨效果。现在已经有人提出了很多种方法来提升在有雨条件下拍摄照片和视频的能见度，这些方法总体来说可以被分成两类：基于视频的去雨方法和基于单幅图像的去雨方法。基于图像的去雨方法是大多数研究人员研究的热点，比较新提出的一种方法是将输入图像分成低频部分(结构层)和高频部分(细节层)两部分进行去雨的方式。高频部分包括了雨迹和物体的边缘信息。这个方法尝试使用利用HOG特征的基于字典学习的稀疏表示方法将雨迹从高频部分分离出来。将图像的低频部分和分离后的高频部分的相结合的方式获得输出去雨的图像。尽管分解的想法很简洁，但是其设计的网络结构十分复杂，而且效果也不是十分理想。这种方式产生的结果都会由于高频部分的缺失使背景变得模糊。这个问题在采用相似想法的方法中都有体现。还有部分方法假设椭圆形，垂直方向的痕迹为雨滴并使用非线性的均值滤波方式来去除雨迹。这种方式对于部分雨迹的例子是有效果的，但是并不是所有雨滴的角度，比例和密度都是一样的，所以他对一些特定的雨迹识别效果非常差。目前，在处理单幅图像去雨的问题上深度学习算法成为了主流，深度卷积神经网络对特征的强大表达能力为刻画雨的特征提供了很好的基础。在使用卷积神经网络处理去雨的方法中，一种用于单幅图像去雨的网络体系结构，利用深度残差网络(ResNet)作为主干的去雨网络并结合图像处理领域的方法将输入和输出映射到更加稀疏的黑色背景中，这样更容易训练网络，解决了网络难以训练的问题。有的方法考虑了到之前针对去雨的算法没有考虑在内的雨的密度信息，并结合密集连接网络设计了带有区别雨线密度信息的多流密集连接网络。有的方法提出了一种新的有雨图像的建模和新颖的单幅图像去雨网络算法，能够很好的处理大雨和雨中带有雾气的情况。但是这些算法有的对雨线特征刻画的不完整导致去雨不干净，有些算法的结果导致图像过度平滑，图像背景恢复的不够完好。还有一部分是基于视频的去雨方法，与单幅图像去雨方法相比，视频去雨依赖的更多的是时间信息，通过利用相邻几帧的时间信息来补充当前帧的缺失信息。早期的去雨方法都是一些视频片段的雨迹检测和去除的方法。这些检测方法都基于两个假设条件：第一，由于雨线是动态的，他们在一小段连续帧间的像素值变化非常大。第二，由于画面中的其他物体也有可能是动态变化的，可以通过使用验证条状像素值变化是否和背景的像素值变化呈线性相关的方法将动态变换的物体和雨线进行区分。第二条限制条件可以减少将视频帧中的其他动态变化物体误当作雨线进行处理的情况。从视频帧中检测到雨线之后，可以通过对视频帧前后连续帧中的相应位置像素值中取平均值来替代原来检测出为雨线的点的像素值的方式来去除视频帧中的雨线。随着时间推移，基于传统物理和数学建模的视频去雨方法显现出很多明显问题，例如先验设计复杂，耗费时间长，去雨效果不理想等等。现在基于深度学习神经网络的视频去雨方法逐渐崭露头角，利用大量数据训练联合深度网络模型，形成可学习的网络结构，可以很好地解决视频中大雨小雨的问题。但是还是存在由于雨定位不准确，导致去雨效果不好，周边背景细节没有较为完整的保留的问题。
技术实现思路
我们提出了一种基于时间域的雨线分解和空间结构引导的多帧去雨网络，以更有效地完成视频去雨。具体来说，我们从位置和强度两个方面处理每帧的雨条纹，定义了一种可学习的分解方式来学习雨分布，位置引导图作用于与强度有关的单帧去雨块上，以准确地去除雨条纹。然后，我们构建带有边缘引导图的多帧融合模块，以融合时间空间信息，同时恢复背景并保留更多细节。本专利技术的技术方案：一种基于时间域的雨线分解和空间结构引导的视频去雨方法，步骤如下：步骤一、单帧增强模块(SFE-Module)的构建在视频去雨的单帧增强模块(SFE-Module)中，雨的模型表示如下：Ot＝Bt+Mt·Rtt＝1,2,…,N(1)其中，Ot为要对其进行去雨恢复的有雨视频帧，Bt为去雨后的清晰的背景视频帧，Rt为雨条纹，Mt代表雨条纹位置特征，称为位置特征图；t和N分别表示当前时间步长和带有视频帧的总数；构建的单帧增强模块将雨条纹分解成雨位置和雨强度特征，更能精准描述雨的特性。对于雨条纹的强度特征，建立单帧去雨子模块(SD-Block)以估计雨条纹的强度，作为先行步骤；单帧去雨子模块是编码器-解码器(Encoder-Decoder)的结构，类似于U-Net架构。为了准确地预测雨条纹强度，使用六个密集块来代替卷积层，从而增强了网络结构。为了充分利用当前帧的空间信息，构建带有雨条纹检测的位置特定子模块(LS-Block)，它由三个卷积层(convolutionlayer)，一个平均池化层(averagepoolinglayer)和两个完全连接(FC)层组成；位置特定子模块为雨线区域分配不同的权重，着重于雨条纹的位置，并可自适应地重新校准每个区域的特征；利用雨条纹层获得特定雨位置的特征图，并将这些权重参数乘以单帧去雨子模块，更准确地描述雨条纹的分布。通过单帧去雨子模块(SD-Block)和位置特定子模块(LS-Block)可准确地定位雨条纹并更好地估计每帧的背景信息。步骤二、多帧融合模块(MFF-Module)的构建对于视频去雨来说，如何引入时间信息特征最为关键。我们对单帧增强模块(SFE-Module)中的背景进行了初步估计。预处理后的帧被输入到逐帧对齐子模块(FA-Block)，并计算帧与帧之间的运动，以更准确地填充雨区域。我们假设fi→(i+1)表示第i个帧与第i+1个帧之间的光流，并且选择中间帧作为参考帧。如图1所示，我们首先使用SpyNet提取光流，该SpyNet是由四个相同的子网络组成的空间金字塔网络来估计光流量，并且预训练好该网络。光流估计网络由具有相同结构和参数的n-1个(n为输入网络的视频帧数)SpyNet组本文档来自技高网...

【技术保护点】
1.一种基于时间域的雨线分解和空间结构引导的视频去雨方法，其特征在于，步骤如下：/n步骤一、单帧增强模块的构建/n在视频去雨的单帧增强模块中，雨的模型表示如下：/nO

【技术特征摘要】
1.一种基于时间域的雨线分解和空间结构引导的视频去雨方法，其特征在于，步骤如下：
步骤一、单帧增强模块的构建
在视频去雨的单帧增强模块中，雨的模型表示如下：
Ot＝Bt+Mt·Rtt＝1,2,…,N(1)
其中，Ot为要对其进行去雨恢复的有雨视频帧，Bt为去雨后的清晰的背景视频帧，Rt为雨条纹，Mt代表雨条纹位置特征，称为位置特征图；t和N分别表示当前时间步长和带有视频帧的总数；构建的单帧增强模块将雨条纹分解成雨位置和雨条纹的强度特征，更精准描述雨的特性；
对于雨条纹的强度特征，建立单帧去雨子模块以估计雨条纹的强度，作为先行步骤；单帧去雨子模块是编码器-解码器的结构；为了准确地预测雨条纹强度，使用六个密集块来代替卷积层，从而增强了网络结构；
为了充分利用当前帧的空间信息，构建带有雨条纹检测的位置特定子模块，它由三个卷积层，一个平均池化层和两个完全连接层组成；位置特定子模块为雨线区域分配不同的权重，着重于雨条纹的位置，并可自适应地重新校准每个区域的特征；利用雨条纹层获得特定雨位置的特征图，并将这些权重参数乘以单帧去雨子模块，更准确地描述雨条纹的分布；通过单帧去雨子模块和位置特定子模块可准确地定位雨条纹并更好地估计每帧的背景信息；
步骤二、多帧融合模块的构建
对单帧增强模块中的背景进行初步估计；预处理后的帧被输入到逐帧对齐子模块，并计算帧与帧之间的运动，以更准确地填充雨区域；
假设fi→(i+1)表示第i个帧...

【专利技术属性】
技术研发人员：薛昕惟，丁莹，刘日升，王祎，樊鑫，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21