【技术实现步骤摘要】
本专利技术涉及图像处理，特别是涉及视频去雨方法、系统、设备及存储介质。
技术介绍
1、本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
2、从室外视觉系统捕获的图像和视频经常受到恶劣天气条件的影响。作为一种常见情况，降雨会导致一系列能见度下降，严重影响室外视觉系统的性能，因此，从视频或单个图像中去除雨水的研究一直是计算机视觉和模式识别领域的研究热点。为了解决这个问题，研究人员提出了许多基于经典优化方法或深度神经网络的雨纹去除方法。
3、近年来，人们提出了一系列视频雨水去除方法。与图像去雨方法相比，视频去雨必须考虑如何建模和利用连续视频帧之间固有的时间相关性。因此，视频雨水清除是一项更具挑战性的任务。根据不同的驱动方法，视频雨水去除方法可分为两类：模型驱动方法和数据驱动方法。传统的方法主要采用模型驱动的方法，尤其注重充分利用雨水的物理特性和背景场景的先验知识，而基于学习的方法通常采用数据驱动方式，通过设计特定的网络架构和成对的雨天视频数据集来学习网络参数以获得更好的去雨效果。尽管这些方法在某些场景中被证明是有效的，但在处理不同的雨天视频时，其受到主观人工设计的先验知识的限制或者无法很好地对齐多个帧，获得的去雨结果往往是不理想的。
技术实现思路
1、为了解决现有技术的不足，本专利技术提供了视频去雨方法、系统、设备及存储介质；
2、一方面，提供了视频去雨方法；
3、视频去雨方法，包括：
4、获取待处理的
5、将待处理的视频，输入到训练后的视频去雨网络中，得到去雨后的视频；
6、其中，训练后的视频去雨网络，用于实现对待处理的视频图像进行特征提取，得到每一幅图像的局部特征和全局特征，对局部特征和全局特征进行聚合得到初级特征；再对所有图像的初级特征进行时间建模，得到空间特征和时间特征；对空间特征和时间特征进行重建得到重建特征；对重建特征进行上采样处理，并对上采样处理结果进行细节增强，得到细节增强图像；将细节增强图像与待处理的原始图像进行逐像素相加，得到最终输出图像。
7、另一方面，提供了视频去雨系统；
8、视频去雨系统，包括：
9、获取模块，其被配置为：获取待处理的视频；
10、去雨模块，其被配置为：将待处理的视频，输入到训练后的视频去雨网络中，得到去雨后的视频；
11、其中，训练后的视频去雨网络，用于实现对待处理的视频图像进行特征提取，得到每一幅图像的局部特征和全局特征，对局部特征和全局特征进行聚合得到初级特征；再对所有图像的初级特征进行时间建模，得到空间特征和时间特征；对空间特征和时间特征进行重建得到重建特征；对重建特征进行上采样处理，并对上采样处理结果进行细节增强，得到细节增强图像；将细节增强图像与待处理的原始图像进行逐像素相加，得到最终输出图像。
12、再一方面，还提供了一种电子设备，包括：
13、存储器，用于非暂时性存储计算机可读指令；以及
14、处理器，用于运行所述计算机可读指令，
15、其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
16、再一方面，还提供了一种存储介质，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
17、再一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
18、上述技术方案具有如下优点或有益效果：
19、本专利技术提出了一个使用混合transformer聚合全局和局部表示的视频去雨网络，其充分发挥transformer和cnn的各自优势以获取更好的去雨性能。大量实验证明了vdn-ht的有效性。据本专利技术所知，这是首次尝试采用transformer进行视频去雨。
20、本专利技术提出使用基于transformer的u-net结构，串行地提取并聚合全局和局部特征，以处理不同类型的雨天视频。
21、本专利技术提出了一个transformr和cnn并行的全局-局部重建块，它分别考虑了重建过程中的全局和局部信息，以增强重建帧全局和局部的一致性。
22、本专利技术设计了一个用于视频去雨的基于门控的细化模块和颜色损失函数，以更好地保留去雨过程中细节信息和颜色信息。
本文档来自技高网...【技术保护点】
1.视频去雨方法，其特征是，包括：
2.如权利要求1所述的视频去雨方法，其特征是，所述训练后的视频去雨网络，训练过程包括：
3.如权利要求1所述的视频去雨方法，其特征是，所述训练后的视频去雨网络，包括：
4.如权利要求3所述的视频去雨方法，其特征是，所述基于Transformer的特征提取模块，包括：
5.如权利要求4所述的视频去雨方法，其特征是，所述第一局部Transformer层、第二局部Transformer层、第三局部Transformer层、第四局部Transformer层和第五局部Transformer层的内部结构是一样的，所述第一局部Transformer层，内部包括：
6.如权利要求3所述的视频去雨方法，其特征是，所述基于Transformer的跨多帧时间建模模块，具体包括：
7.如权利要求3所述的视频去雨方法，其特征是，全局-局部重建模块，包括：并列的第一分支和第二分支；
8.视频去雨系统，其特征是，包括：
9.一种电子设备，其特征是，包括：
10.一种存
...【技术特征摘要】
1.视频去雨方法，其特征是，包括：
2.如权利要求1所述的视频去雨方法，其特征是，所述训练后的视频去雨网络，训练过程包括：
3.如权利要求1所述的视频去雨方法，其特征是，所述训练后的视频去雨网络，包括：
4.如权利要求3所述的视频去雨方法，其特征是，所述基于transformer的特征提取模块，包括：
5.如权利要求4所述的视频去雨方法，其特征是，所述第一局部transformer层、第二局部transformer层、第三局部transformer层、第四局部transformer层和第五局部transform...
【专利技术属性】
技术研发人员：高珊珊，毛德乾，李镇宇，李磊，徐敏峰，
申请(专利权)人：山东财经大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。