【技术实现步骤摘要】
本专利技术属于图像处理领域，具体涉及一种渐进式视频去雨方法。
技术介绍
1、近年来，transformer被提出并应用到计算机视觉领域以解决卷积神经网络存在的一些局部感受野和输入内容相互独立的问题。transformer同样也被引入到图像恢复的任务中，因为transformer够更好地建模非局部信息，用于高质量图像重建，并取得了一个非常不错的性能。但是传统的transformer通常利用来自查询-键对的所有关注关系来聚合特征。然而，由于键中的令牌可能与查询中的令牌不相关，就会导致在使用从这些令牌估计得到的自注意力值来聚合特征时会干扰到对于清晰图像恢复的过程。产生这个问题的原因就是自注意力计算的本质是一种密集计算模式，它放大了相对较小的相似权重，使得特征交互和聚合过程容易受到隐式噪声的影响。这就会导致在建模全局依赖性时仍会考虑一些无关或冗余的特征表示。所以应当选择最有用的自注意力值来充分利用特征进行更好的图像恢复工作。最近的研究广泛证明了稀疏表示在处理低级视觉问题方面的重要作用，例如图像去模糊和超分辨率，且已经将稀疏性加入到transfo...
【技术保护点】
1.一种渐进式视频去雨方法，所述视频去雨方法是基于稀疏注意力Transformer与时空域交互学习，其特征在于，包括以下步骤：
2.如权利要求1所述的一种渐进式视频去雨方法，其特征在于，步骤S1中，提取得到相邻视频帧的高级空间特征的过程，包括以下步骤：
3.如权利要求2所述的一种渐进式视频去雨方法，其特征在于，步骤S2中，所述时空交互模块的工作过程，包括以下步骤：
4.如权利要求3所述的一种渐进式视频去雨方法，其特征在于，使用以下损失函数，对由所述空间提取模块、时空交互模块、细化网络组成的模型进行训练：
5.如权利要求4...
【技术特征摘要】
1.一种渐进式视频去雨方法，所述视频去雨方法是基于稀疏注意力transformer与时空域交互学习，其特征在于，包括以下步骤：
2.如权利要求1所述的一种渐进式视频去雨方法，其特征在于，步骤s1中，提取得到相邻视频帧的高级空间特征的过程，包括以下步骤：
3.如权利要求2所述的一种渐进式视频去...
【专利技术属性】
技术研发人员：李小冬，李志桐，余正生，李运发，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。