一种基于小波变换互关注机制的视频超分辨率方法技术

本发明专利技术公开了一种基于小波变换互关注机制的视频超分辨率方法，利用小波变换互关注机制的视频超分辨率重建算法增强网络丰富的高频信息的能力，具体步骤如下：步骤

【技术实现步骤摘要】
一种基于小波变换互关注机制的视频超分辨率方法


[0001]本专利技术涉及视频处理
，具体为一种基于小波变换互关注机制的视频超分辨率方法
。

技术介绍

[0002]随着计算机设备性能的增强，人工智能快速发展，尤其是计算机视觉领域，并迅速应用在高清视频
、
卫星遥感
、
生物医学等领域
。
超分辨率重建是计算机视觉任务的重要组成部分，近些年来备受关注
。
视频超分辨率
(Video Super
‑
resolution,VSR)
重建旨在将连续的低分辨率图像
(Low Resolution,LR)
序列重建出相应的高分辨率
(High Resolution,HR)
图像，与单张图像超分辨率
(Single Image Super
‑
resolution,SISR)
不同，利用相邻帧之间相似但未对齐的特征是
VSR
任务中的关键部分
。
小波变换
(WaveletTransform,
简称
WT)
是一种时频分析技术，它可以有效地用于信号和图像地处理，小波变换地优势在于，它可以把信号或者图像分解为正交基函数，使用小波变换互关注机制可以抽取所有帧的高频特征，在视频超分辨领域中有较大的应用前景，
Kappeler
等人将卷积神经网络
(Convolutional Neural Network,CNN)
应用在视频超分辨率重建任务中，提出
(Video Super
‑
Resolution Networks,VSRnet)
算法，增强了视频帧间联系，大大提高了视频重建效果
。
随后
Sajjadi
等人提出帧循环视频超分辨率
(Frame recurrent video super
‑
resolution,FRVSR)
，通过计算相邻帧与目标帧之间的光流进行运动估计以此实现时间一致性并减少计算成本
。
为了得到更好的重建图像，
Wang
等人提出由粗到细的方法产生高分辨率光流重建网络
(Super
‑
resolution Optical Flow Video Super
‑
resolution,SOFVSR)。
接着
Xue
等人提出面向任务流的网络
(Task
‑
Oriented flow,TOFlow)
，将预训练的光流模块与后续的重建模块联合训练，学习更加精确的光流任务表示
。
为了解除卷积神经网络中固定的几何形状对特征表示能力的限制，
Dai
等人提出可变形卷积
(Deformable Convolution)
用于几何变换的特征建模
。
在此基础上，
Tian
等人将可变形卷积的思想应用在视频超分辨率任务并提出时间可变形对齐网络
(Temporally Deformable Alignment Network,TDAN)
，通过将相邻帧的高维特征隐式的对齐到中间帧，从而得到更好的视觉效果
。
随后
Wang
等人设计金字塔级联的可变形卷积模块，并运用时空注意力机制，提出了增强的可变形卷积视频恢复网络
(Enhanced Deformable Video Restoration,EDVR)。
之后
Ying
等人重新设计了可变形卷积模块，通过将
3D
卷积变形，同时增强时间和空间特征，提出了可变形
3D
卷积网络
(Deformable 3D Convolution Network,D3Dnet)。
虽然上述方法取得了较好的视觉效果，但为了利用计算机强大的并行计算处理能力，
Cao
等人提出了视频恢复变压器模型
(Video Super
‑
Restoration Transformer,VSRT)
，利用
Transformer
进行特征增强并结合光流算法进行特征对齐操作，进一步提升了视觉效果
。Liang
等人在此基础上提出视频恢复变压器模型
(VRT
，
Video Restoration Transformer),
采用更加复杂的并行方式进行前向传播和后向传播，提高了网络的视觉效果
。
[0003]目前人们对视频超分辨率重建的方法主要分为：基于光流的超分辨率重建方法
、
基于可变形卷积的超分辨率方法和基于注意力机制的超分辨率方法，由于上述方法在对变压器网络进行特征增强时，未充分探究变压器网络在相邻帧之间的特征关系
。
在现实生活中，特征的局部信息和高频部分对视觉效果也有重要意义，为此，提出一种基于小波变换互关注机制的视频超分辨率方法
。

技术实现思路

[0004]本专利技术的目的在于提供一种基于小波变换互关注机制的视频超分辨率方法，以解决上述
技术介绍
中提出的目前的视频超分辨率重建的方法在对变压器网络进行特征增强时，未充分探究变压器网络在相邻帧之间的特征关系
。
在现实生活中，特征的局部信息和高频部分对视觉效果也有重要意义的问题
。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于小波变换互关注机制的视频超分辨率方法，利用小波变换互关注机制的视频超分辨率重建算法增强网络丰富的高频信息的能力，具体步骤如下：
[0006]步骤
1、
特征提取：通过特征提取模块，得到所有视频序列的高维度特征；
[0007]步骤
2、
小波变换特征增强：使用特征自关注小波变换模块抽取所有帧的高频特征；
[0008]步骤
3、
小波变换特征对齐：通过光流算法引导的互关注小波变换模块，使特征信息实现隐式对齐；
[0009]步骤
4、
小波变换特征重建：将丰富的高频特征信息进行重建，并与原始图片的双三次上采样融合，得到最终的高分辨率中间帧图像；
[0010]其中，步骤3中将步骤2中增强的特征的中间帧及其前一帧和后一帧的特征通过光流法将其初步对齐，另一方面将特征增强后的特征进行卷积得到降维后的特征，通过使对齐的特征对降维的特征进行互关注，得到隐式对齐的特征
。。
[0011]优选的，所述步骤1中包括自关注模块和小波变换残差模块
,
自注意力机制通过将所有帧的特征进行自关注，进一步增强全局特征，而小波变换残差模块则用来增强局部特征，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于小波变换互关注机制的视频超分辨率方法，其特征在于：利用小波变换互关注机制的视频超分辨率重建算法增强网络丰富的高频信息的能力，具体步骤如下：步骤
1、
特征提取：通过特征提取模块，得到所有视频序列的高维度特征；步骤
2、
小波变换特征增强：使用特征自关注小波变换模块抽取所有帧的高频特征；步骤
3、
小波变换特征对齐：通过光流算法引导的互关注小波变换模块，使特征信息实现隐式对齐；步骤
4、
小波变换特征重建：将丰富的高频特征信息进行重建，并与原始图片的双三次上采样融合，得到最终的高分辨率中间帧图像；其中，步骤3中将步骤2中增强的特征的中间帧及其前一帧和后一帧的特征通过光流法将其初步对齐，另一方面将特征增强后的特征进行卷积得到降维后的特征，通过使对齐的特征对降维的特征进行互关注，得到隐式对齐的特征
。2.
根据权利要求1所述的一种基于小波变换互关注机制的视频超分辨率方法，其特征在于：所述步骤1中包括自关注模块和小波变换残差模块
,
自注意力机制通过将所有帧的特征进行自关注，进一步增强全局特征，而小波变换残差模块则用来增强局部特征，使图像中的高频信息更加突出，具体过程如下：
a:
给定一个低分辨率的输入帧序列
x
得到原图像帧
X
，利用残差网络提取块获取浅层特征
W
；
b
：将步骤
a
中得到的浅层特征
W
进行帧内自关注得到注意力特征图
M。3.
根据权利要求1所述的一种基于小波变换互关注机制的视频超分辨率方法，其特征在于：所述步骤2中通过利用了帧相加，层归一化，离散小波变换以及离散小波逆变换，使特征得到增强，其具体过程如下
:c:
将注意力特征图
M
与原图像帧
X
相加得到经过自关注后的特征
F
att
；
d
：将特征
F
att
先进行层归一化得到特征
F0；
d:
利用哈尔小波的四个滤波对特征
F0进行离散小波变换，得到四个子波段的
F
dwt1
,F
dwt2
,F
dwt3
,F
dwt4
图像；
e
：按照通道进行拼接，将
F
dwt1
,F
dwt2
,F
dwt3
,F
dwt4
送入到深度残差网络进行特征增强，得到特征
P
；
f
：将增强后的特征
P
通过离散小波逆变换获得与原始图像
x
相同尺寸的特征图像
Q
；
g:
将特征图像
Q
与原始图像帧

【专利技术属性】
技术研发人员：周正华，赵建伟，薛博翔，王庭伟，何灵敏，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：