一种视频超分方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种视频超分方法、装置、设备及存储介质。该方法包括：获取包含至少两个原始视频帧的原始视频帧序列；采用预先训练好的目标多尺度视频超分模型，对所述原始视频帧序列进行视频超分操作，输出包含目标视频帧的目标视频帧序列；其中，所述目标多尺度视频超分模型包含多尺度特征交互网络和图像重建网络，所述多尺度特征交互网络用于对各所述原始视频帧进行多尺度特征交互和特征融合，所述图像重建网络基于所述特征交互网络输出的特征图进行图像重构。本发明专利技术构建多尺度视频超分模型，将视频帧形成不同尺寸的特征图进行信息交互，可以关注不同细粒度的特征信息，同时避免使用现有视频超分模型中的对齐模块，减少计算量，提升模型性能。提升模型性能。提升模型性能。

【技术实现步骤摘要】
一种视频超分方法、装置、设备及存储介质


[0001]本专利技术涉及视频图像处理
，尤其涉及一种视频超分方法、装置、设备及存储介质。

技术介绍

[0002]相比于图片超分任务，视频超分辨率(VSR)不仅需要利用单个图像帧上的固有特性进行图像超分辨率，还涉及到聚合从视频序列中的多个高度相关但未对齐的帧中提取的信息。由于视频中物体的运动以及拍摄视频镜头的移动，视频中不同帧的信息之间存在着明显的位移，为了更好的利用不同帧的信息，现有的方法都会设计专门用来对齐不同帧信息的对齐模块，并有专门的对比实验来说明所提出的对齐模块的必要性。
[0003]目前存在一些代表性的方法，例如在RBPN方法中，多个投影模块被用于顺序聚合来自多个帧的特征；在BasicVSR方法中，将常见的VSR框架归纳为四个部分，即信息流通(Propagation)、对齐(Alignment)、聚合(Aggregation)和上采样(Upsampling)，双向传播被用于从整个输入视频中提取信息进行重建，采用光流进行特征扭曲；最近提出的BasicVSR++，在BasicVSR的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频超分方法，其特征在于，包括：获取包含至少两个原始视频帧的原始视频帧序列；采用预先训练好的目标多尺度视频超分模型，对所述原始视频帧序列进行视频超分操作，输出包含目标视频帧的目标视频帧序列；其中，所述目标多尺度视频超分模型包含多尺度特征交互网络和图像重建网络，所述多尺度特征交互网络用于对各所述原始视频帧进行多尺度特征交互和特征融合，所述图像重建网络基于所述特征交互网络输出的特征图进行图像重构。2.根据权利要求1所述的方法，其特征在于，所述多尺度特征交互网络由一个初始特征交互模块、至少一个多尺度特征交互模块和一个末端特征交互模块串联组成；所述初始特征交互模块用于对各所述原始视频帧进行特征交互；所述多尺度特征交互模块用于对所述初始特征交互子网或前一个多尺度特征交互模块输出的所有特征图进行多尺度特征交互和特征融合；所述末端特征交互模块用于对最后一个多尺度特征交互模块输出的所有特征图进行特征交互。3.根据权利要求2所述的方法，其特征在于，所述多尺度特征交互模块包括至少两个RVSTB单元和一个特征融合单元；将输入所述多尺度特征交互模块的特征图按照预设采样频率进行下采样，采用所述RVSTB单元对下采样的特征图进行特征交互，并在特征交互后按所述预设采样频率进行上采样；所述特征融合单元用于对各所述RVSTB单元针对同一输入的特征图对应的所有输出特征图进行特征融合。4.根据权利要求3所述的方法，其特征在于，所述RVSTB单元包括至少两个VSTL层和一个卷积层。5.根据权利要求4所述的方法，其特征在于，所述VSTL层采用移位窗口机制和注意力机制实现特征交互。6.根据权利要求1中任一项所述的方法，其特征在于，所述图像重建网络包括特征图像重建模块、插值图像构建模块和图像融合模块；所述特征图像重建模块用于对所述特征交互网络输出的特征图进行特征重构...

【专利技术属性】
技术研发人员：谢良彬，董超，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：