一种视频超分方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种视频超分方法、装置、设备及存储介质。该方法包括：获取包含至少两个原始视频帧的原始视频帧序列；采用预先训练好的目标多尺度视频超分模型，对所述原始视频帧序列进行视频超分操作，输出包含目标视频帧的目标视频帧序列；其中，所述目标多尺度视频超分模型包含多尺度特征交互网络和图像重建网络，所述多尺度特征交互网络用于对各所述原始视频帧进行多尺度特征交互和特征融合，所述图像重建网络基于所述特征交互网络输出的特征图进行图像重构。本发明专利技术构建多尺度视频超分模型，将视频帧形成不同尺寸的特征图进行信息交互，可以关注不同细粒度的特征信息，同时避免使用现有视频超分模型中的对齐模块，减少计算量，提升模型性能。提升模型性能。提升模型性能。

【技术实现步骤摘要】
一种视频超分方法、装置、设备及存储介质


[0001]本专利技术涉及视频图像处理
，尤其涉及一种视频超分方法、装置、设备及存储介质。

技术介绍

[0002]相比于图片超分任务，视频超分辨率(VSR)不仅需要利用单个图像帧上的固有特性进行图像超分辨率，还涉及到聚合从视频序列中的多个高度相关但未对齐的帧中提取的信息。由于视频中物体的运动以及拍摄视频镜头的移动，视频中不同帧的信息之间存在着明显的位移，为了更好的利用不同帧的信息，现有的方法都会设计专门用来对齐不同帧信息的对齐模块，并有专门的对比实验来说明所提出的对齐模块的必要性。
[0003]目前存在一些代表性的方法，例如在RBPN方法中，多个投影模块被用于顺序聚合来自多个帧的特征；在BasicVSR方法中，将常见的VSR框架归纳为四个部分，即信息流通(Propagation)、对齐(Alignment)、聚合(Aggregation)和上采样(Upsampling)，双向传播被用于从整个输入视频中提取信息进行重建，采用光流进行特征扭曲；最近提出的BasicVSR++，在BasicVSR的基础上，使用了更加复杂的对齐模块来进一步的更好的对齐不同帧的特征；Swin
‑
Transformer融合了CNN和Transformer的优点，在计算机领域显示出巨大的前景。基于Swin
‑
Transformer里面提出的基础模块构建的SwinIR，在同等参数量的情况下，也在众多底层视觉任务中都达到了比CNN更好的性能。
[0004]虽然上述方法都可以实现视频超分任务，但是这些方法为了更好的进行不同帧之间的信息融合，都有着各种各样特别复杂的对齐模块，实现过程复杂，计算量大，对处理设备的要求高。

技术实现思路

[0005]本专利技术提供了一种视频超分专利技术名称，以实现快速对视频图像进行超分辨率操作。
[0006]根据本专利技术的一方面，提供了一种视频超分方法，该方法包括：
[0007]根据本专利技术的另一方面，提供了一种视频超分装置，该装置包括：
[0008]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0009]至少一个处理器；以及
[0010]与所述至少一个处理器通信连接的存储器；其中，
[0011]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的视频超分方法。
[0012]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的视频超分方法。
[0013]本专利技术实施例的技术方案，通过获取包含至少两个原始视频帧的原始视频帧序列，采用预先训练好的目标多尺度视频超分模型，对原始视频帧序列进行视频超分操作，输出包含目标视频帧的目标视频帧序列；其中，目标多尺度视频超分模型包含多尺度特征交互网络和图像重建网络，多尺度特征交互网络用于对各原始视频帧进行多尺度特征交互和特征融合，图像重建网络基于特征交互网络输出的特征图进行图像重构，解决了现有技术的视频超分方法为了进行不同帧之间的信息融合，使用视频帧对齐方法导致计算过程复杂，计算量大的问题，本专利技术实施例构建多尺度视频超分模型，将视频帧形成不同尺寸的特征图进行信息交互，可以关注不同细粒度的特征信息，实现了减少计算量，提升模型性能的效果。
[0014]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0015]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1a是根据本专利技术实施例一提供的一种视频超分方法的流程图；
[0017]图1b是根据本专利技术实施例一提供的一种视频超分方法中VSTL层的结构示意图；
[0018]图1c是根据本专利技术实施例一提供的一种视频超分方法的原理示意图；
[0019]图2是根据本专利技术实施例二提供的一种视频超分装置的结构示意图；
[0020]图3是实现本专利技术实施例的视频超分方法的电子设备的结构示意图。
具体实施方式
[0021]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0022]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“原始”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0023]实施例一
[0024]图1a为本专利技术实施例一提供了一种视频超分方法的流程图，本实施例可适用于对视频图像进行超分辨率处理的情况，该方法可以由视频超分装置来执行，该视频超分装置
可以采用硬件和/或软件的形式实现，该视频超分装置可配置于计算机设备中。如图1所示，该方法包括：
[0025]S110、获取包含至少两个原始视频帧的原始视频帧序列。
[0026]在实际应用中，需要对视频图像进行超分辨率操作时，可以将一段长视频进行裁剪，形成包含一定数量视频帧的视频片段，在本实施例中，每个进行超分辨率操作之前的视频片段包含的视频帧集合可以称作一个原始视频帧序列。一个原始视频帧序列内多个连续的视频帧可以称为原始视频帧。
[0027]S120、采用预先训练好的目标多尺度视频超分模型，对原始视频帧序列进行视频超分操作，输出包含目标视频帧的目标视频帧序列；其中，目标多尺度视频超分模型包含多尺度特征交互网络和图像重建网络，多尺度特征交互网络用于对各原始视频帧进行多尺度特征交互和特征融合，图像重建网络基于特征交互网络输出的特征图进行图像重构。
[0028]在本实施例中，可以预先搭建好多尺度视频超分模型，通过大量的训练数据进行训练后，得到目标多尺度视频超分模型。在对原始视频帧序列进行超分处理时，可以将原始视频帧序列作为输入数据，输入目标多尺度视频超分模型，目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频超分方法，其特征在于，包括：获取包含至少两个原始视频帧的原始视频帧序列；采用预先训练好的目标多尺度视频超分模型，对所述原始视频帧序列进行视频超分操作，输出包含目标视频帧的目标视频帧序列；其中，所述目标多尺度视频超分模型包含多尺度特征交互网络和图像重建网络，所述多尺度特征交互网络用于对各所述原始视频帧进行多尺度特征交互和特征融合，所述图像重建网络基于所述特征交互网络输出的特征图进行图像重构。2.根据权利要求1所述的方法，其特征在于，所述多尺度特征交互网络由一个初始特征交互模块、至少一个多尺度特征交互模块和一个末端特征交互模块串联组成；所述初始特征交互模块用于对各所述原始视频帧进行特征交互；所述多尺度特征交互模块用于对所述初始特征交互子网或前一个多尺度特征交互模块输出的所有特征图进行多尺度特征交互和特征融合；所述末端特征交互模块用于对最后一个多尺度特征交互模块输出的所有特征图进行特征交互。3.根据权利要求2所述的方法，其特征在于，所述多尺度特征交互模块包括至少两个RVSTB单元和一个特征融合单元；将输入所述多尺度特征交互模块的特征图按照预设采样频率进行下采样，采用所述RVSTB单元对下采样的特征图进行特征交互，并在特征交互后按所述预设采样频率进行上采样；所述特征融合单元用于对各所述RVSTB单元针对同一输入的特征图对应的所有输出特征图进行特征融合。4.根据权利要求3所述的方法，其特征在于，所述RVSTB单元包括至少两个VSTL层和一个卷积层。5.根据权利要求4所述的方法，其特征在于，所述VSTL层采用移位窗口机制和注意力机制实现特征交互。6.根据权利要求1中任一项所述的方法，其特征在于，所述图像重建网络包括特征图像重建模块、插值图像构建模块和图像融合模块；所述特征图像重建模块用于对所述特征交互网络输出的特征图进行特征重构...

【专利技术属性】
技术研发人员：谢良彬，董超，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：