一种视频超分辨率处理方法、设备及存储介质技术

本发明专利技术公开了一种视频超分辨率处理方法、设备及存储介质，由视频处理模型来实现，包括以下步骤：获取视频序列，提取视频序列中参考帧的特征图和相邻帧的特征图；将相邻帧的特征图对齐到参考帧上；将对齐后的特征图进行局部特征融合，获得局部融合特征图；将对齐后的特征图进行全局特征融合，获得全局融合特征图；将局部融合特征图和全局融合特征图拼接并进行视频帧重建，获得高清视频帧；将获得的高清视频帧进行合并，获得高分辨的视频序列。本发明专利技术通过对齐技术和特征融合技术提升视频超分辨率方法的性能，将低分辨率视频有效地重建为高分辨率视频，通过技术手段提升视觉效果，能够降低对硬件设备的依赖，可广泛应用于计算机视觉和深度学习领域。视觉和深度学习领域。视觉和深度学习领域。

【技术实现步骤摘要】
一种视频超分辨率处理方法、设备及存储介质


[0001]本专利技术涉及计算机视觉和深度学习领域，尤其涉及一种视频超分辨率处理方法、设备及存储介质。

技术介绍

[0002]作为视频增强的基本子任务之一，视频超分辨率旨在将低分辨率视频映射到相应的高分辨率视频。视频超分辨率既可以视为独立任务，也可以与其他任务结合。此外，这种方法的高可用性使得它在许多情况下都可以使用，包括卫星视频，高动态范围视频和监控视频等。因此，对视频超分辨率的研究具有科学和现实意义。
[0003]众所周知，视频超分辨率问题是一种不适定问题。这种特性意味着一个给定的输入可能对应于各种结果，如何恢复复杂的输出仍然很困难。另一方面，尽管单图像超分辨率近年来取得了突破，但是直接应用于具有时间依赖性的多帧图像可能会导致时间关系的忽略。通过利用相关的视频帧，特征可以相互补充以获得更好的重建结果并同时保持时间一致性。
[0004]由于现有方法通常将若干低分辨率视频帧作为输入并仅重建最中间的参考帧，需要解决的一个关键问题是如何有效地使用相邻帧中的信息。许多工作证明，将相邻帧与参考帧对齐是一种可行的选择，而不是直接将它们串联在一起。受益于光流估计方法的发展，利用光流进行对齐和运动补偿是一种有用的策略。但是，由于运动模糊的存在，很难使用光流获得准确的预测，并且也可能在最终的超分辨率结果中引入不必要的噪声。此外，这种策略通常需要很高的计算成本。
[0005]另一个不可避免的问题是如何合理地融合特征以获得更好的结果。一种简单直接的方法是将所有特征拼接在一起，而让框架的其余部分自动学习融合策略。但是，堆叠大量信息可能会对网络的剩余部件造成巨大压力，从而使模型无法充分有效地利用所有特征。为了克服这些缺点，一些方法试图将参考帧的前一帧和后一帧的特征进行融合，而另一些方法将任意相邻帧和参考帧进行特征融合。前者加强了相邻特征之间的连贯性，而后者则包含了丰富的时间信息以补充参考帧的特征。

技术实现思路

[0006]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种视频超分辨率处理方法、设备及存储介质。
[0007]本专利技术所采用的技术方案是：
[0008]一种视频超分辨率处理方法，由视频处理模型来实现，包括以下步骤：
[0009]获取视频序列，提取所述视频序列中参考帧的特征图和相邻帧的特征图；
[0010]将所述相邻帧的特征图对齐到所述参考帧上；
[0011]将对齐后的特征图进行局部特征融合，获得局部融合特征图；
[0012]采用视频洗牌的策略将对齐后的特征图进行全局特征融合，获得全局融合特征
图；
[0013]将所述局部融合特征图和所述全局融合特征图拼接并进行视频帧重建，获得高清视频帧；
[0014]将获得的高清视频帧进行合并，获得高分辨的视频序列；
[0015]其中，所述视频序列中最中间的视频帧为参考帧，其他视频帧作为相邻帧。
[0016]进一步，所述视频超分辨率处理方法还包括获取训练数据集的步骤，具体为：
[0017]获取高分辨率的视频，将所述视频分离为多个高分辨率的视频帧；
[0018]采用图像插值下采样技术对每个所述高分辨率的视频帧进行处理，获得低分辨率的视频帧；
[0019]根据所述高分辨率的视频帧和所述低分辨率的视频帧构建视频对作为所述视频处理模型的训练数据集。
[0020]进一步，所述视频处理模型包括浅层特征提取模块、隐式特征对齐模块、局部特征融合模块、全局特征融合模块以及重建模块；
[0021]所述参考帧和所述相邻帧以RGB形式输入到所述浅层特征提取模块进行特征提取；
[0022]进一步，浅层特征提取模块的输出是隐式特征对齐模块的输入，隐式特征对齐模块的输出将会分别输入局部特征融合模块以及全局特征融合模块，两者的输出再分别结合在一起由重建模块负责恢复清晰的高分辨率视频帧；
[0023]浅层特征提取模块主要将视频帧从图像层级转变为特征层级，隐式特征对齐模块将相邻帧的特征对齐到参考帧上，使得接下来的模块能够更好地利用更多的特征，局部特征融合模块和全局特征融合模块分别从相邻两帧的角度和所有输入帧的角度对视频帧的特征进行融合，最终两个模块的输出通过卷积网络结合在一起，输入重建模块恢复高分辨率的清晰参考帧。
[0024]进一步，浅层特征提取模块由若干残差块叠加构成，每个残差块内部包含一个二维卷积层，一个激活函数，一个二维卷积层，以及一个跳跃连接将残差块的输入直接与输出相加，构建恒等映射；每个视频帧都需要通过该浅层特征提取模块提取低阶信息，便于深度神经网络的学习。
[0025]进一步，所述隐式特征对齐模块由改进的可变形卷积叠加构成，所述可变形卷积包括参数预测部分和卷积采样部分；
[0026]其中，所述参数预测部分由递减的多空洞卷积单元对参考帧和相邻帧进行特征提取，输出预测的偏移量和调节系数；
[0027]所述卷积采样部分利用所述偏移量和所述调节系数这两个参数对相邻帧的特征进行采样，实现隐式的特征对齐。
[0028]进一步，每个可变形卷积主要由参数预测和卷积采样两个部分构成，其中参数预测部分主要由递减的多空洞卷积单元对拼接的参考帧和相邻帧进行特征提取，输出预测的两个参数，即偏移量和调节系数，接着卷积采样部分利用这两个参数对相邻帧的特征进行采样，实现隐式的特征对齐；
[0029]递减的多空洞卷积单元主要由一系列的空洞卷积构成，从多尺度的角度对输入特征进行信息提取，并且每个空洞卷积将减少特征图的通道数，以减轻计算量，最终多个空洞
卷积的输出被拼接起来并预测相应的可变形卷积参数，即偏移量和调节系数；此外，空洞卷积的数量和空洞率会随着所在变形卷积的深度而发生改变，变形卷积所处的位置越深，空洞卷积的数量和空洞率会逐步降低，以减少网络的参数量和计算量。
[0030]进一步，所述可变形卷积的隐式对齐过程表示为：
[0031][0032]其中，为输出的对齐后的相邻帧特征，ω
k
表示卷积过程中的系数，即第b个可变形卷层中待对齐的相邻帧特征，p+p
k
表示卷积过程中第k个采样点的位置，Δp
i,k
为卷积核的采样位置的偏移量，Δm
i,k
为卷积核内对应数值的调节系数。
[0033]进一步，所述局部特征融合模块从保持时序一致性的角度和保持相邻帧之间紧密性的角度进行设计，形成一个循环的结构；
[0034]所述局部特征融合模块通过以下方式对特征图进行局部特征融合：
[0035]将输入相邻帧的特征图和所述局部特征融合模块的上一轮输出的特征图进行结合，作为当前循环的输入，使得相邻两帧的信息被充分融合并且信息流能够从第一帧传递到最后一帧。
[0036]进一步，每个局部特征融合块由两个普通二维卷积和两个残差块构成，另有两个跳跃连接负责保持当前输入帧的特征。每个模块输出的特征图包含了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频超分辨率处理方法，其特征在于，由视频处理模型来实现，包括以下步骤：获取视频序列，提取所述视频序列中参考帧的特征图和相邻帧的特征图；将所述相邻帧的特征图对齐到所述参考帧上；将对齐后的特征图进行局部特征融合，获得局部融合特征图；采用视频洗牌的策略将对齐后的特征图进行全局特征融合，获得全局融合特征图；将所述局部融合特征图和所述全局融合特征图拼接并进行视频帧重建，获得高清视频帧；将获得的高清视频帧进行合并，获得高分辨的视频序列；其中，所述视频序列中最中间的视频帧为参考帧，其他视频帧作为相邻帧。2.根据权利要求1所述的一种视频超分辨率处理方法，其特征在于，所述视频超分辨率处理方法还包括获取训练数据集的步骤，具体为：获取高分辨率的视频，将所述视频分离为多个高分辨率的视频帧；采用图像插值下采样技术对每个所述高分辨率的视频帧进行处理，获得低分辨率的视频帧；根据所述高分辨率的视频帧和所述低分辨率的视频帧构建视频对作为所述视频处理模型的训练数据集。3.根据权利要求1所述的一种视频超分辨率处理方法，其特征在于，所述视频处理模型包括浅层特征提取模块、隐式特征对齐模块、局部特征融合模块、全局特征融合模块以及重建模块；所述参考帧和所述相邻帧以RGB形式输入到所述浅层特征提取模块进行特征提取。4.根据权利要求3所述的一种视频超分辨率处理方法，其特征在于，所述隐式特征对齐模块由改进的可变形卷积叠加构成，所述可变形卷积包括参数预测部分和卷积采样部分；其中，所述参数预测部分由递减的多空洞卷积单元对参考帧和相邻帧进行特征提取，输出预测的偏移量和调节系数；所述卷积采样部分利用所述偏移量和所述调节系数这两个参数对相邻帧的特征进行采样，实现隐式的特征对齐。5.根据权利要求4所述的一种视频超分辨率处理方法，其特征在于，所述可变形卷积的隐式对齐过程表示为：其中，为输出的对齐后的相邻帧特征，ω
k
表示卷积过程中的系数，即第b个可变形卷层中待对齐的相邻帧特征...

【专利技术属性】
技术研发人员：苏德伟，张平健，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：