一种基于可变形Transformer的视频超分辨率方法及系统技术方案

本发明专利技术提供了一种基于可变形Transformer的视频超分辨率方法及系统，在收集视频超分辨领域中的低分辨视频数据集样本后，将低分辨率视频训练集样本通过卷积操作，得到视频序列特征图；将视频序列特征图进行局部特征提取，并进行降采样操作；将所得降采样后的局部特征送入到可变形Transformer中，增强局部特征的空间信息；遍历视频每一帧的局部特征并进行上采样；将增强后的全部视频特征送入到可变形卷积网络中进行时间对齐；最后将空间增强后并进行时间对齐的视频特征送入到超分辨率重建模块中，经过超分辨率重建模块完成高分辨视频帧的输出。本发明专利技术可以获取高清且纹理信息比较良好的高分辨率视频视频，相较于现有技术可以更好地恢复视频的细节部分并减少视频重影。

【技术实现步骤摘要】

本专利技术属于视频超分辨率视频增强领域，涉及基于可变形transformer的视频超分辨率方案。

技术介绍

1、视频超分辨率增强技术是指通过技术手段提高低分辨率视频的清晰度和细节，以达到高分辨率视频的效果。随着互联网的发展，视频内容已经成为人们获取信息的主要途径之一。然而，由于拍摄设备、传输带宽等限制，许多视频在传输过程中会出现画质损失的情况。此外，一些老旧的视频也因为存储介质等原因无法以高分辨率的形式呈现给用户。因此，视频超分辨率增强技术的出现解决了这些问题，让用户可以更清晰地观看视频内容。

2、传统的视频增强技术主要包括基于插值的方法和基于学习的方法。插值方法通过对低分辨率图像进行像素级的预测来生成高分辨率图像，但是这种方法容易出现模糊和失真等问题。而基于学习的方法则利用神经网络模型对低分辨率图像进行训练，从而生成高质量的高分辨率图像。近年来，卷积神经网络技术的发展使得基于学习的视频超分辨率增强技术逐渐成为主流。这种技术可以通过大规模的数据集进行训练，从而获得更高的精度和鲁棒性。然而现有的基于卷积神经网络的视频超分辨率方法，它们的性能在很大本文档来自技高网...

【技术保护点】

1.一种基于可变形Transformer的视频超分辨率方法，其特征在于：在收集视频超分辨领域中的低分辨视频数据集样本后，进行以下处理，

2.根据权利要求1所述的一种基于可变形Transformer的视频超分辨率方法，其特征在于：所述将视频序列特征图进行局部特征提取，并进行降采样操作，实现方式如下，

3.根据权利要求2所述的一种基于可变形Transformer的视频超分辨率方法，其特征在于：所述将所得降采样后的局部特征送入到可变形Transformer中，可变形Transformer的注意力机制通过向量相似度计算，将视频中与该局部特征相似度高的局部特征提取出来进行融...

【技术特征摘要】

1.一种基于可变形transformer的视频超分辨率方法，其特征在于：在收集视频超分辨领域中的低分辨视频数据集样本后，进行以下处理，

2.根据权利要求1所述的一种基于可变形transformer的视频超分辨率方法，其特征在于：所述将视频序列特征图进行局部特征提取，并进行降采样操作，实现方式如下，

3.根据权利要求2所述的一种基于可变形transformer的视频超分辨率方法，其特征在于：所述将所得降采样后的局部特征送入到可变形transformer中，可变形transformer的注意力机制通过向量相似度计算，将视频中与该局部特征相似度高的局部特征提取出来进行融合，实现方式如下，

4.根据权利要求3所述的一种基于可变形transformer的视频超分辨率方法，其特征在于：可变形transformer的实现过程为，通过softmax计算出‘查询向量’q和‘键向量’k之间相似度关系，以分布权重的方式对‘值向量’v进行计算，通过多次卷积计算得到前一帧图像特征和后一帧图像特征上的空间注意力权重矩阵

【专利技术属性】
技术研发人员：李登实，薛童，李巍，高雨，宋昊，王前瑞，陈澳雷，朱晨倚，
申请(专利权)人：江汉大学，
类型：发明
国别省市：