【技术实现步骤摘要】
一种视频帧的超分辨率重构方法
[0001]本专利技术涉及一种视频帧的超分辨率重构方法，属于视频处理技术邻域。
技术介绍
[0002]随着信息社会的高速发展，人们对于高分辨率视频的需求越来越高。将低分辨率视频转化为高分辨视频的视频超分辨率技术也应运而生，被广泛应用于通信、监控、遥感、娱乐和医疗等众多邻域。随着近几年来深度学习的高速发展，深度神经网络由于其强大的非线性表示能力，已成为超分辨研究领域的主流方法。
[0003]对于单幅图像的超分辨率，目前的研究主要集中于如何设计有效的网络结构来充分利用图像的内部特征，即空域相关性，以提高重构质量，例如残差网络，浓密网络，注意力机制等，都为重构质量的提升带来了可观的增益。
[0004]与单幅图像相比，视频序列除了空域相关性，还拥有较高的时域相关性。如何利用视频序列的时域相关性是视频超分辨率重构算法的主要研究热点。然而，利用视频序列的时域相关性，往往需要解决帧与帧之间的遮挡、快速运动、以及运动模糊等问题。已有的视频超分辨率算法主要通过对齐和融合两个步骤来解决。在对齐步骤中...
【技术保护点】
【技术特征摘要】
1.一种视频帧的超分辨率重构方法，其特征在于，包括：将第一分辨率的第一视频帧及其多个相邻帧输入预先训练的超分辨率重构网络，所述超分辨率重构网络输出第一视频帧对应的第二分辨率的第二视频帧；所述第二分辨率高于第一分辨率；其中，所述超分辨率重构网络包括依次连接的特征提取子网络、时空非局部对齐子网络、注意力渐进融合子网络、上采样子网络。2.根据权利要求1所述的方法，其特征在于，所述超分辨率重构网络的训练方法，包括以下步骤：获取训练样本集，所述训练样本集包括多个高分辨率
‑
低分辨率视频序列对；每一个高分辨率
‑
低分辨率视频序列对包括相邻的2N+1个第三视频帧以及1个第四视频帧；所述第三视频帧的分辨率为第一分辨率，所述第四视频帧的分辨率为第二分辨率；其中，所述第四视频帧与所述2N+1个第三视频帧的中间帧相对应；将所述2N+1个第三视频帧输入特征提取子网络，得到其输出的2N+1个第三视频帧的提取特征；将所述2N+1个第三视频帧的提取特征输入时空非局部对齐子网络，获取所述2N+1个第三视频帧的已对齐的提取特征；将所述2N+1个第三视频帧的已对齐的提取特征和所述2N+1个第三视频帧的中间帧的提取特征输入注意力渐进融合子网络，得到第一融合中间帧特征；通过上采样子网络对第一融合中间帧特征进行维度变换，获取第二融合中间帧特征；所述第二融合中间帧特征的维度等于第四视频帧的维度；对所述2N+1个第三视频帧的中间帧进行插值计算，获得插值中间帧，所述插值中间帧的维度等于第四视频帧的维度；叠加所述第二融合中间帧特征和所述插值中间帧，获取第一输出结果；以第一输出结果趋同于第四视频帧为目标，更新所述超分辨率重构网络。3.根据权利要求1所述的方法，其特征在于，所述特征提取子网络为N_fe层卷积网络。4.根据权利要求1所述的方法，其特征在于，将所述2N+1个第三视频帧的提取特征输入时空非局部对齐子网络，获取所述2N+1个第三视频帧的已对齐的提取特征，包括：将所述2N+1个第三视频帧的提取特征输入时空非局部对齐子网络；所述时空非局部对齐子网络根据所述2N+1个第三视频帧的提取特征，获取其加权和特征，根据所述2N+1个第三视频帧的中间帧的提取特征和所述加权和特征，获取所述2N+1个第三视频帧的已对齐的提取特征。5.根据权利要求1所述的方法，其特征在于，在所述时空非局部对齐子网络根据所述2N+1个第三视频帧的提取特征，获取其加权和特征之前，还包括，对所述2N+1个第三视频帧的提取特征进行维度变换，将其维度由第一维度变为第二维度；在所述获取其加权和特征之后，还包括，对所述加权和特征进行维度变换，将其维度由第二维度变为第一维度。6.根据权利要求1所述的方法，其特征在于，所述注意力渐进融合子网络由N_apf个注意力渐...
【专利技术属性】
技术研发人员：张登银，周超，陈灿，李俊江，刘子捷，程义，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。