当前位置: 首页 > 专利查询>武汉大学专利>正文

一种快速时空残差注意力视频超分辨率重建方法技术

技术编号:23854814 阅读:49 留言:0更新日期:2020-04-18 10:32
本发明专利技术提出一种快速时空残差注意力视频超分辨率重建方法,通过在神经网络模型中增加注意力上采样机制,将网络注意力集中于高频信息,从而得到更好的恢复结果;视频超分辨率重建实现过程包括训练与测试数据准备,设置神经网络模型的网络结构,训练好神经网络模型,将测试的低分辨率视频输入到训练好的神经网络模型中,模型的输出为重建后的超分辨率视频帧,将得到的连续帧合成视频得到超分辨率视频;所述神经网络模型的网络结构,包括低分辨率特征提取部分、快速时空残差块部分、高分辨率重建部分和高分辨率残差学习部分。本发明专利技术提出在高分辨率重建部分使用注意力机制,用于更好地复现高频信息。

A fast super-resolution reconstruction method of spatiotemporal residual attention video

【技术实现步骤摘要】
一种快速时空残差注意力视频超分辨率重建方法
本专利技术涉及视频超分辨率重建领域技术,尤其涉及一种快速时空残差注意力视频超分辨率重建方法。
技术介绍
视频超分辨率重建是一种将视频的连续低分辨率视频重建为其相应的高分辨率视频的技术。视频超分辨率重建技术在卫星成像、安防监控、以及视频传输优化有着极其重要的作用。得益于深度学习在计算机视觉领域的快速发展,Dong等人首次利用基于深度学习的3层网络从单张低分辨率图像重建出其对应的超分辨率图像,大幅超越传统的插值重建方法[1]。自此开始越来越多的基于深度学习的超分辨率方法被专利技术出来。视频超分辨率可以简单地一帧一帧地使用图像超分重建方法进行超分,但这忽视了视频序列中帧间连续性带来的帧与帧之间的相关性和互补信息。因此,不同于图像超分辨率,如何高效利用视频的帧间连续帧带来的更多的信息往往被看作视频超分重建的一个关键。为了提高视频超分辨率的重建效果,深度学习的视频超分辨率方法主要使用视频前后连续帧片段重建出其对应的一张高分辨率视频帧。近年来,视频超分辨率基本上使用二维卷积网络学习低分辨率本文档来自技高网...

【技术保护点】
1.一种快速时空残差注意力视频超分辨率重建方法,其特征在于:通过在神经网络模型中增加注意力上采样机制,将网络注意力集中于高频信息,从而得到更好的恢复结果;/n视频超分辨率重建实现过程包括训练与测试数据准备,设置神经网络模型的网络结构,训练好神经网络模型,将测试的低分辨率视频输入到训练好的神经网络模型中,模型的输出为重建后的超分辨率视频帧,将得到的连续帧合成视频得到超分辨率视频;/n所述神经网络模型的网络结构,包括低分辨率特征提取部分、快速时空残差块部分、高分辨率重建部分和高分辨率残差学习部分,所述高分辨率重建部分包括一个用于融合特征的3D卷积,之后分为高分辨率映射分支和注意力模块分支,最后两个...

【技术特征摘要】
1.一种快速时空残差注意力视频超分辨率重建方法,其特征在于:通过在神经网络模型中增加注意力上采样机制,将网络注意力集中于高频信息,从而得到更好的恢复结果;
视频超分辨率重建实现过程包括训练与测试数据准备,设置神经网络模型的网络结构,训练好神经网络模型,将测试的低分辨率视频输入到训练好的神经网络模型中,模型的输出为重建后的超分辨率视频帧,将得到的连续帧合成视频得到超分辨率视频;
所述神经网络模型的网络结构,包括低分辨率特征提取部分、快速时空残差块部分、高分辨率重建部分和高分辨率残差学习部分,所述高分辨率重建部分包括一个用于融合特征的3D卷积,之后分为高分辨率映射分支和注意力模块分支,最后两个分支相乘并使用一个卷积融合特征。


2.根据权利要求1所述快速时空残差注意力视频超分辨率重建方法,其特征在于:所述低分辨率特征提取部分,包括对输入的低分辨率视频LR应用3D卷积和激活函数运算进行特征提取,输出结果F0。


3.根据权利要求2所...

【专利技术属性】
技术研发人员:杜博黎圣张乐飞
申请(专利权)人:武汉大学
类型:发明
国别省市:湖北;42

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1