视频超分辨率方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41177809 阅读:21 留言:0更新日期:2024-05-07 22:13
本发明专利技术提供的视频超分辨率方法、装置、电子设备及存储介质,涉及图像处理领域。该方法:获取低分辨率参考视频帧和位于低分辨率参考视频帧前后的多个低分辨率的相邻视频帧;将低分辨率参考视频帧和每个相邻视频帧输入超分辨率重建模型,利用超分辨率重建模型的第一网络对低分辨率参考视频帧和每个相邻视频帧进行特征提取和特征对齐;利用超分辨率重建模型的第二网络对第一网络的输出进行自适应权重融合得到融合特征,以及基于融合特征得到高分辨率参考视频帧。从而避免直接将所有视频帧的特征串联输入卷积进行压缩重构导致的无关信息的干扰和有效信息的丢失,提升视频超分辨率的成像质量。

【技术实现步骤摘要】

本专利技术涉及图像处理领域,具体而言,涉及一种视频超分辨率方法、装置、电子设备及存储介质


技术介绍

1、现有的视频超分辨率方法,在将相邻视频帧对齐至参考视频帧后,直接将所有视频帧的特征串联并使用一个3×3卷积层进行压缩重构,这种方式对于相邻视频帧的特征全部接收,没有考虑到相邻视频帧之间动态差异和重要性的不同,可能导致无关信息的干扰和有效信息的丢失,影响最终超分辨率成像的质量。


技术实现思路

1、本专利技术提供了一种视频超分辨率方法、装置、电子设备及存储介质,其能够减少冗余特征的影响,增强有益信息的贡献度,有效提升视频超分辨率的成像质量。

2、本专利技术的实施例可以这样实现:

3、第一方面,本专利技术提供一种视频超分辨率方法,所述方法包括:

4、获取低分辨率参考视频帧和位于所述低分辨率参考视频帧前后的多个低分辨率的相邻视频帧;

5、将所述低分辨率参考视频帧和每个所述相邻视频帧输入超分辨率重建模型,利用所述超分辨率重建模型的第一网络对所述低分辨率参考视频帧和每个所本文档来自技高网...

【技术保护点】

1.一种视频超分辨率方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述第一网络包括特征提取模块和特征对齐模块,所述利用所述超分辨率重建模型的第一网络对所述低分辨率参考视频帧和每个所述相邻视频帧进行特征提取和特征对齐的步骤包括:

3.如权利要求1所述的方法,其特征在于,所述第一网络的输出包括所述低分辨率参考视频帧的浅层特征和每个所述相邻视频帧的对齐后的浅层特征,所述第二网络包括自适应权重融合模块和重建模块,所述利用所述超分辨率重建模型的第二网络对所述第一网络的输出进行自适应权重融合得到融合特征,以及基于所述融合特征得到高分辨率参考视频帧的...

【技术特征摘要】

1.一种视频超分辨率方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述第一网络包括特征提取模块和特征对齐模块,所述利用所述超分辨率重建模型的第一网络对所述低分辨率参考视频帧和每个所述相邻视频帧进行特征提取和特征对齐的步骤包括:

3.如权利要求1所述的方法,其特征在于,所述第一网络的输出包括所述低分辨率参考视频帧的浅层特征和每个所述相邻视频帧的对齐后的浅层特征,所述第二网络包括自适应权重融合模块和重建模块,所述利用所述超分辨率重建模型的第二网络对所述第一网络的输出进行自适应权重融合得到融合特征,以及基于所述融合特征得到高分辨率参考视频帧的步骤包括:

4.如权利要求3所述的方法,其特征在于,所述自适应权重融合模块包括通道注意力模块,所述利用所述自适应权重融合模块对所述低分辨率参考视频帧的浅层特征和每个所述相邻视频帧的对齐后的浅层特征进行自适应权重融合,得到融合特征的步骤包括:

5.如权利要求3所述的方法,其特征...

【专利技术属性】
技术研发人员:吴锦泉
申请(专利权)人:广州虎牙科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1