一种视频超分方法、装置、设备及计算机可读存储介质制造方法及图纸

技术编号:40820043 阅读:36 留言:0更新日期:2024-03-28 19:38
本发明专利技术公开了一种视频超分方法、装置、设备及计算机可读存储介质,应用于视频处理技术领域,包括:通过局部精细超分模块中的特征提取层对待处理视频中的多个图像块进行特征提取,并通过特征掩膜层增强多个图像块对应的提取的特征中的有效特征信息,进而通过自注意力模块增强多个图像块对应的有效特征信息中纹理区域的特征权重,得到多个图像块对应的目标特征,通过卷积层对目标特征进行处理,以输出待处理视频对应的超分视频。本申请能够更好地恢复纹理细节的同时不引入人为伪纹,并最大限度地提升网络内在重构信息的能力,改善了目前存在的信息丢失、泛化能力不足导致无法很好地还原细节的问题。

【技术实现步骤摘要】

本专利技术涉及视频处理,特别涉及一种视频超分方法、装置、设备及计算机可读存储介质


技术介绍

1、视频超分的基本原理是利用视频帧的空间相关性和时间连续性来推测缺失的细节信息。具体而言,首先将视频帧划分成若干个空间块或时间块,然后通过神经网络模型对每个块进行超分辨率重建。最后,将重建的块组合起来形成高分辨率的视频。视频超分技术在提高视频质量、增强细节信息方面具有广泛的应用前景。

2、然而,视频超分应用在设备端,例如前端设备时,其中设置的深度学习超分网络处理较低图像质量时,容易受到噪声和伪影的影响。网络本身可能会放大这些噪声或产生额外的伪影,导致输出的超分结果不理想。其次由于网络本身缺少可解释性,经常导致超分后的图像稳定性较差,引入伪纹理而缺少真实感。

3、综上,在设备端有限计算资源下,现有技术存在信息丢失泛化能力不足导致无法很好地还原细节等问题。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供一种视频超分方法、装置、设备及计算机可读存储介质,改善了现有技术存在信息丢失泛化能力不足导本文档来自技高网...

【技术保护点】

1.一种视频超分方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述自注意力模块包括实例归一化层以及自注意力掩膜层;

3.根据权利要求1所述的方法,其特征在于,所述局部精细超分模块的训练过程包括:

4.根据权利要求3所述的方法,其特征在于,按照以下公式得到所述总损失函数;

5.根据权利要求3所述的方法,其特征在于,所述在训练过程中利用优化后的局部精细超分模块对应的新的总损失函数对优化后的局部精细超分模块继续进行优化之前,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述经所述局部精细超分...

【技术特征摘要】

1.一种视频超分方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述自注意力模块包括实例归一化层以及自注意力掩膜层;

3.根据权利要求1所述的方法,其特征在于,所述局部精细超分模块的训练过程包括:

4.根据权利要求3所述的方法,其特征在于,按照以下公式得到所述总损失函数;

5.根据权利要求3所述的方法,其特征在于,所述在训练过程中利用优化后的局部精细超分模块对应的新的总损失函数对优化后的局部精细超分模块继续进行优化之前,所述方法还包括:

6.根据权利要求1所述...

【专利技术属性】
技术研发人员:高歌
申请(专利权)人:湖南国科微电子股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1