【技术实现步骤摘要】
本申请涉及计算机视觉技术，尤其涉及一种视频超分辨率重建方法、装置、电子设备以及存储介质。
技术介绍
1、随着高清和超高清设备的普及，用户端显示设备的分辨率已经普遍提升到2k甚至更高水平。相对早期的游戏或电影在当下高分辨率设备下无法得到很好的表现，这促使了很多经典游戏和电影的高清重制工作被提上来日程。
2、因此，有很多视频超分辨率重建算法被提出。具体的，超分辨率技术(super-resolution)通过从退化的(如，模糊、噪声、下采样和失真)低分辨率(lr)图像中恢复出其对应的一个或多个清晰锐利的高分辨率(hr)图像，从而可实现多媒体内容的高清重建工作。
3、但是，现有的视频超分辨率重建算法中没有充分利用待重建视频中的视频信息进行重建，导致得到的重建视频清晰度有限，视觉效果较差。
技术实现思路
1、本申请提供一种视频超分辨率重建方法、装置、电子设备以及存储介质，用以解决现有技术的视频超分辨率重建算法存在重建效果差和重建效率低问题，提高了重建结果的视频质量以及重建效率。
2、第一方面，本申请提供一种视频超分辨率重建方法，包括：
3、获取待重建视频的视频帧，提取所述视频帧对应的浅层特征；
4、基于当前视频帧的浅层特征提取所述当前视频帧的多维度深层特征，并对所述多维度深层特征、所述浅层特征和所述当前视频帧进行特征融合处理，得到所述当前视频帧的第二融合特征；所述多维度深层特征包括局部特征和非局部特征，所述非局部特征包括时间特征、空
5、确定所述当前视频帧对应的参考帧，基于所述第二融合特征对所述当前视频帧和所述参考帧进行融合处理，得到第三融合特征；
6、基于所述第三融合特征进行重建处理得到重建特征，以基于所述重建特征执行视频重建操作。
7、在上述技术方案中，对待重建视频的各视频帧进行特征提取，具体包括浅层特征提取，和深层特征提取，深层特征提取还包括局部特征提取和非局部特征提取；需要说明的是，非局部特征提取还包括多维度的非局部特征提取，通过对上述多维度的非局部特征融合处理，得到第一融合特征，进而对第一融合特征、浅层特征和当前特征进行再次融合处理，并基于融合处理后得到的第二融合特征进行双向时空融合处理，进而基于处理后得到的第三融合特征进行重建处理，得到重建特征，并基于重建特征以及当前视频帧对原始的视频帧进行重建处理，得到重建后的视频帧，从而得到重建后的目标视频。通过利用多层丰富的融合特征信息进行重建处理，以更好地重建高频纹理细节，得到更清晰的重建视频，以实现提升重建质量的技术效果。
8、可选的，所述基于当前视频帧的浅层特征提取所述当前视频帧的多维度深层特征，并对所述多维度深层特征和所述浅层特征进行特征融合处理得到所述当前视频帧的第二融合特征，包括：
9、对所述浅层特征进行多维度深层特征提取，得到所述当前视频帧的局部特征和非局部特征，并对所述局部特征和所述非局部特征进行特征融合处理，得到所述当前视频帧的第一融合特征；
10、对所述第一融合特征、所述浅层特征和所述当前视频帧进行特征融合处理得到所述当前视频帧的第二融合特征。
11、可选的，所述对所述浅层特征进行多维度深层特征提取，得到所述当前视频帧的局部特征和非局部特征，并对所述局部特征和所述非局部特征进行特征融合处理，得到所述当前视频帧的第一融合特征，包括：
12、将所述浅层特征输入至预设的局部注意力网络中，得到所述当前视频帧的局部特征；
13、对所述浅层特征和所述局部特征进行卷积和融合处理，并将处理后得到的第一处理特征输入至预设的非局部注意力网络中，得到所述当前视频特征的非局部特征；
14、将所述非局部特征输入至所述局部注意力网络中，并将所述局部注意力网络输出的特征、所述第一处理特征和所述浅层特征进行融合处理，得到所述当前视频特征的第一融合特征。
15、可选的，所述非局部注意力网络包括通道非注意力网络模块、时间非注意力网络模块和空间非注意力网络模块；
16、所述将处理后得到的第一处理特征输入至预设的非局部注意力网络中，得到所述当前视频特征的非局部特征，包括：
17、将所述第一处理特征输入至所述通道非注意力网络模块中，得到所述当前视频帧的通道特征；
18、将所述第一处理特征输入至所述时间非注意力网络模块中，得到所述当前视频帧的时间特征；
19、将所述第一处理特征输入至所述空间非注意力网络模块中，得到所述当前视频帧的空间特征；
20、将所述通道特征、所述时间特征、所述空间特征和所述第一处理特征进行特征融合，得到所述当前视频帧的非局部特征。
21、在上述技术方案中，对待重建视频的各视频帧进行特征提取，具体包括浅层特征提取，和深层特征提取，深层特征提取还包括局部特征提取和非局部特征提取；需要说明的是，非局部特征提取还包括多维度的非局部特征提取，例如时间维度、空间维度和通道维度、通过对上述多维度的非局部特征融合处理，得到第一融合特征，进而进行再次融合处理，并基于融合处理后得到的融合特征进行重建处理，通过利用多层丰富的上下文语义信息、时间信息以及空间信息进行特征重建处理，以更好地重建高频纹理细节，得到更清晰的重建视频，以实现提升重建质量的技术效果。
22、可选的，所述确定所述当前视频帧对应的参考帧，包括：
23、获取各所述视频帧的帧位次，根据所述帧位次确定所述当前视频帧是否存在下一帧视频帧；
24、若存在，则将所述下一帧视频帧作为所述当前视频帧的参考帧；若不存在，则基于各所述视频帧确定所述当前视频帧的参考帧。
25、可选的，所述基于所述第二融合特征对所述当前视频帧和所述参考帧进行融合处理，得到第三融合特征，包括：
26、对所述当前视频帧的当前第二融合特征和所述参考帧的参考第二融合特征进行前向特征提取操作，得到所述当前视频帧的前向时空融合特征；以及，对所述当前视频帧的当前第二融合特征和所述参考帧的参考第二融合特征进行后向特征提取操作，得到所述当前视频帧的后向时空融合特征；
27、对所述前向时空融合特征和所述后向时空融合特征进行特征融合处理，得到所述当前视频帧的第三融合特征。
28、可选的，所述对所述当前视频帧的当前第二融合特征和所述参考帧的参考第二融合特征进行前向特征提取操作，得到所述当前视频帧的前向时空融合特征；以及，对所述当前视频帧的当前第二融合特征和所述参考帧的参考第二融合特征进行后向特征提取操作，得到所述当前视频帧的后向时空融合特征，包括：
29、依次对所述当前第二融合特征和所述参考第二融合特征进行前向时间特征提取，得到前向时间融合特征，并对所述前向时间融合特征进行前向空间特征提取，得到所述当前视频帧的前向时空融合特征；
30、依次对所述参考第二融合特征和所述当前参考第二融合特征进行后向时间特本文档来自技高网...
【技术保护点】
1.一种视频超分辨率重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于当前视频帧的浅层特征提取所述当前视频帧的多维度深层特征，并对所述多维度深层特征和所述浅层特征进行特征融合处理得到所述当前视频帧的第二融合特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述浅层特征进行多维度深层特征提取，得到所述当前视频帧的局部特征和非局部特征，并对所述局部特征和所述非局部特征进行特征融合处理，得到所述当前视频帧的第一融合特征，包括：
4.根据权利要求3所述的方法，其特征在于，所述非局部注意力网络包括通道非注意力网络模块、时间非注意力网络模块和/或空间非注意力网络模块；
5.根据权利要求1所述的方法，其特征在于，所述确定所述当前视频帧对应的参考帧，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述第二融合特征对所述当前视频帧和所述参考帧进行融合处理，得到第三融合特征，包括：
7.根据权利要求6所述的方法，其特征在于，所述对所述第二融合特征进行前向特征提取，得到所述当前视
8.根据权利要求1-7任一项所述的方法，其特征在于，所述基于所述第三融合特征进行重建处理得到重建特征，以基于所述重建特征执行视频重建操作，包括：
9.一种视频超分辨率重建装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的视频超分辨率重建方法。
...【技术特征摘要】
1.一种视频超分辨率重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于当前视频帧的浅层特征提取所述当前视频帧的多维度深层特征，并对所述多维度深层特征和所述浅层特征进行特征融合处理得到所述当前视频帧的第二融合特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述浅层特征进行多维度深层特征提取，得到所述当前视频帧的局部特征和非局部特征，并对所述局部特征和所述非局部特征进行特征融合处理，得到所述当前视频帧的第一融合特征，包括：
4.根据权利要求3所述的方法，其特征在于，所述非局部注意力网络包括通道非注意力网络模块、时间非注意力网络模块和/或空间非注意力网络模块；
5.根据权利要求1所述的方法，其特征在于，所述确定所述当前视频帧对应的参考帧，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述...
【专利技术属性】
技术研发人员：黄良，王华君，唐宗福，周清琳，刘琼，曾勇松，
申请(专利权)人：深圳市裕同包装科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。