一种视频超分辨率方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种视频超分辨率方法、装置、电子设备及存储介质，该方法包括：获取待超分视频的视频帧，对各视频帧进行帧特征图提取；遍历各视频帧，并将当前遍历的视频帧作为目标帧，以目标帧为基准，将目标帧的相邻帧，与目标帧进行帧特征图对齐；基于融合算子，将目标帧和相邻帧的对齐后的帧特征图进行融合，得到目标帧的融合特征图；融合算子中包含了用于融合各帧特征图的运算算子；根据融合特征图确定差值图，根据差值图以及目标帧经插值后的插值帧，生成经超分处理后的视频帧。通过在视频超分过程中结合融合算子进行处理，能够减少存储空间中运算中间量的读写操作，不仅减少了处理耗时，实现快速超分，还减少了存储空间的占用。间的占用。间的占用。

【技术实现步骤摘要】
一种视频超分辨率方法、装置、电子设备及存储介质


[0001]本公开实施例涉及图像处理
，尤其涉及一种视频超分辨率方法、装置、电子设备及存储介质。

技术介绍

[0002]视频超分辨率可以认为是将低分辨率视频处理成高分辨率视频的过程。现有技术中可以通过机器学习的方式实现视频超分辨率。现有技术的不足之处至少包括：当对分辨率较高的视频执行超分辨率时，计算量非常大，导致处理耗时较长。

技术实现思路

[0003]本公开实施例提供了一种视频超分辨率方法、装置、电子设备及存储介质，能够减少处理耗时，实现快速超分处理。
[0004]第一方面，本公开实施例提供了一种视频超分辨率方法，包括：
[0005]获取待超分视频的视频帧，对各视频帧进行帧特征图提取；
[0006]遍历所述各视频帧，并将当前遍历的视频帧作为目标帧，以所述目标帧为基准，将所述目标帧的相邻帧，与所述目标帧进行帧特征图对齐；
[0007]基于融合算子，将所述目标帧和所述相邻帧的对齐后的帧特征图进行融合，得到所述目标帧的融合特征图；其中，所述融合算子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频超分辨率方法，其特征在于，包括：获取待超分视频的视频帧，对各视频帧进行帧特征图提取；遍历所述各视频帧，并将当前遍历的视频帧作为目标帧，以所述目标帧为基准，将所述目标帧的相邻帧，与所述目标帧进行帧特征图对齐；基于融合算子，将所述目标帧和所述相邻帧的对齐后的帧特征图进行融合，得到所述目标帧的融合特征图；其中，所述融合算子中包含了用于融合各帧特征图的运算算子；根据所述融合特征图确定差值图，根据所述差值图以及所述目标帧经插值后的插值帧，生成经超分处理后的视频帧。2.根据权利要求1所述的方法，其特征在于，所述基于融合算子，将所述目标帧和所述相邻帧的对齐后的帧特征图进行融合，包括：从存储空间中，读取所述目标帧和所述相邻帧的对齐后的各帧特征图；将所述各帧特征图作为所述融合算子的输入，以基于所述融合算子输出所述目标帧的融合特征图；将所述融合特征图写入所述存储空间。3.根据权利要求1所述的方法，其特征在于，所述将所述目标帧的相邻帧，与所述目标帧进行帧特征图对齐，包括：使用形变卷积将所述目标帧的相邻帧，与所述目标帧进行帧特征图对齐；其中，所使用的形变卷积与所述帧特征图的尺寸具有对应关系。4.根据权利要求1所述的方法，其特征在于，所述根据所述融合特征图确定差值图，包括：使用空域卷积将所述融合特征图处理为与所述目标帧分辨率相同的第一特征图，并将所述第一特征图上采样为差值图。5.根据权利要求1所述的方法，其特征在于，通过第一阶段模型，对各视频帧进行帧特征图提取；通过第二阶段模型，进行帧特征图对齐，以及将对齐后的帧...

【专利技术属性】
技术研发人员：朱亦凡，赵世杰，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：