视频超分方法、装置、电子设备及可读存储介质制造方法及图纸

本申请适用于视频处理技术领域，提供了视频超分方法、装置、电子设备及可读存储介质。该视频超分方法包括：获取目标帧和多张参考帧，参考帧为目标帧的相邻帧图像。通过金字塔互相关对齐模块分别对目标帧和多张参考帧进行特征对齐，得到特征对齐后的目标帧和多张参考帧；通过上采样对特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧。通过金字塔互相关的对齐方法分别对目标帧和多张参考帧进行特征对齐，由于金字塔互相关的对齐方法，采用了局部互相关的方式，可以有效减少了运算量，同时，通过金字塔级联的方式，由粗到细的进行特征对齐，速度更快精度更高，简便易用。简便易用。简便易用。

Video super division method, device, electronic device and readable storage medium

【技术实现步骤摘要】
视频超分方法、装置、电子设备及可读存储介质


[0001]本申请属于视频处理
，尤其涉及一种视频超分方法、装置、电子设备及可读存储介质。

技术介绍

[0002]视频超分和视频插帧是目前计算机视觉领域非常热门的研究方向。视频超分指的是对视频中每一帧图像进行空间上的放大，视频插帧任务则可以理解为对视频进行时间上的放大，也就是视频时间超分。视频时空超分可以理解为对视频中的图像同时进行时间上的插帧以及空间上的超分。
[0003]其中，多帧对齐是进行视频时空超分的重要步骤。但是，现有的多帧对齐方式效果不佳，应用起来较为繁琐。

技术实现思路

[0004]本申请实施例提供了一种图像处理方法、装置、电子设备及可读存储介质，可以解决现有的多帧对齐方式效果不佳，应用起来较为繁琐的问题。
[0005]第一方面，本申请实施例提供了一种视频超分方法，包括：获取目标帧和多张参考帧，参考帧为目标帧的相邻帧图像。通过金字塔互相关对齐模块(Pyramid Correlation Alignment，PCA)分别对目标帧和多张参考帧进行特征对齐，得到特征对齐后的目标帧和多张参考帧。通过上采样对特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧。
[0006]在第一方面中，通过金字塔互相关的对齐方法分别对目标帧和多张参考帧进行特征对齐，由于金字塔互相关的对齐方法，采用了局部互相关的方式，可以有效减少了运算量，同时，通过金字塔级联的方式，由粗到细的进行特征对齐，速度更快精度更高，简便易用。
[0007]一些实施方式中，通过PCA对目标帧特征对齐，得到对齐后的目标帧，包括：获取目标帧的N级图像特征，N为大于1的整数。将目标帧的N级图像特征分别输入多帧局部互相关(Multi
‑
Patch Correlation，MPC)模块，得到目标帧与目标帧的预测帧之间的对齐偏移量。其中，预测帧为对齐后的帧图像。根据对齐偏移量，通过网格采样层生成目标帧的预测帧。
[0008]一些实施方式中，将目标帧的N级图像特征分别输入MPC模块，得到目标帧与目标帧的预测帧之间的对齐偏移量，包括：对目标帧执行以下步骤。将目标帧的第N级图像特征输入MPC模块，得到目标帧在第N级的对齐偏移量。根据目标帧在第N级的对齐偏移量，对第N级和对第N
‑
1级的目标帧进行仿射变换，得到特征对齐后的第N级目标帧以及多张第N
‑
1级目标帧。将对齐后的第N级目标帧、对齐后的第N
‑
1级目标帧以及第N
‑
1级的图像特征输入MPC模块，得到目标帧在第N
‑
1级的对齐偏移量。多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到目标帧与目标帧的预测帧图像之间的对齐偏移量。
[0009]一些实施方式中，将对齐后的第N级目标帧、对齐后的第N
‑
1级目标帧以及第N
‑
1级的图像特征输入MPC模块，得到目标帧在第N
‑
1级的对齐偏移量，包括：对对齐后的第N级目标帧进行上采样，得到多张过渡目标帧，过渡目标帧与第N
‑
1级的参考帧的尺度相同。将过渡目标帧、对齐后的第N
‑
1级目标帧帧以及第N
‑
1级的图像特征输入MPC模块，得到目标帧在第N
‑
1级的对齐偏移量。
[0010]一些实施方式中，通过PCA对多张参考帧特征对齐，得到对齐后的参考帧，包括：
[0011]获取多张参考帧的N级图像特征，N为大于1的整数。将多张参考帧的N级图像特征分别输入多帧局部互相关MPC模块，得到多张参考帧与多张参考帧的预测帧之间的对齐偏移量，预测帧为对齐后的帧图像。根据对齐偏移量，通过网格采样层生成多张参考帧的预测帧。
[0012]一些实施方式中，将多张参考帧的N级图像特征分别输入MPC模块，得到多张参考帧与多张参考帧的预测帧之间的对齐偏移量，包括：对多张参考帧执行以下步骤：将多张参考帧的第N级图像特征输入MPC模块，得到多张参考帧在第N级的对齐偏移量。根据多张参考帧在第N级的对齐偏移量，对第N级和对第N
‑
1级的多张参考帧进行仿射变换，得到特征对齐后的第N级参考帧以及多张第N
‑
1级参考帧。将对齐后的第N级参考帧、对齐后的第N
‑
1级参考帧以及第N
‑
1级的图像特征输入MPC模块，得到多张参考帧在第N
‑
1级的对齐偏移量。多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到多张参考帧与多张参考帧的预测帧图像之间的对齐偏移量。
[0013]一些实施方式中，将对齐后的第N级参考帧、对齐后的第N
‑
1级参考帧以及第N
‑
1级的图像特征输入MPC模块，得到多张参考帧在第N
‑
1级的对齐偏移量，包括：对对齐后的第N级参考帧进行上采样，得到多张过渡参考帧，过渡参考帧与第N
‑
1级的参考帧的尺度相同。将过渡参考帧、对齐后的第N
‑
1级参考帧帧以及第N
‑
1级的图像特征输入MPC模块，得到多张参考帧在第N
‑
1级的对齐偏移量。
[0014]一些实施方式中，通过上采样对特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧，包括：
[0015]对对齐后的目标帧进行上采样，得到插帧和超分后的目标帧。
[0016]和/或，对多张参考帧和特征对齐后的多张参考帧进行上采样，并将多张上采样后的参考帧分别与对应的上采样后的特征对齐后的参考帧相加，得到超分后的目标帧。
[0017]第二方面，本申请实施例提供了一种视频超分装置，装置包括：
[0018]获取模块，用于获取目标帧和多张参考帧，参考帧为目标帧的相邻帧图像。
[0019]对齐模块，用于通过PCA分别对目标帧和多张参考帧进行特征对齐，得到特征对齐后的目标帧和多张参考帧。
[0020]处理模块，用于通过上采样对特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧。
[0021]一些实施方式中，对齐模块，具体用于获取目标帧的N级图像特征，N为大于1的整数。将目标帧的N级图像特征分别输入MPC模块，得到目标帧与目标帧的预测帧之间的对齐偏移量。其中，预测帧为对齐后的帧图像。根据对齐偏移量，通过网格采样层生成目标帧的预测帧。
[0022]一些实施方式中，对齐模块，具体用于对目标帧执行以下步骤。将目标帧的第N级
图像特征输入MPC模块，得到目标帧在第N级的对齐偏移量。根据目标帧在第N级的对齐偏移量，对第N级和对第N
‑
1级的目标帧进行仿射变换，得到特征对齐后的第N级目标帧以及多张第N
‑
1级目标帧。将对齐后的第N级目标帧、对齐后的第N
...

【技术保护点】

【技术特征摘要】
1.一种视频超分方法，其特征在于，包括：获取目标帧和多张参考帧，所述参考帧为目标帧的相邻帧图像；通过金字塔互相关对齐模块分别对所述目标帧和多张所述参考帧进行特征对齐，得到特征对齐后的目标帧和多张参考帧；通过上采样对所述特征对齐后的目标帧和多张参考帧进行处理，得到超分后的目标帧。2.根据权利要求1所述的方法，其特征在于，通过金字塔互相关对齐模块对所述目标帧特征对齐，得到对齐后的目标帧，包括：获取目标帧的N级图像特征，N为大于1的整数；将所述目标帧的N级图像特征分别输入多帧局部互相关模块，得到所述目标帧与所述目标帧的预测帧之间的对齐偏移量；其中，所述预测帧为对齐后的帧图像；根据所述对齐偏移量，通过网格采样层生成所述目标帧的预测帧。3.根据权利要求2所述的方法，其特征在于，所述将所述目标帧的N级图像特征分别输入多帧局部互相关模块，得到所述目标帧与所述目标帧的预测帧之间的对齐偏移量，包括：对所述目标帧执行以下步骤：将所述目标帧的第N级图像特征输入所述多帧局部互相关模块，得到所述目标帧在第N级的对齐偏移量；根据所述目标帧在第N级的对齐偏移量，对第N级和对第N
‑
1级的所述目标帧进行仿射变换，得到特征对齐后的第N级目标帧以及多张第N
‑
1级目标帧；将所述对齐后的第N级目标帧、所述特征对齐后的第N
‑
1级目标帧以及第N
‑
1级的图像特征输入所述多帧局部互相关模块，得到所述目标帧在第N
‑
1级的对齐偏移量；多次执行以上步骤直至第一级，将第N级的对齐偏移量至第一级的对齐偏移量相加融合，得到所述目标帧与所述目标帧的预测帧图像之间的对齐偏移量。4.根据权利要求2所述的方法，其特征在于，将所述对齐后的第N级目标帧、所述对齐后的第N
‑
1级目标帧以及第N
‑
1级的图像特征输入所述多帧局部互相关模块，得到所述目标帧在第N
‑
1级的对齐偏移量，包括：对所述对齐后的第N级目标帧进行上采样，得到多张过渡目标帧，所述过渡目标帧与第N
‑
1级的参考帧的尺度相同；将所述过渡目标帧、所述对齐后的第N
‑
1级目标帧帧以及第N
‑
1级的图像特征输入所述多帧局部互相关模块，得到所述目标帧在第N
‑
1级的对齐偏移量。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，通过金字塔互相关对齐模块对多张所述参考帧特征对齐，得到对齐后的参考帧，包括：获取多张参考帧的N级图像特征，N为大于1的整数；将多张所述参考帧的N级图像特征分别输入多帧局部互相关多帧局部互相关模块，得到多张所述参考帧与多张所述参考帧的预测帧之间的对齐偏移量，所述预测帧为对齐后的帧图像；根据所述对齐偏移量，通过网格采样层生成多张所述参考帧的预测帧。6.根据权利要求5所述的方法，...

【专利技术属性】
技术研发人员：陈海波，罗志鹏，
申请(专利权)人：深延科技北京有限公司，
类型：发明
国别省市：