视频帧调整方法、装置、电子设备和存储介质制造方法及图纸

本公开实施例公开了一种视频帧调整方法、装置、电子设备和存储介质，该方法包括：基于初始视频中的第一视频帧和第二视频帧，通过量化神经网络，确定第一视频帧到第二视频帧的第一光流以及第二视频帧到第一视频帧的第二光流；基于第一光流以及第二光流确定中间帧到第一视频帧的第三光流以及中间帧到第二视频帧的第四光流，根据所述两个初始视频帧、第三光流和第四光流确定中间帧；将中间帧插入至所述两个初始视频帧之间。通过本公开实施例提供的视频帧调整方法，实现了在相邻两个视频帧之间进行插帧的目的，同时可保证插帧后的高帧率视频的播放效果。的播放效果。的播放效果。

【技术实现步骤摘要】
视频帧调整方法、装置、电子设备和存储介质


[0001]本公开涉及视频
，尤其涉及一种视频帧调整方法、装置、电子设备和存储介质。

技术介绍

[0002]视频是互联网信息传播的重要媒介，视频的色彩、帧率、清晰度等因素都会影响视频的播放效果，进而影响用户的观看体验。其中，视频的帧率越高，则视频播放越流畅，用户的观看体验越好。
[0003]随着视频播放设备硬件的发展，越来越多的视频播放设备支持高帧率视频的播放。
[0004]但是，通过目前的视频帧率提升技术实现的视频帧率提升效果并不理想。

技术实现思路

[0005]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种视频帧调整方法、装置、电子设备和存储介质，实现了在相邻两个视频帧之间进行插帧的目的，同时可保证插帧后的高帧率视频的播放效果。
[0006]第一方面，本公开实施例提供了一种视频帧调整方法，该方法包括：
[0007]基于初始视频中的第一视频帧和第二视频帧，通过量化神经网络，确定所述第一视频帧到所述第二视频帧的第一光流以及所述第二视频帧到所述第一视频帧的第二光流，所述第一视频帧与所述第二视频帧为两个相邻的初始视频帧；
[0008]基于所述第一光流以及所述第二光流确定中间帧到所述第一视频帧的第三光流，以及所述中间帧到所述第二视频帧的第四光流，其中，所述中间帧为待插入到所述第一视频帧与所述第二视频帧之间的估计视频帧；
[0009]根据所述第一视频帧、所述第二视频帧、所述第三光流和所述第四光流确定所述中间帧；
[0010]在所述初始视频中，将所述中间帧插入至所述第一视频帧与所述第二视频帧之间，得到目标视频。
[0011]第二方面，本公开实施例还提供了一种视频帧调整装置，该装置包括：
[0012]第一确定模块，用于基于初始视频中的第一视频帧和第二视频帧，通过量化神经网络，确定所述第一视频帧到所述第二视频帧的第一光流以及所述第二视频帧到所述第一视频帧的第二光流，所述第一视频帧与所述第二视频帧为两个相邻的初始视频帧；
[0013]第二确定模块，用于基于所述第一光流以及所述第二光流确定中间帧到所述第一视频帧的第三光流，以及所述中间帧到所述第二视频帧的第四光流，其中，所述中间帧为待插入到所述第一视频帧与所述第二视频帧之间的估计视频帧；
[0014]第三确定模块，用于根据所述第一视频帧、所述第二视频帧、所述第三光流和所述第四光流确定所述中间帧；
[0015]插帧模块，用于在所述初始视频中，将所述中间帧插入至所述第一视频帧与所述第二视频帧之间，得到目标视频。
[0016]第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
[0017]一个或多个处理器；
[0018]存储装置，用于存储一个或多个程序；
[0019]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的视频帧调整方法。
[0020]第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的视频帧调整方法。
[0021]第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的视频帧调整方法。
[0022]本公开实施例提供的技术方案至少具有如下优点：
[0023]本公开实施例提供的视频帧调整方法，基于初始视频中的第一视频帧和第二视频帧，通过量化神经网络，确定所述第一视频帧到所述第二视频帧的第一光流以及所述第二视频帧到所述第一视频帧的第二光流，所述第一视频帧与所述第二视频帧为两个相邻的初始视频帧，使得本公开实施例提供的视频帧调整方法可以运行在移动设备上，且针对大运动场景的视频更具备鲁棒性。基于所述第一光流以及所述第二光流确定中间帧到所述第一视频帧的第三光流，以及所述中间帧到所述第二视频帧的第四光流，其中，所述中间帧为待插入到所述第一视频帧与所述第二视频帧之间的估计视频帧；根据所述第一视频帧、所述第二视频帧、所述第三光流和所述第四光流确定所述中间帧；在所述初始视频中，将所述中间帧插入至所述第一视频帧与所述第二视频帧之间。实现了在相邻两个视频帧之间进行插帧的目的，同时可保证插帧后的高帧率视频的播放效果。
附图说明
[0024]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0025]图1为本公开实施例中的一种视频帧调整方法的流程图；
[0026]图2为本公开实施例中的一种量化神经网络的结构示意图；
[0027]图3为本公开实施例中的一种视频帧之间的时序关系示意图；
[0028]图4为本公开实施例中的一种第二像素点P从第一视频帧I_0到中间帧I_t的第二光流向量以及第一像素点Q从中间帧I_t到第一视频帧I_0的第一光流向量的示意图；
[0029]图5为本公开实施例中的一种通过预设神经网络预测遮挡图像的流程示意图
[0030]图6为本公开实施例中的一种视频帧调整装置的结构示意图；
[0031]图7为本公开实施例中的一种电子设备的结构示意图。
具体实施方式
[0032]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0033]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0034]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0035]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0036]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0037]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0038]图1为本公开实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频帧调整方法，其特征在于，包括：基于初始视频中的第一视频帧和第二视频帧，通过量化神经网络，确定所述第一视频帧到所述第二视频帧的第一光流以及所述第二视频帧到所述第一视频帧的第二光流，所述第一视频帧与所述第二视频帧为两个相邻的初始视频帧；基于所述第一光流以及所述第二光流确定中间帧到所述第一视频帧的第三光流，以及所述中间帧到所述第二视频帧的第四光流，其中，所述中间帧为待插入到所述第一视频帧与所述第二视频帧之间的估计视频帧；根据所述第一视频帧、所述第二视频帧、所述第三光流和所述第四光流确定所述中间帧；在所述初始视频中，将所述中间帧插入至所述第一视频帧与所述第二视频帧之间，得到目标视频。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一光流以及所述第二光流确定中间帧到所述第一视频帧的第三光流，以及所述中间帧到所述第二视频帧的第四光流，包括：基于所述第一光流、所述第二光流以及目标对象在所述第一视频帧与所述第二视频帧的运动轨迹确定所述第一视频帧到所述中间帧的第五光流，以及所述第二视频帧到所述中间帧的第六光流；通过光流逆转技术，基于所述第五光流确定所述第三光流，基于所述第六光流确定所述第四光流。3.根据权利要求2所述的方法，其特征在于，所述通过光流逆转技术，基于所述第五光流确定所述第三光流，包括：若所述中间帧上的第一像素点与所述第一视频帧上唯一的第二像素点具有预设关系，则所述第一像素点从所述中间帧到所述第一视频帧的第一光流向量为所述第二像素点从所述第一视频帧到所述中间帧的第二光流向量的逆向量，其中，所述第五光流包括所述第二光流向量；若所述中间帧上的第一像素点与所述第一视频帧上至少两个第二像素点具有预设关系，则所述第一光流向量为所述至少两个第二像素点分别从所述第一视频帧到所述中间帧的第二光流向量的逆向量的加权平均值；若所述第一视频帧上不存在与所述中间帧上的第一像素点具有预设关系的第二像素点，则所述第一光流向量为0；所述中间帧上的每个所述第一像素点从所述中间帧到所述第一视频帧的第一光流向量组成所述第三光流。4.根据权利要求2所述的方法，其特征在于，所述基于所述第六光流确定所述第四光流，包括：若所述中间帧上的第三像素点与所述第二视频帧上唯一的第四像素点具有预设关系，则所述第三像素点从所述中间帧到所述第二视频帧的第三光流向量为所述第四像素点从所述第二视频帧到所述中间帧的第四光流向量的逆向量，其中，所述第六光流包括所述第四光流向量；若所述中间帧上的第三像素点与所述第二视频帧上至少两个第四像素点具有预设关
系，则所述第三光流向量为所述至少两个第四像素点分别从所述第二视频帧到所述中间帧的第四光流向量的逆向量的加权平均值；若所述第二视频帧上不存在与所述中间帧上的第三像素点具有预设关系第四像素点，则所述第三光流向量0；所述中间帧上的每个所述第三像素点从所述中间帧到所述第二视频帧的第三光流向量组成所述第四光流。5.根据权利要求1所述的方法，其特征在于，所述量化神经网络包括级联的编码器模块、解码器模块和两个光流预测分支；其中，所述编码器模块包括下采样单元和编码单元，所述下采样单元用于分别对输入的所述第一视频帧以及所述第二视频帧进行下采样，并将所述第一视频帧的下采样图像以及所述第二视频帧的下采样图像输入至所述编码单元，以使所述编码单元基于所述下采样图像进行特征提取，获得特征图像的编码；所述解码器模块包括解码单元和上采样单元，所述解码单元用于对所述特征图像的编码进行解码，并将解码后的特征图像输入至所述上采样单元，以使所述上采样单元对所述解码后的特征图像进行上采样，并将获得的上采样图像分别输入至所述两个光流预测分支，以使所述两个光流预测分支中的一个光流预测分支基于所述上采样图像预测所述第一光流，使所述两个光流预测分支中的另一个光流预测分支基于所述上采样图像预测所述第二光流。6.根据权利要求1
‑
...

【专利技术属性】
技术研发人员：龚立雪，张瑞，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：