【技术实现步骤摘要】
视频帧调整方法、装置、电子设备和存储介质
[0001]本公开涉及视频
,尤其涉及一种视频帧调整方法、装置、电子设备和存储介质。
技术介绍
[0002]视频是互联网信息传播的重要媒介,视频的色彩、帧率、清晰度等因素都会影响视频的播放效果,进而影响用户的观看体验。其中,视频的帧率越高,则视频播放越流畅,用户的观看体验越好。
[0003]随着视频播放设备硬件的发展,越来越多的视频播放设备支持高帧率视频的播放。
[0004]但是,通过目前的视频帧率提升技术实现的视频帧率提升效果并不理想。
技术实现思路
[0005]为了解决上述技术问题或者至少部分地解决上述技术问题,本公开实施例提供了一种视频帧调整方法、装置、电子设备和存储介质,实现了在相邻两个视频帧之间进行插帧的目的,同时可保证插帧后的高帧率视频的播放效果。
[0006]第一方面,本公开实施例提供了一种视频帧调整方法,该方法包括:
[0007]基于初始视频中的第一视频帧和第二视频帧,通过量化神经网络,确定所述第一视频帧到所述第二视频帧的第一光流以及所述第二视频帧到所述第一视频帧的第二光流,所述第一视频帧与所述第二视频帧为两个相邻的初始视频帧;
[0008]基于所述第一光流以及所述第二光流确定中间帧到所述第一视频帧的第三光流,以及所述中间帧到所述第二视频帧的第四光流,其中,所述中间帧为待插入到所述第一视频帧与所述第二视频帧之间的估计视频帧;
[0009]根据所述第一视频帧、所述第二视频帧、所述第三光流和所述 ...
【技术保护点】
【技术特征摘要】
1.一种视频帧调整方法,其特征在于,包括:基于初始视频中的第一视频帧和第二视频帧,通过量化神经网络,确定所述第一视频帧到所述第二视频帧的第一光流以及所述第二视频帧到所述第一视频帧的第二光流,所述第一视频帧与所述第二视频帧为两个相邻的初始视频帧;基于所述第一光流以及所述第二光流确定中间帧到所述第一视频帧的第三光流,以及所述中间帧到所述第二视频帧的第四光流,其中,所述中间帧为待插入到所述第一视频帧与所述第二视频帧之间的估计视频帧;根据所述第一视频帧、所述第二视频帧、所述第三光流和所述第四光流确定所述中间帧;在所述初始视频中,将所述中间帧插入至所述第一视频帧与所述第二视频帧之间,得到目标视频。2.根据权利要求1所述的方法,其特征在于,所述基于所述第一光流以及所述第二光流确定中间帧到所述第一视频帧的第三光流,以及所述中间帧到所述第二视频帧的第四光流,包括:基于所述第一光流、所述第二光流以及目标对象在所述第一视频帧与所述第二视频帧的运动轨迹确定所述第一视频帧到所述中间帧的第五光流,以及所述第二视频帧到所述中间帧的第六光流;通过光流逆转技术,基于所述第五光流确定所述第三光流,基于所述第六光流确定所述第四光流。3.根据权利要求2所述的方法,其特征在于,所述通过光流逆转技术,基于所述第五光流确定所述第三光流,包括:若所述中间帧上的第一像素点与所述第一视频帧上唯一的第二像素点具有预设关系,则所述第一像素点从所述中间帧到所述第一视频帧的第一光流向量为所述第二像素点从所述第一视频帧到所述中间帧的第二光流向量的逆向量,其中,所述第五光流包括所述第二光流向量;若所述中间帧上的第一像素点与所述第一视频帧上至少两个第二像素点具有预设关系,则所述第一光流向量为所述至少两个第二像素点分别从所述第一视频帧到所述中间帧的第二光流向量的逆向量的加权平均值;若所述第一视频帧上不存在与所述中间帧上的第一像素点具有预设关系的第二像素点,则所述第一光流向量为0;所述中间帧上的每个所述第一像素点从所述中间帧到所述第一视频帧的第一光流向量组成所述第三光流。4.根据权利要求2所述的方法,其特征在于,所述基于所述第六光流确定所述第四光流,包括:若所述中间帧上的第三像素点与所述第二视频帧上唯一的第四像素点具有预设关系,则所述第三像素点从所述中间帧到所述第二视频帧的第三光流向量为所述第四像素点从所述第二视频帧到所述中间帧的第四光流向量的逆向量,其中,所述第六光流包括所述第四光流向量;若所述中间帧上的第三像素点与所述第二视频帧上至少两个第四像素点具有预设关
系,则所述第三光流向量为所述至少两个第四像素点分别从所述第二视频帧到所述中间帧的第四光流向量的逆向量的加权平均值;若所述第二视频帧上不存在与所述中间帧上的第三像素点具有预设关系第四像素点,则所述第三光流向量0;所述中间帧上的每个所述第三像素点从所述中间帧到所述第二视频帧的第三光流向量组成所述第四光流。5.根据权利要求1所述的方法,其特征在于,所述量化神经网络包括级联的编码器模块、解码器模块和两个光流预测分支;其中,所述编码器模块包括下采样单元和编码单元,所述下采样单元用于分别对输入的所述第一视频帧以及所述第二视频帧进行下采样,并将所述第一视频帧的下采样图像以及所述第二视频帧的下采样图像输入至所述编码单元,以使所述编码单元基于所述下采样图像进行特征提取,获得特征图像的编码;所述解码器模块包括解码单元和上采样单元,所述解码单元用于对所述特征图像的编码进行解码,并将解码后的特征图像输入至所述上采样单元,以使所述上采样单元对所述解码后的特征图像进行上采样,并将获得的上采样图像分别输入至所述两个光流预测分支,以使所述两个光流预测分支中的一个光流预测分支基于所述上采样图像预测所述第一光流,使所述两个光流预测分支中的另一个光流预测分支基于所述上采样图像预测所述第二光流。6.根据权利要求1
‑
...
【专利技术属性】
技术研发人员:龚立雪,张瑞,
申请(专利权)人:北京字跳网络技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。