System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 视频补帧方法、装置、电子设备及存储介质制造方法及图纸_技高网

视频补帧方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40074964 阅读:6 留言:0更新日期:2024-01-17 00:58
本说明书提供一种视频补帧方法,其特征在于,所述方法包括:对待补帧的视频进行解码,得到所述视频包含的多个视频帧;检测所述多个视频帧中的掉帧位置;基于与所述掉帧位置相邻的视频帧的像素点信息,生成补偿视频帧,并将所述补偿视频帧添加至所述掉帧位置;对在所述掉帧位置添加所述补偿视频帧后的多个视频帧进行编码,得到补帧后的视频。本说明书的视频补帧方法能够基于相邻帧的像素点信息生成补偿视频帧,从而提高补帧后的视频播放流畅度。

【技术实现步骤摘要】

本说明书一个或多个实施例涉及视频处理,尤其涉及一种视频补帧方法、装置、电子设备及存储介质


技术介绍

1、视频掉帧,指的是由于网络信号差、系统性能不足、显卡性能不足,导致原始视频中的部分视频帧无法正常播放,进而出现视频播放卡顿、跳跃现象,造成用户的视频观看体验不佳。

2、在相关技术中,为了解决视频丢帧问题,通常可以利用帧间预测方式进行视频补偿。其中,帧间预测方式通常是判断丢帧位置前后相邻的两帧视频帧中适合放置于丢帧位置的视频帧,将该视频帧直接代替丢帧的视频帧,并对视频进行重新编码以得到补偿后的视频。

3、由此可见,在以上示出的实施例中,帧间预测方式虽然能补偿丢失的视频帧,但将掉帧位置前后相邻的两帧视频帧中的某一帧视频帧直接代替丢失的视频帧的方式会带来补偿后的视频播放不流畅的问题。


技术实现思路

1、本申请提供一种视频补帧方法,所述方法包括:

2、对待补帧的视频进行解码,得到所述视频包含的多个视频帧;

3、检测所述多个视频帧中的掉帧位置;

4、基于与所述掉帧位置相邻的视频帧的像素点信息,生成补偿视频帧,并将所述补偿视频帧添加至所述掉帧位置;

5、对在所述掉帧位置添加所述补偿视频帧后的多个视频帧进行编码,得到补帧后的视频。

6、可选的,所述生成补偿视频帧的方式,包括以下至少之一:

7、模型预测方式;

8、基于历史视频帧的统计预测方式。

9、可选的,所述生成补偿视频帧的方式包括模型预测方式,其中,所述基于与所述掉帧位置相邻的视频帧的像素点信息,生成补偿视频帧,包括:

10、将与所述掉帧位置相邻的至少两个视频帧的像素点信息输入训练完成的预测模型,得到所述预测模型输出的所述补偿视频帧的像素点信息;

11、基于所述补偿视频帧的像素点信息,生成所述补偿视频帧。

12、可选的,所述生成补偿视频帧的方式包括基于历史视频帧的统计预测方式,其中,所述基于与所述掉帧位置相邻的视频帧的像素点信息,生成补偿视频帧,包括:

13、针对所述多个视频帧中互为相邻的视频帧,两两计算视频帧中各个像素点的像素值的差值;

14、根据所述差值和与所述掉帧位置相邻的视频帧中各个像素点的像素值,预测所述补偿视频帧中各个像素点的像素值;

15、基于所述补偿视频帧中各个像素点的像素值,生成所述补偿视频帧。

16、可选的,所述检测所述多个视频帧中的掉帧位置,包括:

17、针对所述多个视频帧中互为相邻的视频帧的时间戳,确定两个视频帧的时间戳所标识的时刻之间的间隔时长是否达到预设时长;

18、如果是,则确定所述两个视频帧之间存在至少一个掉帧位置。

19、可选的,所述方法还包括:

20、检测所述补偿视频帧或所述多个视频帧的分辨率是否小于预先配置的分辨率阈值;

21、若所述补偿视频帧或所述多个视频帧的分辨率小于预先配置的分辨率阈值,通过图像插值算法给所述补偿视频帧或所述多个视频帧生成更多像素插值,以使所述补偿视频帧或所述多个视频帧的分辨率达到所述预先配置的分辨率阈值。

22、本申请还提供一种视频补帧装置,所述装置包括:

23、解码单元,用于对待补帧的视频进行解码,得到所述视频包含的多个视频帧;

24、检测单元,用于检测所述多个视频帧中的掉帧位置;

25、补偿单元,用于基于与所述掉帧位置相邻的视频帧的像素点信息,生成补偿视频帧,并将所述补偿视频帧添加至所述掉帧位置;

26、编码单元,用于对在所述掉帧位置添加所述补偿视频帧后的多个视频帧进行编码,得到补帧后的视频。

27、可选的,所述装置还包括:

28、第二检测单元,用于检测所述补偿视频帧或所述多个视频帧的分辨率是否小于预先配置的分辨率阈值;

29、插值单元,用于在所述补偿视频帧或所述多个视频帧的分辨率小于预先配置的分辨率阈值时,对所述补偿视频帧或所述多个视频帧进行图像插值处理。

30、本申请还提供一种电子设备,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;

31、所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行上述方法。

32、本申请还提供一种机器可读存储介质,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,实现上述方法。

33、通过以上方式,本申请将待补帧的视频解码并得到多个视频帧,检测得到视频帧中的掉帧位置,基于与掉帧位置相邻的视频帧的像素点信息,生成补偿视频帧,并将所述补偿视频帧添加至所述掉帧位置,可以实现基于相邻帧的像素点信息生成补偿视频帧,从而提高补帧后的视频播放流畅度。

本文档来自技高网...

【技术保护点】

1.一种视频补帧方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述生成补偿视频帧的方式,包括以下至少之一:

3.根据权利要求2所述的方法,其特征在于,所述生成补偿视频帧的方式包括模型预测方式,其中,所述基于与所述掉帧位置相邻的视频帧的像素点信息,生成补偿视频帧,包括:

4.根据权利要求2所述的方法,其特征在于,所述生成补偿视频帧的方式包括基于历史视频帧的统计预测方式,其中,所述基于与所述掉帧位置相邻的视频帧的像素点信息,生成补偿视频帧,包括:

5.根据权利要求1所述的方法,其特征在于,所述检测所述多个视频帧中的掉帧位置,包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.一种视频补帧装置,其特征在于,所述装置包括:

8.根据权利要求7所述的装置,其特征在于,所述装置还包括:

9.一种电子设备,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;

10.一种机器可读存储介质,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,实现权利要求1至6任一项所述的方法。

...

【技术特征摘要】

1.一种视频补帧方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述生成补偿视频帧的方式,包括以下至少之一:

3.根据权利要求2所述的方法,其特征在于,所述生成补偿视频帧的方式包括模型预测方式,其中,所述基于与所述掉帧位置相邻的视频帧的像素点信息,生成补偿视频帧,包括:

4.根据权利要求2所述的方法,其特征在于,所述生成补偿视频帧的方式包括基于历史视频帧的统计预测方式,其中,所述基于与所述掉帧位置相邻的视频帧的像素点信息,生成补偿视频帧,包括:

5.根据权利要求1所述的...

【专利技术属性】
技术研发人员:方海波
申请(专利权)人:浙江极氪智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1