System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 虚拟现实直播视频编码方法及其装置、设备、介质制造方法及图纸_技高网

虚拟现实直播视频编码方法及其装置、设备、介质制造方法及图纸

技术编号:39956063 阅读:7 留言:0更新日期:2024-01-08 23:40
本申请公开一种虚拟现实直播视频编码方法及其装置、设备、介质,包括:获取虚拟现实的第一直播视频流与第二直播视频流;将第二直播视频流中的关键图像帧修改为前向参考图像帧,调整第二直播视频流中的前向参考图像帧参考于第一直播视频流中的关键图像帧或前向参考图像帧;将第一直播视频流中关键图像帧与前向图像帧作为第二直播视频流中的编码代价参考图像帧,计算第二直播视频流中图像帧的编码代价;根据第一直播视频流与第二直播视频流之间的编码代价比例,确定出第二直播视频流中图像帧的码控量化参数;将包含第一直播视频流与第二直播视频流的虚拟现实直播编码视频流广播至直播间。本申请应用于虚拟现实直播的视频编码,可提升视频编码效率。

【技术实现步骤摘要】

本申请涉及网络直播领域,尤其涉及一种虚拟现实直播视频编码方法,此外还涉及该方法相应的装置、设备以及非易失性存储介质。


技术介绍

1、现有的互联网直播中,部分互联网直播平台具有虚拟现实直播间业务,开启虚拟现实直播间业务的直播间中,主播端可将通过虚拟现实拍摄单元所拍摄的左眼视频流与右眼视频流分别编码作为两路直播编码视频流广播至直播间中,直播间中的观众端可开启虚拟现实直播观看模式,将接收到的两路直播视频流分别解码为左眼视频流与右眼视频流进行播放,使处于观众端的观众用户可以虚拟现实的方式观看主播用户的视频直播,例如,360度全景虚拟现实直播或大画幅虚拟现实直播等,但现有的互联网直播平台若开启虚拟现实直播间业务,则需分别对左右两路视频流进行视频编解码,需要互联网直播平台构建适用于虚拟现实直播间业务的直播流编解码推流系统,这将消耗互联网直播平台大量的开发成本,且可能影响常规直播流编解码推送系统的稳定性。

2、鉴于现有的互联网直播平台中关于虚拟现实直播视频流的视频编解码推送所存在的问题,本申请人出于解决该问题的考虑做出相应的探索。


技术实现思路

1、本申请的目的在于满足用户需求而提供一种虚拟现实直播视频编码方法,此外还涉及该方法相应的装置、设备、非易失性存储介质以及计算机程序产品。

2、为实现本申请的目的,采用如下技术方案:

3、适应本申请的目的而提出的一种虚拟现实直播视频编码方法,包括如下步骤:

4、获取由直播间中主播端的虚拟现实拍摄单元所拍摄的第一直播视频流与第二直播视频流;

5、将所述第二直播视频流中的关键图像帧修改为前向参考图像帧,且调整所述第二直播视频流中的前向参考图像帧参考于所述第一直播视频流中的关键图像帧或前向参考图像帧;

6、将所述第一直播视频流中关键图像帧与前向图像帧作为所述第二直播视频流的编码代价参考图像帧,计算出所述第二直播视频流中各类图像帧的编码代价;

7、统计出所述第一直播视频流中各类图像帧的码控量化参数,根据所述第一直播视频流中各类图像帧与所述第二直播视频流中各类图像帧之间的编码代价比例,确定出所述第二直播视频流中各类图像帧的码控量化参数;

8、获取包含所述第一直播视频流与所述第二直播视频流的虚拟现实直播编码视频流,将所述虚拟现实直播编码视频流广播至所述直播间。

9、进一步的实施例中,所述获取由直播间中主播端的虚拟现实拍摄单元所拍摄的第一直播视频流与第二直播视频流的步骤之中,包括如下步骤:

10、响应作用于直播间的虚拟现实直播开启指令,启动虚拟现实拍摄单元;

11、获取由所述虚拟现实拍摄单元拍摄的左眼视频流与右眼视频流;

12、将所述左眼视频流或所述右眼视频流分别作为第一直播视频流或第二直播视频流。

13、进一步的实施例中,所述将所述第二直播视频流中的关键图像帧修改为前向参考图像帧,且调整所述第二直播视频流中的前向参考图像帧参考于所述第一直播视频流中的关键图像帧或前向参考图像帧的步骤之中,包括如下步骤:

14、获取所述第一直播视频流的图像帧组作为第一图像帧组,获取所述第二直播视频流的图像帧组作为第二图像帧组,所述图像帧组中包含基于预设图像帧间隔分类的关键图像帧、前向参考图像帧与前后向参考图像帧;

15、将所述第二图像帧组中的关键图像帧修改为前向参考图像帧,且将所述前向参考图像帧的参考对象修改为所述第一图像帧组中的关键图像帧;

16、将所述第二图像帧组中一个或多个前向参考图像帧的参考对象修改为所述第一图像帧组中的前向参考图像帧;

17、检测所述第一图像帧组或所述第二图像帧组的帧数量,当帧数量未超过预设帧数阈值时,将所述第一图像帧组或所述第二图像帧组中所有图像帧的帧类型修改为前向参考图像帧。

18、进一步的实施例中,所述将所述第二直播视频流中的关键图像帧修改为前向参考图像帧,且调整所述第二直播视频流中的前向参考图像帧参考于所述第一直播视频流中的关键图像帧或前向参考图像帧的步骤之中,包括如下步骤:

19、当当前图像帧为第二直播视频流中由关键图像帧修改的前向参考图像帧时,获取具有第一直播视频流中关键图像帧的短期参考图像参数集进行帧参考;

20、当当前图像帧为第一直播视频流中或第二直播视频流中前后向参考图像帧被修改前向参考图像帧时,获取具有第一直播视频流中前向参考图像帧的短期图像参考集进行帧参考;

21、当当前图像帧为第二直播视频流中的前向参考图像帧或前后向参考图像帧时,获取预设短期图像参考集矩阵中对应的短期图像参考集进行帧参考。

22、进一步的实施例中,所述将所述第一直播视频流中关键图像帧与前向图像帧作为所述第二直播视频流的编码代价参考图像帧,计算出所述第二直播视频流中各类图像帧的编码代价的步骤之中,包括如下步骤:

23、当前进行编码代价计算的目标图像帧为第二直播视频流中由关键图像帧修改的前向参考图像帧时,将目标图像帧作为后向代价计算参考图像帧,并将第一直播视频流中的关键图像帧作为前向代价计算参考图像帧;

24、当前进行编码代价计算的目标图像帧为第二直播视频流中的前向参考像帧时,将目标图像帧作为后向代价计算参考图像帧,并将第一直播视频流中对应的前向参考帧作为前向代价计算参考图像帧。

25、进一步的实施例中,所述统计出所述第一直播视频流中各类图像帧的码控量化参数,根据所述第一直播视频流中各类图像帧与所述第二直播视频流中各类图像帧之间的编码代价比例,确定出所述第二直播视频流中各类图像帧的码控量化参数的步骤之中,包括如下步骤:

26、获取第一直播视频流中关键图像帧的编码代价与第二直播视频流中关键图像帧被修改为前向参考图像帧的编码代价,计算所述关键图像帧与所述前向参考图像帧各自的编码代价之间的比例,确定出调整码控量化参数偏移量,以计算出所述前向参考图像帧的码控量化参数;

27、获取第一直播视频流中前向参考图像帧的编码代价与第二直播视频流中常规前向参考图像帧的编码代价,计算所述前向图像帧与所述常规前向参考图像帧各自的编码代价之间的比例,确定出调整码控量化参数偏移量,以计算出所述常规前向参考图像帧的码控量化参数。

28、进一步的实施例中,所述获取包含所述第一直播视频流与所述第二直播视频流的直播编码视频流,将所述直播编码视频流广播至所述直播间的步骤之中,包括如下步骤:

29、将第一直播视频流与修改了图像帧类型的第二直播视频流作为同一直播视频流进行视频编码;

30、获取进行所述视频编码后生成的虚拟现实直播编码视频流广播至处于直播间的观众端中,驱动所述观众端将所述直播编码视频流解码为虚拟现实直播视频流进行播放。

31、适应本申请的目的而提出的一种虚拟现实直播视频编码装置,其包括:

32、直播流获取模块,用于获取由直播间中主播端的虚拟现实拍摄单元本文档来自技高网...

【技术保护点】

1.一种虚拟现实直播视频编码方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的方法,其特征在于,所述获取由直播间中主播端的虚拟现实拍摄单元所拍摄的第一直播视频流与第二直播视频流的步骤之中,包括如下步骤:

3.根据权利要求1所述的方法,其特征在于,所述将所述第二直播视频流中的关键图像帧修改为前向参考图像帧,且调整所述第二直播视频流中的前向参考图像帧参考于所述第一直播视频流中的关键图像帧或前向参考图像帧的步骤之中,包括如下步骤:

4.根据权利要求1所述的方法,其特征在于,所述将所述第二直播视频流中的关键图像帧修改为前向参考图像帧,且调整所述第二直播视频流中的前向参考图像帧参考于所述第一直播视频流中的关键图像帧或前向参考图像帧的步骤之中,包括如下步骤:

5.根据权利要求1所述的方法,其特征在于,所述将所述第一直播视频流中关键图像帧与前向图像帧作为所述第二直播视频流的编码代价参考图像帧,计算出所述第二直播视频流中各类图像帧的编码代价的步骤之中,包括如下步骤:

6.根据权利要求1所述的方法,其特征在于,所述统计出所述第一直播视频流中各类图像帧的码控量化参数,根据所述第一直播视频流中各类图像帧与所述第二直播视频流中各类图像帧之间的编码代价比例,确定出所述第二直播视频流中各类图像帧的码控量化参数的步骤之中,包括如下步骤:

7.根据权利要求1所述的方法,其特征在于,所述获取包含所述第一直播视频流与所述第二直播视频流的直播编码视频流,将所述直播编码视频流广播至所述直播间的步骤之中,包括如下步骤:

8.一种虚拟现实直播视频编码装置,其特征在于,包括:

9.一种电子设备,包括中央处理器和存储器,其特征在于,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任一项所述的方法的步骤。

10.一种非易失性存储介质,其特征在于,其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行该方法所包括的步骤。

...

【技术特征摘要】

1.一种虚拟现实直播视频编码方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的方法,其特征在于,所述获取由直播间中主播端的虚拟现实拍摄单元所拍摄的第一直播视频流与第二直播视频流的步骤之中,包括如下步骤:

3.根据权利要求1所述的方法,其特征在于,所述将所述第二直播视频流中的关键图像帧修改为前向参考图像帧,且调整所述第二直播视频流中的前向参考图像帧参考于所述第一直播视频流中的关键图像帧或前向参考图像帧的步骤之中,包括如下步骤:

4.根据权利要求1所述的方法,其特征在于,所述将所述第二直播视频流中的关键图像帧修改为前向参考图像帧,且调整所述第二直播视频流中的前向参考图像帧参考于所述第一直播视频流中的关键图像帧或前向参考图像帧的步骤之中,包括如下步骤:

5.根据权利要求1所述的方法,其特征在于,所述将所述第一直播视频流中关键图像帧与前向图像帧作为所述第二直播视频流的编码代价参考图像帧,计算出所述第二直播视频流中各类图像帧的编码代价的步骤之中,包括...

【专利技术属性】
技术研发人员:周旭周超
申请(专利权)人:广州方硅信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1