System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 媒体流处理方法及装置制造方法及图纸_技高网

媒体流处理方法及装置制造方法及图纸

技术编号:40828704 阅读:4 留言:0更新日期:2024-04-01 14:50
本申请实施例提供一种媒体流处理方法,所述方法包括:采集目标终端的若干种媒体数据,所述目标终端为同一频道的若干个第一终端中的任一终端;至少对一种所述媒体数据产生若干路第一媒体流,所述第一媒体流包括主媒体流和辅媒体流,所述辅媒体流的尺寸小于所述主媒体流;将所述若干路第一媒体流发送给服务端,以供所述服务端向除所述目标终端外的其它所述第一终端分别发送一路所述主媒体流和/或一路所述辅媒体流。本申请实施例提供的媒体流处理方法,可以较好地适用于多人实时互动直播场景。

【技术实现步骤摘要】

本申请涉及计算机,特别涉及一种媒体流处理方法、装置、计算机设备及存储介质。


技术介绍

1、目前,有两种媒体流的传输方案:一种是mcu(multipoint conferencing unit,多端控制单元)方案:一个服务器连接多个终端,每个终端将自己的音视频数据发送给服务器,服务器会将在同一个频道中的所有终端的音视频进行混合,把混合后的视频发送给终端;另一种是sfu(selective forwarding unit,选择性转发单元)方案:一个服务器连接多个终端,每个终端将自己的音视频数据发送给服务器,服务器不进行混流,直接将音视频数据转发给频道中其它终端。

2、在多人实时互动直播的场景中,假如有n个人在同一个频道中产生音视频,如果采用mcu方案,服务器根据每个用户指定的布局混流,则需要产生多路视频流再转发给用户,编解码过程会消耗大量计算资源,且通话的延迟会增加,成本较高;如果采用sfu方案,频道中每个人需要接收n-1路媒体流,终端的网络下行带宽和设备的性能会成为瓶颈。

3、综上,目前没有一种传输方案能较好地适用于多人实时互动直播的场景。


技术实现思路

1、本申请的目的在于提供一种媒体流处理方法、装置、计算机设备及存储介质,用于解决目前没有较好地适用于多人实时互动直播场景的传输方案的技术问题。

2、本申请实施例的一个方面提供了一种媒体流处理方法,包括:采集目标终端的若干种媒体数据,目标终端为同一频道的若干个第一终端中的任一终端;至少对一种媒体数据产生若干路第一媒体流,第一媒体流包括主媒体流和辅媒体流,辅媒体流的尺寸小于主媒体流;将若干路第一媒体流发送给服务端,以供服务端向除目标终端外的其它第一终端分别发送一路主媒体流和/或一路辅媒体流。

3、可选地,媒体数据包括视频数据,至少对一种媒体数据产生若干路第一媒体流,包括:对视频数据产生一路主媒体流和一路辅媒体流。

4、可选地,第一媒体流包括用户标识、流标识和类型标识中的至少一种标识,用户标识为第一媒体流对应用户的标识,流标识用于区分主媒体流和辅媒体流,类型标识用于区分第一媒体流对应的媒体数据的类型。

5、可选地,媒体数据包括音频数据和视频数据,第一媒体流通过rtp包或rtcp包传输,方法还包括:在接收到服务端发送的rtp包或rtcp包的情况下,根据标识区域rtp包或rtcp包,并对rtp包或rtcp包进行解码;将解码得到的音频数据进行混音播放,并将解码得到的视频数据根据预设规则渲染到指定的区域。

6、本申请实施例的一个方面又提供了一种媒体流处理装置,包括:采集模块,用于采集目标终端的若干种媒体数据,目标终端为同一频道的若干个第一终端中的任一终端;生成模块,用于至少对一种媒体数据产生若干路第一媒体流,第一媒体流包括主媒体流和辅媒体流,辅媒体流的尺寸小于主媒体流;发送模块,用于将若干路第一媒体流发送给服务端,以供服务端向除目标终端外的其它第一终端分别发送一路主媒体流和/或一路辅媒体流。

7、本申请实施例的一个方面又提供了一种媒体流处理方法,包括:接收目标终端发送的若干路第一媒体流,目标终端为同一频道的若干个第一终端的任一终端,第一媒体流包括主媒体流和辅媒体流,辅媒体流的尺寸小于主媒体流;在接收到目标终端发送的若干路第一媒体流的情况下,向除目标终端外的其它每一第一终端分别发送一路主媒体流和/或一路辅媒体流。

8、可选地,方法还包括:接收目标终端发送的切换请求,切换请求用于请求切换第二终端发送至目标终端的第一媒体流的类别,类别包括主媒体流和辅媒体流,第二终端为除目标终端外的其它第一终端中的任一终端;在接收到切换请求的情况下,切换第二终端发送至目标终端的第一媒体流的类别。

9、可选地,方法还包括:接收目标终端发送的关闭请求,关闭请求用于关闭第二终端发送至目标终端的第一媒体流;在接收到关闭请求的情况下,关闭第二终端发送至目标终端的第一媒体流。

10、可选地,方法还包括:获取第一终端的个数;在第一终端的个数大于预设阈值的情况下,将至少部分发送至第一终端的第一媒体流设置为辅媒体流。

11、本申请实施例的一个方面又提供了一种媒体流处理装置,包括:接收模块,用于接收目标终端发送的若干路第一媒体流,目标终端为同一频道的若干个第一终端的任一终端,第一媒体流包括主媒体流和辅媒体流,辅媒体流的尺寸小于主媒体流;发送模块,用于在接收到目标终端发送的若干路第一媒体流的情况下,向除目标终端外的其它每一第一终端分别发送一路主媒体流和/或一路辅媒体流。

12、本申请实施例的一个方面又提供了一种计算机设备,计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时用于实现上述的媒体处理方法的步骤。

13、本申请实施例的一个方面又提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序可被至少一个处理器所执行,以使至少一个处理器执行上述的媒体处理方法的步骤。

14、本申请实施例提供的媒体流处理方法、装置、计算机设备及存储介质,包括以下优点:

15、通过采集目标终端的媒体数据,对媒体数据产生若干路第一媒体流后发送至服务端,供服务端向其它第一终端分别发送一路主媒体流和/或一路辅媒体流,由于服务端不需要如mcu方案一样布局混流,产生多路视频流再转发,因此可以避免mcu方案编解码过程会消耗大量计算资源、通话延迟增加和成本较高的缺点;同时,由于可以根据需要只将尺寸较小的辅媒体流发送至同一频道的第一终端,因此可以减轻第一终端下行带宽的压力和设备性能的压力,解决sfu方案中的瓶颈问题,从而较好地适用于多人实时互动直播的场景。

本文档来自技高网...

【技术保护点】

1.一种媒体流处理方法,其特征在于,包括:

2.根据权利要求1所述的媒体流处理方法,其特征在于,所述媒体数据包括视频数据,所述至少对一种所述媒体数据产生若干路第一媒体流,包括:

3.根据权利要求1所述的媒体流处理方法,其特征在于,所述第一媒体流包括用户标识、流标识和类型标识中的至少一种标识,所述用户标识为所述第一媒体流对应用户的标识,所述流标识用于区分所述主媒体流和所述辅媒体流,所述类型标识用于区分所述第一媒体流对应的媒体数据的类型。

4.根据权利要求3所述的媒体流处理方法,其特征在于,所述媒体数据包括音频数据和视频数据,所述第一媒体流通过RTP包或RTCP包传输,所述方法还包括:

5.一种媒体流处理装置,其特征在于,包括:

6.一种媒体流处理方法,其特征在于,包括:

7.根据权利要求6所述的媒体流处理方法,其特征在于,还包括:

8.根据权利要求7所述的媒体流处理方法,其特征在于,还包括:

9.根据权利要求6-8任一项所述的媒体流处理方法,其特征在于,还包括:

10.一种媒体流处理装置,其特征在于,包括:

11.一种计算机设备,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时用于实现权利要求1-4或6-9中任一项所述的媒体处理方法的步骤。

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行权利要求1-4或6-9中任一项所述的媒体处理方法的步骤。

...

【技术特征摘要】

1.一种媒体流处理方法,其特征在于,包括:

2.根据权利要求1所述的媒体流处理方法,其特征在于,所述媒体数据包括视频数据,所述至少对一种所述媒体数据产生若干路第一媒体流,包括:

3.根据权利要求1所述的媒体流处理方法,其特征在于,所述第一媒体流包括用户标识、流标识和类型标识中的至少一种标识,所述用户标识为所述第一媒体流对应用户的标识,所述流标识用于区分所述主媒体流和所述辅媒体流,所述类型标识用于区分所述第一媒体流对应的媒体数据的类型。

4.根据权利要求3所述的媒体流处理方法,其特征在于,所述媒体数据包括音频数据和视频数据,所述第一媒体流通过rtp包或rtcp包传输,所述方法还包括:

5.一种媒体流处理装置,其特征在于,包括:

6.一种媒体流处理方法,其特征在于,包括:...

【专利技术属性】
技术研发人员:马家忆熊钊志
申请(专利权)人:上海哔哩哔哩科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1