System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 录屏直播连麦的方法和装置制造方法及图纸_技高网

录屏直播连麦的方法和装置制造方法及图纸

技术编号:40842012 阅读:5 留言:0更新日期:2024-04-01 15:09
本申请实施例提供了一种录屏直播连麦的方法,该录屏直播连麦的方法包括:在录屏直播连麦场景下,启用录屏Extension以获取屏幕录制状态下的第一音视频数据,所述录屏Extension用于实现ReplayKit框架的功能;将所述第一音视频数据从所述录屏Extension传输到宿主应用程序中;通过所述宿主应用程序来获取来自连麦设备的第二音视频数据;通过所述宿主应用程序处理所述第一音视频数据和所述第二音视频数据,以生成目标音视频数据;通过所述宿主应用程序将所述目标音视频数据推送到服务器。本申请实施例的技术方案可以实现录屏直播连麦等互动功能。

【技术实现步骤摘要】

本申请实施例涉及直播,尤其涉及一种录屏直播连麦的方法、装置、计算机设备、计算机可读存储介质。


技术介绍

1、随着在线直播技术的发展,其在视频和语音直播等互动场景中得到了广泛应用,例如:视频连线、语音聊天室、录屏直播等。然而,通过系统提供的re playkit框架实现的录屏直播可能会导致录屏直播的互动场景受限,无法实现直接连麦等实时互动。

2、需要说明的是,上述内容并不必然是现有技术,也不用于限制本申请的专利保护范围。


技术实现思路

1、本申请实施例提供一种录屏直播连麦的方法、装置、计算机设备、计算机可读存储介质,以解决或缓解上面提出的一项或更多项技术问题。

2、本申请实施例的一个方面提供了一种录屏直播连麦的方法,所述方法包括:

3、在录屏直播连麦场景下,启用录屏extension以获取屏幕录制状态下的第一音视频数据,所述录屏extension用于实现replaykit框架的功能;

4、将所述第一音视频数据从所述录屏extension传输到宿主应用程序中;

5、通过所述宿主应用程序来获取来自连麦设备的第二音视频数据;

6、通过所述宿主应用程序处理所述第一音视频数据和所述第二音视频数据,以生成目标音视频数据;

7、通过所述宿主应用程序将所述目标音视频数据推送到服务器。

8、可选地,所述第一音视频数据包括第一音频数据和第一视频帧数据,所述第二音视频数据包括第二音频数据;通过所述宿主应用程序处理所述第一音视频数据和所述第二音视频数据,以生成目标音视频数据,包括:

9、基于所述第二音频数据对所述第一音频数据进行回音消除;

10、对回音消除后的第一音频数据进行混音和编码,以得到音频编码数据;

11、对所述第一视频帧数据进行编码,以得到视频编码数据;

12、以预设格式封装所述音频编码数据和所述视频编码数据,以生成所述目标音视频数据。

13、可选地,所述第一音视频数据包括第一音频数据和第一视频帧数据,所述第二音视频数据包括第二音频数据;所述方法包括:

14、将所述第二音频数据输出到扬声器中,以使所述扬声器基于所述第二音频数据进行音频播放。

15、可选地,所述第一音视频数据包括第一音频数据和第一视频帧数据,所述第二音视频数据包括第二音频数据和第二视频帧数据;通过所述宿主应用程序处理所述第一音视频数据和所述第二音视频数据,以生成目标音视频数据,包括:

16、基于所述第二音频数据对所述第一音频数据进行回音消除;

17、对回音消除后的第一音频数据进行混音和编码,以得到音频编码数据;

18、对所述第二视频帧数据和所述第一视频帧数据进行拼接和编码,以得到视频编码数据;所述拼接包括将第二视频帧数据的画面放置在第一视频帧数据的画面中的指定区域;

19、以预设格式封装所述音频编码数据和所述视频编码数据,以生成所述目标音视频数据。

20、可选地,所述第一音视频数据包括第一音频数据和第一视频帧数据,所述第二音视频数据包括第二音频数据和第二视频帧数据;所述方法包括:

21、将所述第二音频数据输出到扬声器中,以使所述扬声器基于所述第二音频数据进行音频播放;

22、以预设的画中画模式,将所述第二视频帧数据对应的画面显示到展示界面的指定区域。

23、可选地,所述方法包括:

24、在所述录屏extension中配置本地tcp客户端程序;

25、在所述宿主应用程序中配置本地tcp服务端程序;

26、通过所述本地tcp客户端程序和所述本地tcp服务端程序,在所述录屏e xtension和所述宿主应用程序之间建立通信连接,以用于传输所述第一音视频数据。

27、可选地,应用于主播端,所述方法包括:

28、响应于连麦控件,向业务服务器发送连麦请求,以使业务服务器:转发所述连麦请求至连麦设备,在连麦设备同意连麦的情况下向信令服务器发送请求以从信令服务器获取频道accesstoken,向所述主播端和连麦设备分别发送所述频道accesstoken;

29、接收业务服务器返回的频道accesstoken;及

30、根据所述频道accesstoken,在所述主播端和所述连麦设备之间建立通信连接通道。

31、本申请实施例的另一个方面提供了一种录屏直播连麦的装置,所述装置包括:

32、第一获取模块,用于在录屏直播连麦场景下,启用录屏extension以获取屏幕录制状态下的第一音视频数据,所述录屏extension用于实现replaykit框架的功能;

33、传输模块,用于将所述第一音视频数据从所述录屏extension传输到宿主应用程序中;

34、第二获取模块,用于通过所述宿主应用程序来获取来自连麦设备的第二音视频数据;

35、处理模块,用于通过所述宿主应用程序处理所述第一音视频数据和所述第二音视频数据,以生成目标音视频数据;

36、推送模块,用于通过所述宿主应用程序将所述目标音视频数据推送到服务器。

37、本申请实施例的另一个方面提供了一种计算机设备,包括:

38、至少一个处理器;及

39、与所述至少一个处理器通信连接的存储器;

40、其中:所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的方法。

41、本申请实施例的另一个方面提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机指令,所述计算机指令被处理器执行时实现如上所述的方法。

42、本申请实施例采用上述技术方案可以包括如下优势:录屏extension可用于实现replaykit框架的功能,且录屏extension和宿主应用程序之间可通信,使得宿主应用程序可以获取录屏extension录制的第一音视频数据(音频、视频帧)。宿主应用程序还可以和连麦设备(对端)连麦,从而可以从连麦设备获取到第二音视频数据(音频/视频帧)。在录屏直播连麦场景下,宿主应用程序可以根据录屏extension录制的第一音视频数据和连麦设备提供的第二音视频数据,生成融合二者的目标音视频数据,并将该目标音视频数据传输到服务器(主播的直播间),以通过服务器向观众推送目标音视频数据,从而实现录屏直播连麦功能。可知,本技术方案可以实现录屏直播连麦等互动功能。

本文档来自技高网...

【技术保护点】

1.一种录屏直播连麦的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一音视频数据包括第一音频数据和第一视频帧数据,所述第二音视频数据包括第二音频数据;通过所述宿主应用程序处理所述第一音视频数据和所述第二音视频数据,以生成目标音视频数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述第一音视频数据包括第一音频数据和第一视频帧数据,所述第二音视频数据包括第二音频数据;所述方法包括:

4.根据权利要求1所述的方法,其特征在于,所述第一音视频数据包括第一音频数据和第一视频帧数据,所述第二音视频数据包括第二音频数据和第二视频帧数据;通过所述宿主应用程序处理所述第一音视频数据和所述第二音视频数据,以生成目标音视频数据,包括:

5.根据权利要求1所述的方法,其特征在于,所述第一音视频数据包括第一音频数据和第一视频帧数据,所述第二音视频数据包括第二音频数据和第二视频帧数据;所述方法包括:

6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法包括:

7.根据权利要求1至5任一项所述的方法,其特征在于,应用于主播端,所述方法包括:

8.一种录屏直播连麦的装置,其特征在于,所述装置包括:

9.一种计算机设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机指令,所述计算机指令被处理器执行时实现如权利要求1至7中任一项所述的方法。

...

【技术特征摘要】

1.一种录屏直播连麦的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一音视频数据包括第一音频数据和第一视频帧数据,所述第二音视频数据包括第二音频数据;通过所述宿主应用程序处理所述第一音视频数据和所述第二音视频数据,以生成目标音视频数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述第一音视频数据包括第一音频数据和第一视频帧数据,所述第二音视频数据包括第二音频数据;所述方法包括:

4.根据权利要求1所述的方法,其特征在于,所述第一音视频数据包括第一音频数据和第一视频帧数据,所述第二音视频数据包括第二音频数据和第二视频帧数据;通过所述宿主应用程序处理所述第一音视频数据和所述第二音视频数...

【专利技术属性】
技术研发人员:鲍可庆姜军熊钊志胡江涛杨永梁
申请(专利权)人:上海幻电信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1