实现双视频流同步显示的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种实现双视频流同步显示的方法、装置、设备及存储介质，该方法包括：获取摄像头视频流和屏幕捕获视频流；将所述摄像头视频流和所述屏幕捕获视频流整合到一个媒体流中；将所述媒体流通过预设通道传输到接收端；控制所述接收端解析所述媒体流并进行显示。本发明专利技术实施例公开的一种实现双视频流同步显示的方法，通过发送端设备基于WebRTC实现屏幕捕获与摄像头视频混流传输，并控制接收端分离轨道和视频叠加显示，解决了现有技术中混合两个视频需要服务器进行混流和中转的问题，实现了提升视频传输速度和质量，解放了服务器资源并且允许双向传输的效果。

【技术实现步骤摘要】
实现双视频流同步显示的方法、装置、设备及存储介质
本专利技术实施例涉及多方视频通话技术，尤其涉及一种实现双视频流同步显示的方法、装置、设备及存储介质。
技术介绍
在多人视频会议和网络直播中，经常需要主持人进行文档演示或共享本地桌面供其它参与人观看和演示，文档演示是以视频形式传送到接收端，而如果需要同时显示摄像头视频中的人像，这就涉及两个视频数据的传输和播放，需要进行画中画显示。传统的网络会议和视频直播中，在主播端一般需要安装客户端软件或手机app，通过客户端软件或手机对本地桌面进行录制屏幕画面，将多帧画面转换为视频流，再对摄像头视频捕获，将两个视频流合并转码后，推流发送给服务器，或者在服务器上对视频混流生成一个新的视频流，再传送给接收端进行播放，主要缺点首先是需要用户安装客户端或安装app，使用门槛较高，其次是需要在服务端混流，或经过服务器中转发送视频流量，需要占用服务器的带宽和服务器计算资源。
技术实现思路
本专利技术提供一种双视频流画中画同步显示的方法、装置、设备及存储介质，以实现提升视频传输速度和质量，解放了服务器资源并且允许双向传输的效果。第一方面，本专利技术实施例提供了一种实现双视频流画中画同步显示的方法，包括：获取摄像头视频流和屏幕捕获视频流；将所述摄像头视频流和所述屏幕捕获视频流整合到一个媒体流中；将所述媒体流通过预设通道传输到接收端；控制所述接收端解析所述媒体流并进行显示。可选的，所述获取摄像头视频流和屏幕捕获视频流之前还包括：>判断所述本地浏览器种类；根据所述本地浏览器种类使用对应屏幕捕获视频流的捕获工具。可选的，所述将所述媒体流通过预设通道传输到接收端之前还包括：根据所述媒体流建立NAT内网穿透服务和信令服务。可选的，所述将所述媒体流通过预设通道传输到接收端之后还包括：通过SDP协议调整所述媒体流的传输质量。可选的，所述控制所述接收端解析所述媒体流并进行显示包括：控制所述接收端解析所述媒体流获得所述摄像头视频流和所述屏幕捕获视频流；控制所述接收端根据所述摄像头视频流进行背景消除；控制所述接收端将所述背景消除后的所述摄像头视频流和所述屏幕捕获视频流进行显示。可选的，所述控制所述接收端解析所述媒体流获得所述摄像头视频流和所述屏幕捕获视频流之后还包括：控制所述接收端解析所述媒体流获取所述摄像头视频流对应的第一音频和所述屏幕捕获视频流对应的第二音频。可选的，所述控制所述接收端根据所述摄像头视频流进行背景消除之后还包括：控制所述接收端对所述背景消除后的所述摄像头视频流和所述屏幕捕获视频流进行渲染。第二方面，本专利技术实施例还提供了一种实现双视频流同步显示的装置，该装置包括：获取模块，用于获取摄像头视频流和屏幕捕获视频流；整合模块，用于将所述摄像头视频流和所述屏幕捕获视频流整合到一个媒体流中；发送模块，用于将所述媒体流通过预设通道传输到接收端；显示模块，用于控制所述接收端解析所述媒体流并进行显示。第三方面，本专利技术实施例还提供了一种设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一所述的实现双视频流同步显示的方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括程序指令，该程序指令被处理器执行时实现如上述任一所述的实现双视频流同步显示的方法。本专利技术实施例公开了一种实现双视频流同步显示的方法、装置、设备及存储介质，该方法包括：获取摄像头视频流和屏幕捕获视频流；将所述摄像头视频流和所述屏幕捕获视频流整合到一个媒体流中；将所述媒体流通过预设通道传输到接收端；控制所述接收端解析所述媒体流并进行显示。本专利技术实施例公开的一种实现双视频流同步显示的方法，通过发送端设备基于WebRTC实现屏幕捕获与摄像头视频混流传输，并控制接收端分离轨道和视频叠加显示，解决了现有技术中混合两个视频需要服务器进行混流和中转的问题，实现了提升视频传输速度和质量，解放了服务器资源并且允许双向传输的效果。附图说明图1为本专利技术实施例一提供的一种实现双视频流同步显示的方法的流程图；图2为本专利技术实施例二提供的一种实现双视频流同步显示的方法的流程图；图3是本专利技术实施例三提供的一种实现双视频流同步显示的装置的结构示意图；图4为本专利技术实施例四提供的一种服务器的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一音频为第二音频，且类似地，可将第二音频称为第一音频。第一音频和第二音频两者都是音频，但其不是同一音频。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。实施例一图1为本专利技术实施例一提供的一种实现双视频流同步显示的方法的流程图，本实施例可适用于多方视频通话的情况，该方法可以由计算机终端来执行，具体包括如下步骤：步骤100、获取摄像头视频流和屏幕捕获视频流。在本实施例中，多方视频通话过程中，共享屏幕的用户终端一般为发送端，而其他接收共享屏幕的用户终端为接收端，发送端和接收端可以是手机终端、计算机终端和平板电脑等等，在本实施例中，发送端和接收端均以电脑终端为例进行说明。在本实施例中，基于WebRTC的对等网络实现，每个客户端既是发送端也是接收端，因此发送端和接收端的身份可以互换，从而实现实时的双向视频数据传递。WebRTC(WebReal-TimeCommunication)是W3C组织制定的一套Javascript标准API规范，实现了基于浏览器捕获摄像头视频、麦克风音频，并对音视频进行编解码、降噪，回声消除，多轨道本文档来自技高网...

【技术保护点】
1.一种实现双视频流同步显示的方法，其特征在于，包括：/n获取摄像头视频流和屏幕捕获视频流；/n将所述摄像头视频流和所述屏幕捕获视频流整合到一个媒体流中；/n将所述媒体流通过预设通道传输到接收端；/n控制所述接收端解析所述媒体流并进行显示。/n

【技术特征摘要】
1.一种实现双视频流同步显示的方法，其特征在于，包括：
获取摄像头视频流和屏幕捕获视频流；
将所述摄像头视频流和所述屏幕捕获视频流整合到一个媒体流中；
将所述媒体流通过预设通道传输到接收端；
控制所述接收端解析所述媒体流并进行显示。


2.根据权利要求1中所述的一种实现双视频流同步显示的方法，其特征在于，所述获取摄像头视频流和屏幕捕获视频流之前还包括：
判断所述本地浏览器种类；
根据所述本地浏览器种类使用对应屏幕捕获视频流的捕获工具。


3.根据权利要求1中所述的一种实现双视频流同步显示的方法，其特征在于，所述将所述媒体流通过预设通道传输到接收端之前还包括：
根据所述媒体流建立NAT内网穿透服务和信令服务。


4.根据权利要求1中所述的一种实现双视频流同步显示的方法，其特征在于，所述将所述媒体流通过预设通道传输到接收端之后还包括：
通过SDP协议调整所述媒体流的传输质量。


5.根据权利要求1中所述的一种实现双视频流同步显示的方法，其特征在于，所述控制所述接收端解析所述媒体流并进行显示包括：
控制所述接收端解析所述媒体流获得所述摄像头视频流和所述屏幕捕获视频流；
控制所述接收端根据所述摄像头视频流进行背景消除；
控制所述接收端将所述背景消除后的所述摄像头视频流和所述屏幕捕获视频流进行显示。


6.根据权利...

【专利技术属性】
技术研发人员：杨良志，白琳，汪志新，方跃涵，铁喜光，
申请(专利权)人：彩讯科技股份有限公司，
类型：发明
国别省市：广东;44