一种基于多端实时绿幕合成的同步授课技术及应用制造技术

本发明专利技术公开了一种基于多端实时绿幕合成的同步授课技术及应用，包括：老师端和学生端，所述老师端与学生端之间构建分发多媒体教材操作事件的同步服务器，并使用websocket通信协议与老师端和学生端之间建立连接用于转发教材事件，所述老师端和学生端之间构建webrtc服务用于传输老师和学生的音视频流，所述老师端构建可同步的多媒体教材。本发明专利技术相较于其他技术，通过本技术进行的远程视频教学，可以在对老师的硬件性能要求较低的前提下，保持高分辨率和高帧率的教学视频传输，并通过事件的方式同步传输多媒体教材，可以高质量的实现在教学过程中将老师叠加在多媒体教材内容之上的沉浸式体验。沉浸式体验。沉浸式体验。

【技术实现步骤摘要】
一种基于多端实时绿幕合成的同步授课技术及应用


[0001]本专利技术涉及同步授课技术
，更具体为一种基于多端实时绿幕合成的同步授课技术及应用。

技术介绍

[0002]在多人远程视频教学场景中，老师和多个学生同时加入一个视频会议进行教学活动。远程视频教学的方式突破了时间、空间的限制，人与人交流不受空间物理特性的约束，学习时间也不必受上下学和白天晚上的限制。远程视频教学同时提供了良好的互动教学方式，学生可以享受到internet以及多媒体教材提供的更加丰富的内容。在这些优势下，远程视频教学更加提供了经济实惠的解决方案，教学方可以以更低的成本提供教学服务，学生可以以更低的费用接受更好的教育。因此，远程视频教学获得了广泛的采用。
[0003]同时，远程视频教学也对视频会议技术提出了独特的挑战。首先，为了更好的模拟真实上课的场景，我们需要将老师的视频叠加于教材内容之上，就仿佛老师站在黑板前给学生上课一样。因此，这里需要使用绿幕技术将老师视频与多媒体教材内容进行合成，以实现老师位于教材之上的效果。其次，为了提供给学生更加清晰和流畅的上课体验，我们需要保持老师的视频流以高分辨率和高帧率进行发送。
[0004]现有技术中，将教材内容以共享屏幕的方式发送，同时独立发送老师视频流的方式，在展现形式上割裂了老师和教学内容，因此在课堂的真实感和沉浸感上会相对较差。同时，由于高帧率分享屏幕对设备性能有较高的要求，因此限制了多媒体教材的内容必须保持相对静态。另一种在老师端进行绿幕合成后，再通过屏幕分享的方式，如果需要保持老师画面的高分辨率和高帧率，则需要高清晰度和高帧率分享屏幕，因此对老师设备的性能要求很高，大部分老师的个人电脑无法满足要求，限制了这一方案的适用范围。因此，需要提供一种新的技术方案给予解决。

技术实现思路

[0005]本专利技术的目的在于提供一种基于多端实时绿幕合成的同步授课技术及应用，解决了现有技术中由于高帧率分享屏幕对设备性能有较高的要求，因此限制了多媒体教材的内容必须保持相对静态。另一种在老师端进行绿幕合成后，再通过屏幕分享的方式，如果需要保持老师画面的高分辨率和高帧率，则需要高清晰度和高帧率分享屏幕，因此对老师设备的性能要求很高，大部分老师的个人电脑无法满足要求，限制了这一方案的适用范围的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于多端实时绿幕合成的同步授课技术及应用，包括：老师端和学生端，所述老师端与学生端之间构建分发多媒体教材操作事件的同步服务器，并使用websocket通信协议与老师端和学生端之间建立连接用于转发教材事件，所述老师端和学生端之间构建webrtc服务用于传输老师和学生的音视频流，所述老师端构建可同步的多媒体教材，该教材可将所有的老师操作编码成事件，并对外发
送事件，同时可根据这些事件进行回放，所述老师端和学生端均构建绿幕合成软件和音视频软件。
[0007]作为本专利技术的一种优选实施方式，所述老师端需构建老师端教学环境，所述老师端教学环境包括个人终端、绿幕背景和光源组件，以保证良好的绿幕合成效果。
[0008]作为本专利技术的一种优选实施方式，所述webrtc服务可以自建或采用第三方的webrtc服务。
[0009]作为本专利技术的一种优选实施方式，所述绿幕合成软件用于合成老师视频流和多媒体教材。
[0010]作为本专利技术的一种优选实施方式，所述音视频软件用于播放绿幕技术合成老师音视频流和多媒体教材内容。
[0011]作为本专利技术的一种优选实施方式，所述授课技术的应用包括如下步骤：
[0012]步骤1：老师端：独立发布老师视频流；在老师端，直接获取老师摄像头视频流，并直接以高分辨率和高帧率发布该视频流，保证老师画面的清晰和流畅；
[0013]步骤2：老师端：展现教材内容，并发送教材操作事件；由于需要降低对老师电脑性能的要求，因此不再采用屏幕分享的方式来发送教材内容。这里我们将制作一种可以通过事件进行回放的多媒体教材，并将老师的操作事件实时同步到学生端，学生端将根据这些事件同步回放教材，以次完成多媒体教材的多端同步；
[0014]步骤3：老师端：本地合成老师视频流和多媒体教材；为了提供更加沉浸式的教学体验，需要将老师视频叠加在多媒体教材之上，这是通过绿幕合成技术来实现的。老师端和学生端都需要独立完成这一步骤。这里，在老师端的电脑上，通过绿幕合成老师视频流以及多媒体教材，直接展现给老师合成后的最终画面。
[0015]步骤4：老师端和学生端的数据传递；老师端和学生端之间有两种类型的数据需要进行传递，一种是音视频流，用于传递老师和学生的画面，这是通过webrtc技术实现的。另一种数据流是多媒体教材的操作事件，以及其他额外的控制流数据。我们实现了一套基于websocket的事件分发服务，用于在老师和学生之间传递事件类数据；
[0016]步骤5：学生端：接收老师视频流；学生端本地通过webrtc接收老师视频流，完成音视频解码；
[0017]步骤6：学生端：根据教材操作事件回放教材内容；学生端接收到老师端发送来的多媒体教材的操作事件，并根据这些事件回放教学内容。所以，在整个过程中，学生可以实时观看到完整的多媒体教材内容以及老师的操作；
[0018]步骤7：学生端：本地合成老师视频流和多媒体教材；为了提供给学生沉浸式的教学体验，学生需要看到老师叠加在教材内容之上，因此需要在学生端本地的电脑上，使用绿幕技术合成老师视频流和多媒体教材内容。
[0019]与现有技术相比，本专利技术的有益效果如下：
[0020]本专利技术相较于其他技术，通过本技术进行的远程视频教学，可以在对老师的硬件性能要求较低的前提下，保持高分辨率和高帧率的教学视频传输，并通过事件的方式同步传输多媒体教材，可以高质量的实现在教学过程中将老师叠加在多媒体教材内容之上的沉浸式体验。
附图说明
[0021]图1为本专利技术整体流程示意图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]请参阅图1，本专利技术提供一种技术方案：一种基于多端实时绿幕合成的同步授课技术及应用，包括：老师端和学生端，所述老师端与学生端之间构建分发多媒体教材操作事件的同步服务器，并使用websocket通信协议与老师端和学生端之间建立连接用于转发教材事件，WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据，所述老师端和学生端之间构建webrtc服务用于传输老师和学生的音视频流，所述老师端构建可同步的多媒体教材，该教材可将所有的老师操作编码成事件，并对外发送事件，同时可根据这些事件进行回放，所述老师端和学生端均构建绿幕合成软件和音视频软件。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多端实时绿幕合成的同步授课技术，其特征在于：包括：老师端和学生端，所述老师端与学生端之间构建分发多媒体教材操作事件的同步服务器，并使用websocket通信协议与老师端和学生端之间建立连接用于转发教材事件，所述老师端和学生端之间构建webrtc服务用于传输老师和学生的音视频流，所述老师端构建可同步的多媒体教材，该教材可将所有的老师操作编码成事件，并对外发送事件，同时可根据这些事件进行回放，所述老师端和学生端均构建绿幕合成软件和音视频软件。2.根据权利要求1所述的一种基于多端实时绿幕合成的同步授课技术，其特征在于：所述老师端需构建老师端教学环境，所述老师端教学环境包括个人终端、绿幕背景和光源组件，以保证良好的绿幕合成效果。3.根据权利要求2所述的一种基于多端实时绿幕合成的同步授课技术，其特征在于：所述webrtc服务可以自建或采用第三方的webrtc服务。4.根据权利要求3所述的一种基于多端实时绿幕合成的同步授课技术，其特征在于：所述绿幕合成软件用于合成老师视频流和多媒体教材。5.根据权利要求3所述的一种基于多端实时绿幕合成的同步授课技术，其特征在于：所述音视频软件用于播放绿幕技术合成老师音视频流和多媒体教材内容。6.根据权利要求1所述的一种基于多端实时绿幕合成的同步授课技术的应用，其特征在于：所述授课技术的应用包括如下步骤：步骤1：老师端：独立发布老师视频流；在老师端，直接获取老师摄像头视频流，并直接以高分辨率和高帧率发布该视频流，保证老师画面的清晰和流畅；步骤2：老师端：展现教材内容，...

【专利技术属性】
技术研发人员：潘鹏凯，唐进，张颀，桑宇霞，李超，胡方方，朱荣华，彭莉莉，袁琦，何方，
申请(专利权)人：上海钦文信息科技有限公司，
类型：发明
国别省市：