一种纸屏笔迹与视音频同步的方法及系统技术方案

本发明专利技术涉及一种纸屏笔迹与视音频同步的方法及系统，该方法，包括以下步骤：打开远程设备，远程设备包括多个从设备和更新画面的主设备，主设备和从设备显示模块上显示出相同的画面。主设备通过主采集装置采集笔记信息，主设备中的音频采集装置采集视音频信息，更新第一画面，并获取更新第一画面的第一轨迹和操作信息，主设备向从设备发送同步操作信息，从设备执行与主设备相同的操作信息，同步更新第二画面。在完成同步操作后，主设备和从设备通常会为各自更新画面产生的轨迹创建一个相同的标识。本发明专利技术保证了多个远程设备可以同步实时更新画面，在教学、会议等场景中实现描述笔迹、笔画、图形等的全方面实时沟通。

【技术实现步骤摘要】
一种纸屏笔迹与视音频同步的方法及系统
本专利技术涉及视频同步教学领域，特别是涉及一种纸屏笔迹与视音频同步的方法及系统。
技术介绍
基于互联网的快速发展，互联网慢慢融入传统板书教学，利用视频实施教学，是当下智能教育的趋势，随着这种趋势各种网络教学平台、网络教学系统、网络教学资源、网络教学软件、网络教学视频等全新的教学概念层出不穷，传统教育正在慢慢向智能教育转变。目前直播视频教学已经成为最常用的教学方式，通过教师终端设备进行备课教学，已成为常态，主要通过摄像机或手机摄像头负责采集人物动作等实景画面并传输给手机、电脑或者其他智能设备，智能设备将接收到的视频画面编码后再通过网络传输给学生终端设备。但直播视频教学方式对网络的依赖性比较大，远程设备的书写笔迹与视频需要进行解码播放，多个远程设备之间的书写笔迹与视频无法进行一对一、一对多、多对多窗口的同步传播；并且采集的笔迹清晰度低，笔迹、音频的同步还原性较差，应用场景少，多个远程设备之间无法实时同步更新画面。
技术实现思路
本专利技术的目的在于解决的现有技术的不足，提供一种纸屏笔迹与视音频同步的方法及系统，解决常用的笔迹直播教学，多个远程设备之间无法实时同步更新画面、，多个远程设备之间的书写笔迹与视频无法进行一对一、一对多、多对多窗口的同步传播互动的问题。为实现上述目的，本专利技术提供的技术方案为：一种纸屏笔迹与视音频同步的方法：通过多个远程设备、推流服务器、信令服务器和中继服务器实现，每个远程设备连接有一个采集装置，包括以下步骤：A1：打开远程设备，远程设备包括更新画面的主设备和多个从设备，主设备的显示模块上显示出第一画面，多个从设备的显示模块上显示出第二画面；A2：主设备采集笔记信息和视音频信息，更新第一画面，并获取更新第一画面的第一轨迹和操作信息；主设备对更新第一画面的第一轨迹创建第一标识；A3：主设备将更新第一画面的第一轨迹、操作信息及第一轨迹的第一标识，发送到从设备；A4：从设备执行更新第一画面的操作信息，根据执行结果更新第二画面；若更新后的第二画面中对应的第二轨迹没有标识，根据主设备上第一标识的生成方法，创建更新第二画面的第二轨迹的第二标识。进一步的，所述步骤A1中主设备显示模块上显示出的第一画面和多个从设备显示模块上显示出的第二画面相同。进一步的，所述步骤A2中，主设备通过连接的采集装置采集笔记信息，主设备连接的采集装置包括主智能笔和主隐形码书写本，所述主智能笔在主隐形码书写本上书写，产生书写轨迹，获取笔记信息，并将笔记信息发送到主设备；主设备中设有音频采集装置，主设备通过音频采集装置采集视音频信息；进一步的，所述步骤A3具体为：A31；主设备向推流服务器发送画面更新邀请，推流服务器通过信令服务器向从设备的获取模块发送画面更新邀请，若信令服务器无法向从设备的获取模块发送画面更新邀请，信令服务器将信息转发到中继服务器，中继服务器将画面更新邀请转发到从设备的获取模块；A32从设备的获取模块接收画面更新邀请后，主设备通过推流服务器和信令服务器，将更新第一画面的第一轨迹和操作信息及第一轨迹的第一标识，发送到从设备的获取模块。进一步的，所述步骤A4具体为：A41：从设备的获取模块保存更新第一画面的第一轨迹、操作信息及第一轨迹的第一标识，并将更新第一画面的操作信息发送到从设备的执行模块上；A42：从设备的执行模块执行更新第一画面的操作信息，得到执行结果，从设备的执行模块将执行结果发送到从设备的显示模块上；A43：从设备的显示模块根据执行结果，更新第二画面；A44：若更新后的第二画面中存在没有标识的第二轨迹，从设备的标识创建模块根据主设备上第一标识生成方法，创建更新第二画面的第二轨迹的第二标识。一种纸屏笔迹与视音频同步的系统，包括多个远程设备、推流服务器、信令服务器和中继服务器，每个远程设备连接有一个采集装置，所述推流服务器与信令服务器无线连接，所述信令服务器与中继服务器无线连接，所述推流服务器通过信令服务器建立多个远程设备的点与点连接。进一步的，所述采集装置包括智能笔和隐形码书写本，所述智能笔与远程设备无线通讯连接；所述智能笔在隐形码书写本上书写，产生书写轨迹，并获取笔记信息。进一步的，所述远程设备包括显示模块、获取模块、执行模块、标识创建模块和音频采集装置；所述获取模块与采集装置无线连接，所述执行模块、标识创建模块和音频采集装置分别与获取模块连接。进一步的，所述远程设备为安卓设备、IOS设备或Windows设备。本专利技术相比现有技术包括以下优点及有益效果：主设备被用户执行操作时，向同步的其余从设备发送同步操作信息。从设备根据该同步操作信息，可以执行与主设备相同的操作，以保证从设备显示的画面与主设备显示的画面相同。为了更好地对画面中的轨迹进行管理，在完成同步操作后，主设备和从设备通常会为各自更新画面产生的轨迹创建一个身份标识(identityoridentification，ID，)。在创建身份标识时，主设备为更新第一画面的轨迹创建ID，并将更新第一画面的轨迹和创建的ID同步发送至从设备，使从设备同步生成与主设备相同的更新画面的轨迹及ID，保证了多个远程设备可以同步实时更新画面，在教学、会议中实现描述笔迹、笔画、图形等的全方面实时沟通。附图说明图1为本专利技术中一种纸屏笔迹与视音频同步的方法的流程图。图2为本专利技术中一种纸屏笔迹与视音频同步的系统的框架图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。本专利技术提供了一种纸屏笔迹与视音频同步的方法，针对不同的客户终端，该方法可以实现教学、远程会视、工程、基建、绘画、图纸会视等场景。实施例一：本专利技术可以实现教学场景，通过多个远程设备、推流服务器、信令服务器和中继服务器实现，每个远程设备连接有一个采集装置，远程设备包括多个学生终端设备和教师终端设备，若教师终端设备需要更新画面，教师终端设备作为主设备，学生终端设备作为从设备；若其中一个学生终端设备需要更新画面，则将需要更新画面的学生终端作为主设备，其他学生终端设备和教师终端设备作为从设备。本实施例，如附图1所示，包括以下步骤：A1：打开教师终端设备和学生终端设备，教师终端设备需要更新画面，教师终端设备显示模块上显示出第一画面，学生终端设备的显示模块上显示出与第一画面相同的第二画面。A2：教师终端设备连接的采集装置采集笔记信息，教师终端设备连接的主智能笔在主隐形码书写本上书写，产生书写轨迹，获取书写轨迹与位置信息等笔记信息，并将笔记信息发送到教师终端设备。教师终端设备中的音频采集装置集视音频信息。教师终端设备接收笔记信息和视音频信息，更新第一画面，并获取更新第一画面的第一轨迹和操作信息，对更新第一画面的第一轨迹创建第一标识。教师终端设备对更新第一画面的第一轨迹创建第一标识，可以为学生终端设备更新第二画面中没有标识本文档来自技高网...

【技术保护点】
1.一种纸屏笔迹与视音频同步的方法：通过多个远程设备、推流服务器、信令服务器和中继服务器实现，每个远程设备连接有一个采集装置，其特征在于：包括以下步骤：/nA1：打开远程设备，远程设备包括更新画面的主设备和多个从设备，主设备的显示模块上显示出第一画面，多个从设备的显示模块上显示出第二画面；/nA2：主设备采集笔记信息和视音频信息，更新第一画面，并获取更新第一画面的第一轨迹和操作信息；主设备对更新第一画面的第一轨迹创建第一标识；/nA3：主设备将更新第一画面的第一轨迹、操作信息及第一轨迹的第一标识，发送到从设备；/nA4：从设备执行更新第一画面的操作信息，根据执行结果更新第二画面；若更新后的第二画面中对应的第二轨迹没有标识，根据主设备上第一标识的生成方法，创建更新第二画面的第二轨迹的第二标识。/n

【技术特征摘要】
1.一种纸屏笔迹与视音频同步的方法：通过多个远程设备、推流服务器、信令服务器和中继服务器实现，每个远程设备连接有一个采集装置，其特征在于：包括以下步骤：
A1：打开远程设备，远程设备包括更新画面的主设备和多个从设备，主设备的显示模块上显示出第一画面，多个从设备的显示模块上显示出第二画面；
A2：主设备采集笔记信息和视音频信息，更新第一画面，并获取更新第一画面的第一轨迹和操作信息；主设备对更新第一画面的第一轨迹创建第一标识；
A3：主设备将更新第一画面的第一轨迹、操作信息及第一轨迹的第一标识，发送到从设备；
A4：从设备执行更新第一画面的操作信息，根据执行结果更新第二画面；若更新后的第二画面中对应的第二轨迹没有标识，根据主设备上第一标识的生成方法，创建更新第二画面的第二轨迹的第二标识。


2.根据权利要求1所述的一种纸屏笔迹与视音频同步的方法，其特征在于：所述步骤A1中主设备显示模块上显示出的第一画面和多个从设备显示模块上显示出的第二画面相同。


3.根据权利要求1所述的一种纸屏笔迹与视音频同步的方法，其特征在于：所述步骤A2中，主设备通过连接的采集装置采集笔记信息，主设备连接的采集装置包括主智能笔和主隐形码书写本，所述主智能笔在主隐形码书写本上书写，产生书写轨迹，获取笔记信息，并将笔记信息发送到主设备；主设备中设有音频采集装置，主设备通过音频采集装置采集视音频信息。


4.根据权利要求1所述的一种纸屏笔迹与视音频同步的方法，其特征在于：所述步骤A3具体为：
A31；主设备向推流服务器发送画面更新邀请，推流服务器通过信令服务器向从设备的获取模块发送画面更新邀请，若信令服务器无法向从设备的获取模块发送画面更新邀请，信令服务器将信息转发到中继服务器，中继服务器将画面更新邀请转发到从设备的获取模块；
A32从设备的获取模块接收...

【专利技术属性】
技术研发人员：陆保宁，易红元，
申请(专利权)人：深圳市凝趣科技有限公司，
类型：发明
国别省市：广东;44