基于文档类直播交互数据和音视频数据同步方法和系统技术方案

本发明专利技术涉及直播领域，涉及一种基于文档类直播交互数据流和音视频流同步方法，包括：接收文档并将文档转换成图片；加载图片到应用程序开发框架的窗口显示；通过应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳；将音视频数据发送至CDN网络；通过应用程序开发框架采集文档交互数据并发送至websockets服务器；播放端接收音视频数据和文档交互数据，确定播放时长大于对齐时间戳时，将文档交互数据绘制到文档播放窗口。本发明专利技术还提出基于文档类直播交互数据流和音视频流同步系统。本发明专利技术通过加入对齐时间戳，然后在播放端依据当前播放音视频的时长和对齐时间戳进行对比来达到交互数据和音视频数据同步的效果。

【技术实现步骤摘要】
基于文档类直播交互数据和音视频数据同步方法和系统
本专利技术涉及直播领域，特别涉及一种基于文档类直播交互数据流和音视频流同步方法和系统。
技术介绍
现在的直播中，有一种类型是基于PPT、PDF等文档类型的直播。这种直播需要采集音视频流，还需要支持对文档操作交互的行为，例如在文档上绘制直线、自由线、矩形、椭圆、文字；以及文档翻页、绘制数据删除、清空等交互行为，这些文档操作的交互行为统一按数据流进行传输。当前广泛使用的直播是基于RTMP+CDN架构的直播，这种直播的延迟一般是3-5秒，加上CDN网络的抖动，播放端累计延迟可达7-8秒。但是传输的文档操作的交互行为数据流由于采用的是websockets协议，数据量低并且播放端接收的延迟大概在1秒以内。这样播放端就存在一个如何在直播过程中实现基于文档类直播交互数据和音视频数据同步的问题。
技术实现思路
本专利技术的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术的实施方式需要提供一种基于文档类直播交互数据和音视频数据同步方法和系统。本专利技术实施方式的一种基于文档类直播交互数据和音视频数据同步方法，其特征在于，包括：步骤1，接收上传的文档并将文档转换成图片；步骤2，加载文档对应的图片到应用程序开发框架的窗口显示；步骤3，通过应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳；步骤4，在直播开始同时将音视频数据发送至CDN网络；步骤5，通过应用程序开发框架采集用户的文档交互数据，将文档交互数据发送至websockets服务器；其中，所述文档交互数据包括对齐时间戳，该对齐时间戳以起始时间戳为基准的相对时间戳；步骤6，播放端从CDN网络接收到音视频数据，从websockets服务器接收文档交互数据；播放端根据当前播放音视频的时长和文档交互数据中的对齐时间戳进行对比，确定播放时长大于对齐时间戳时，将文档交互数据绘制到文档播放窗口。一种实施方式中，步骤3包括：通过应用程序开发框架响应鼠标事件机制记录用户对表示直播开始的界面元素进行点击的鼠标点击事件，记录当前时间作为起始时间戳。一种实施方式中，文档交互数据包括画笔绘制数据，则步骤5包括：通过应用程序开发框架响应鼠标事件机制和绘制机制记录鼠标动作，调用应用程序开发框架的对应函数完成画笔绘制。一种实施方式中，文档交互数据包括用户操作数据，则步骤5包括：通过应用程序开发框架响应鼠标事件机制和绘制机制记录包括文档翻页、删除绘制数据和清空绘制数据在内任意一种用户操作。一种实施方式中，步骤5中包括：步骤51，通过应用程序开发框架采集用户的文档交互数据；步骤52，通过http请求将文档交互数据发送发送到websockets服务器，若发送超过预设时间则重发文档交互数据。本专利技术还提出一种基于文档类直播交互数据和音视频数据同步系统，其特征在于，包括：采集端和播放端，其中采集端包括接收转换模块、加载模块、记录模块、音视频发送模块和交互发送模块；接收转换模块，用于接收上传的文档并将文档转换成图片；加载模块，用于加载文档对应的图片到应用程序开发框架的窗口显示；记录模块，用于通过应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳；音视频发送模块，用于在直播开始同时将音视频数据发送至CDN网络；交互发送模块，用于通过应用程序开发框架采集用户的文档交互数据，将文档交互数据发送至websockets服务器；其中，所述文档交互数据包括对齐时间戳，该对齐时间戳以起始时间戳为基准的相对时间戳；播放端，用于从CDN网络接收到音视频数据，从websockets服务器接收文档交互数据；播放端根据当前播放音视频的时长和文档交互数据中的对齐时间戳进行对比，确定播放时长大于对齐时间戳时，将文档交互数据绘制到文档播放窗口。一种实施方式中，记录模块具体用于通过应用程序开发框架响应鼠标事件机制记录用户对表示直播开始的界面元素进行点击的鼠标点击事件，记录当前时间作为起始时间戳。一种实施方式中，文档交互数据包括画笔绘制数据，则交互发送模块具体用于通过应用程序开发框架响应鼠标事件机制和绘制机制记录鼠标动作，调用应用程序开发框架的对应函数完成画笔绘制。一种实施方式中，文档交互数据包括用户操作数据，则交互发送模块具体用于通过应用程序开发框架响应鼠标事件机制和绘制机制记录包括文档翻页、删除绘制数据和清空绘制数据在内任意一种用户操作。一种实施方式中，交互发送模块包括：交互采集单元，用于通过应用程序开发框架采集用户的文档交互数据；交互发送单元，用于通过http请求将文档交互数据发送发送到websockets服务器，若发送超过预设时间则重发文档交互数据。本专利技术实施方式的基于文档类直播交互数据和音视频数据同步方法和系统，通过在文档类直播交互数据中加入对齐时间戳，然后在播放端依据当前播放音视频的时长和交互数据中的对齐时间戳进行对比来达到交互数据和音视频数据同步的效果。本专利技术的附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：图1是本专利技术实施方式的基于文档类直播交互数据和音视频数据同步方法的流程示意图；图2是本专利技术实施方式的基于文档类直播交互数据和音视频数据同步系统的组成示意图；图3是本专利技术实施方式的文档交互数据的示意图。具体实施方式下面详细描述本专利技术的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本专利技术的实施方式，而不能理解为对本专利技术的实施方式的限制。本专利技术中，分为采集端和播放端。请参阅图1，本专利技术实施方式的基于文档类直播交互数据和音视频数据同步方法，包括：步骤1，接收上传的文档并将文档转换成图片。步骤2，加载文档对应的图片到QT应用程序开发框架的窗口显示。步骤3，通过QT应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳。步骤4，在直播开始同时将音视频数据发送至CDN网络。步骤5，通过QT应用程序开发框架采集用户的文档交互数据，将文档交互数据发送至websockets服务器；其中，所述文档交互数据包括对齐时间戳，该对齐时间戳以起始时间戳为基准的相对时间戳。步骤6，播放端从CDN网络接收到音视频数据，从websockets服务器接收文档交互数据；播放端根据当前播放音视频的时长和文档交互数据中的对齐时间戳进行对比，确定播放时长大于对齐时间戳时，将文档交互数据绘制到文档播放窗口。本专利技术还同时提出一种基于文档类直播交互数据和音视频数据同步系统，包括：采集端和播放端，其中采集端包括接收转换模块、加载模块、记录模块、音视频发送模块和交互发送模块；各个模块介绍如下：接收转换模块，用于接收上传的文档并将文档转换成图片。加载模块，用于加载文档对应的图片到QT应用程序开发框架的窗口显示。记录模块，用于通过QT应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳。音视频发送模块，用于在直播开始同时将音视频数据发送至CDN网络。交互发送模块，用于通过QT应用本文档来自技高网...

【技术保护点】
1.一种基于文档类直播交互数据和音视频数据同步方法，其特征在于，包括：步骤1，接收上传的文档并将文档转换成图片；步骤2，加载文档对应的图片到应用程序开发框架的窗口显示；步骤3，通过应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳；步骤4，在直播开始同时将音视频数据发送至CDN网络；步骤5，通过应用程序开发框架采集用户的文档交互数据，将文档交互数据发送至websockets服务器；其中，所述文档交互数据包括对齐时间戳，该对齐时间戳以起始时间戳为基准的相对时间戳；步骤6，播放端从CDN网络接收到音视频数据，从websockets服务器接收文档交互数据；播放端根据当前播放音视频的时长和文档交互数据中的对齐时间戳进行对比，确定播放时长大于对齐时间戳时，将文档交互数据绘制到文档播放窗口。

【技术特征摘要】
1.一种基于文档类直播交互数据和音视频数据同步方法，其特征在于，包括：步骤1，接收上传的文档并将文档转换成图片；步骤2，加载文档对应的图片到应用程序开发框架的窗口显示；步骤3，通过应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳；步骤4，在直播开始同时将音视频数据发送至CDN网络；步骤5，通过应用程序开发框架采集用户的文档交互数据，将文档交互数据发送至websockets服务器；其中，所述文档交互数据包括对齐时间戳，该对齐时间戳以起始时间戳为基准的相对时间戳；步骤6，播放端从CDN网络接收到音视频数据，从websockets服务器接收文档交互数据；播放端根据当前播放音视频的时长和文档交互数据中的对齐时间戳进行对比，确定播放时长大于对齐时间戳时，将文档交互数据绘制到文档播放窗口。2.如权利要求1所述基于文档类直播交互数据和音视频数据同步方法，其特征在于，步骤3包括：通过应用程序开发框架响应鼠标事件机制记录用户对表示直播开始的界面元素进行点击的鼠标点击事件，记录当前时间作为起始时间戳。3.如权利要求1所述基于文档类直播交互数据和音视频数据同步方法，其特征在于，文档交互数据包括画笔绘制数据，则步骤5包括：通过应用程序开发框架响应鼠标事件机制和绘制机制记录鼠标动作，调用应用程序开发框架的对应函数完成画笔绘制。4.如权利要求1所述基于文档类直播交互数据和音视频数据同步方法，其特征在于，文档交互数据包括用户操作数据，则步骤5包括：通过应用程序开发框架响应鼠标事件机制和绘制机制记录包括文档翻页、删除绘制数据和清空绘制数据在内任意一种用户操作。5.如权利要求1所述基于文档类直播交互数据和音视频数据同步方法，其特征在于，步骤5中包括：步骤51，通过应用程序开发框架采集用户的文档交互数据；步骤52，通过http请求将文档交互数据发送发送到websockets服务器，若发送超过预设时间则重发文档交互数据。6.一种基于文档类直播交互数据和音视频数据同步系统，其特征在于，包括：采集端和播放端，其...

【专利技术属性】
技术研发人员：鲁和平，黄海亮，梁瑛玮，洪行健，李长杰，冷冬，丁一，
申请(专利权)人：广州易方信息科技股份有限公司，
类型：发明
国别省市：广东,44