【技术实现步骤摘要】
基于文档类直播交互数据和音视频数据同步方法和系统
本专利技术涉及直播领域，特别涉及一种基于文档类直播交互数据流和音视频流同步方法和系统。
技术介绍
现在的直播中，有一种类型是基于PPT、PDF等文档类型的直播。这种直播需要采集音视频流，还需要支持对文档操作交互的行为，例如在文档上绘制直线、自由线、矩形、椭圆、文字；以及文档翻页、绘制数据删除、清空等交互行为，这些文档操作的交互行为统一按数据流进行传输。当前广泛使用的直播是基于RTMP+CDN架构的直播，这种直播的延迟一般是3-5秒，加上CDN网络的抖动，播放端累计延迟可达7-8秒。但是传输的文档操作的交互行为数据流由于采用的是websockets协议，数据量低并且播放端接收的延迟大概在1秒以内。这样播放端就存在一个如何在直播过程中实现基于文档类直播交互数据和音视频数据同步的问题。
技术实现思路
本专利技术的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术的实施方式需要提供一种基于文档类直播交互数据和音视频数据同步方法和系统。本专利技术实施方式的一种基于文档类直播交互数据和音视频数据同步方法，其特征在于...
【技术保护点】
1.一种基于文档类直播交互数据和音视频数据同步方法，其特征在于，包括：步骤1，接收上传的文档并将文档转换成图片；步骤2，加载文档对应的图片到应用程序开发框架的窗口显示；步骤3，通过应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳；步骤4，在直播开始同时将音视频数据发送至CDN网络；步骤5，通过应用程序开发框架采集用户的文档交互数据，将文档交互数据发送至websockets服务器；其中，所述文档交互数据包括对齐时间戳，该对齐时间戳以起始时间戳为基准的相对时间戳；步骤6，播放端从CDN网络接收到音视频数据，从websockets服务器接收文档交互数据；播放...
【技术特征摘要】
1.一种基于文档类直播交互数据和音视频数据同步方法，其特征在于，包括：步骤1，接收上传的文档并将文档转换成图片；步骤2，加载文档对应的图片到应用程序开发框架的窗口显示；步骤3，通过应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳；步骤4，在直播开始同时将音视频数据发送至CDN网络；步骤5，通过应用程序开发框架采集用户的文档交互数据，将文档交互数据发送至websockets服务器；其中，所述文档交互数据包括对齐时间戳，该对齐时间戳以起始时间戳为基准的相对时间戳；步骤6，播放端从CDN网络接收到音视频数据，从websockets服务器接收文档交互数据；播放端根据当前播放音视频的时长和文档交互数据中的对齐时间戳进行对比，确定播放时长大于对齐时间戳时，将文档交互数据绘制到文档播放窗口。2.如权利要求1所述基于文档类直播交互数据和音视频数据同步方法，其特征在于，步骤3包括：通过应用程序开发框架响应鼠标事件机制记录用户对表示直播开始的界面元素进行点击的鼠标点击事件，记录当前时间作为起始时间戳。3.如权利要求1所述基于文档类直播交互数据和音视频数据同步方法，其特征在于，文档交互数据包括画笔绘制数据，则步骤5包括：通过应用程序开发框架响应鼠标事件机制和绘制机制记录鼠标动作，调用应用程序开发框架的对应函数完成画笔绘制。4.如权利要求1所述基于文档类直播交互数据和音视频数据同步方法，其特征在于，文档交互数据包括用户操作数据，则步骤5包括：通过应用程序开发框架响应鼠标事件机制和绘制机制记录包括文档翻页、删除绘制数据和清空绘制数据在内任意一种用户操作。5.如权利要求1所述基于文档类直播交互数据和音视频数据同步方法，其特征在于，步骤5中包括：步骤51，通过应用程序开发框架采集用户的文档交互数据；步骤52，通过http请求将文档交互数据发送发送到websockets服务器，若发送超过预设时间则重发文档交互数据。6.一种基于文档类直播交互数据和音视频数据同步系统，其特征在于，包括：采集端和播放端，其...
【专利技术属性】
技术研发人员：鲁和平，黄海亮，梁瑛玮，洪行健，李长杰，冷冬，丁一，
申请(专利权)人：广州易方信息科技股份有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。