文档类直播交互数据和音视频数据同步方法和系统技术方案

本发明专利技术涉及直播领域，特别涉及一种文档类直播交互数据和音视频数据同步方法和系统，包括：接收上传的文档并将文档转换成文档图像数据；通过应用程序开发框架采集用户的文档交互数据；利用渲染系统将文档交互数据渲染进文档图像数据；根据渲染结果分别进行视频数据和音频数据的编码；将音视频编码数据封装成RTMP协议再通过CDN网络发送到播放端播放。本发明专利技术将文档交互数据转换为图像数据后进行数据编码，再把音视频数据封装RTMP协议的数据包，通过CDN网络发送到播放端播放。本发明专利技术的文档交互数据图像化处理，在网络抖动发生数据丢包时也会和其他音视频数据一同丢包，从而使交互操作数据和其他音视频完全同步。

【技术实现步骤摘要】
文档类直播交互数据和音视频数据同步方法和系统
本专利技术涉及直播领域，特别涉及一种文档类直播交互数据和音视频数据同步方法和系统。
技术介绍
现在的直播中，有一种类型是基于PPT、PDF等文档类型的直播。这种直播需要采集音视频流，还需要支持对文档操作交互的行为，例如在文档上绘制直线、自由线、矩形、椭圆、文字；以及文档翻页、绘制数据删除、清空等交互行为，这些文档操作的交互行为统一按数据流进行传输。当前广泛使用的直播是基于RTMP+CDN架构的直播，这种直播的延迟一般是3-5秒，加上CDN网络的抖动，播放端累计延迟可达7-8秒。但是传输的文档操作的交互行为数据流由于采用的是websockets协议，数据量低并且播放端接收的延迟大概在1秒以内。这样播放端就存在一个如何在直播过程中实现操作交互的数据流和音视频流播放同步的问题，但是如果音视频的网络出现严重的抖动，音视频出现了比较严重的丢包，传统的数据流的方案是无法做到数据流丢包和追帧播放的。
技术实现思路
本专利技术的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术的实施方式需要提供一种文档类直播交互数据和音视频数据同步方法和系统。本专利技术实施方式的一种文档类直播交互数据和音视频数据同步方法，其特征在于，包括：步骤1，接收上传的文档并将文档转换成文档图像数据；步骤2，通过应用程序开发框架采集用户的文档交互数据；步骤3，利用渲染系统将文档交互数据渲染进文档图像数据；步骤4，根据渲染结果分别进行视频数据和音频数据的编码；步骤5，将音视频编码数据封装成RTMP协议再通过CDN网络发送到播放端播放。一种实施方式中，文档交互数据包括绘制数据，则步骤2包括：通过应用程序开发框架响应用户绘制动作并记录对应的鼠标动作，调用渲染接口完成绘制并获得绘制数据。一种实施方式中，文档交互数据包括用户操作数据，则步骤2包括：通过应用程序开发框架响应包括文档翻页、删除绘制数据和清空绘制数据在内任意一种用户操作，获得用户操作数据。一种实施方式中，步骤4包括：获取当前渲染系统的视频图像图层，通过H264编码器进行视频数据的编码；获取当前音频数据，通过ACC编码器进行音频数据的编码。一种实施方式中，步骤5中包括：建立与服务器三次握手连接，再建立与服务器的流通道；将获取的H264视频编码数据封装成RTMP协议的视频包发送到CDN网络；将获取的ACC音频编码数据封装成RTMP协议的音频包发送到CDN网络；再通过CDN网络发送到播放端播放。本专利技术实施方式还提出一种文档类直播交互数据和音视频数据同步系统，其特征在于，包括：接收转换模块，用于接收上传的文档并将文档转换成文档图像数据；交互采集模块，用于通过应用程序开发框架采集用户的文档交互数据；数据渲染模块，用于利用渲染系统将文档交互数据渲染进文档图像数据；数据编码模块，用于根据渲染结果分别进行视频数据和音频数据的编码；封装发送模块，用于将音视频编码数据封装成RTMP协议再通过CDN网络发送到播放端播放。一种实施方式中，文档交互数据包括绘制数据，则交互采集模块具体用于通过应用程序开发框架响应用户绘制动作并记录对应的鼠标动作，调用渲染接口完成绘制并获得绘制数据。一种实施方式中，文档交互数据包括用户操作数据，则交互采集模块具体用于通过应用程序开发框架响应包括文档翻页、删除绘制数据和清空绘制数据在内任意一种用户操作，获得用户操作数据。一种实施方式中，数据编码模块具体用于获取当前渲染系统的视频图像图层，通过H264编码器进行视频数据的编码；获取当前音频数据，通过ACC编码器进行音频数据的编码。一种实施方式中，封装发送模块具体用于建立与服务器三次握手连接，再建立与服务器的流通道；将获取的H264视频编码数据封装成RTMP协议的视频包发送到CDN网络；将获取的ACC音频编码数据封装成RTMP协议的音频包发送到CDN网络；再通过CDN网络发送到播放端播放。本专利技术实施方式的文档类直播交互数据和音视频数据同步方法和系统，将文档交互数据转换为图像数据后进行数据编码，再把音视频数据封装RTMP协议的数据包，通过CDN网络发送到播放端播放。本专利技术的文档交互数据图像化处理，在网络抖动发生数据丢包时也会和其他音视频数据一同丢包，从而使交互操作数据和其他音视频完全同步。本专利技术的附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：图1是本专利技术实施方式的文档类直播交互数据和音视频数据同步方法的流程示意图；图2是本专利技术实施方式的文档类直播交互数据和音视频数据同步系统的组成示意图；图3是本专利技术实施方式的文档交互数据的示意图。具体实施方式下面详细描述本专利技术的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本专利技术的实施方式，而不能理解为对本专利技术的实施方式的限制。请参阅图1，本专利技术实施方式的文档类直播交互数据和音视频数据同步方法，包括：步骤1，接收上传的文档并将文档转换成文档图像数据；步骤2，通过应用程序开发框架采集用户的文档交互数据；步骤3，利用渲染系统将文档交互数据渲染进文档图像数据；步骤4，根据渲染结果分别进行视频数据和音频数据的编码；步骤5，将音视频编码数据封装成RTMP协议再通过CDN网络发送到播放端播放。请参阅图2，本专利技术还同时提出一种文档类直播交互数据和音视频数据同步系统，包括：接收转换模块，用于接收上传的文档并将文档转换成文档图像数据；交互采集模块，用于通过应用程序开发框架采集用户的文档交互数据；数据渲染模块，用于利用渲染系统将文档交互数据渲染进文档图像数据；数据编码模块，用于根据渲染结果分别进行视频数据和音频数据的编码；封装发送模块，用于将音视频编码数据封装成RTMP协议再通过CDN网络发送到播放端播放。在该实施方式中，文档类直播交互数据和音视频数据同步方法以文档类直播交互数据和音视频数据同步系统作为步骤的执行对象，或者以系统内的各个模块作为步骤的执行对象。具体地，步骤1以接收转换模块作为步骤的执行对象，步骤2以交互采集模块作为步骤的执行对象，步骤3以数据渲染模块作为步骤的执行对象，步骤4以数据编码模块作为步骤的执行对象，步骤5以封装发送模块作为步骤的执行对象。本专利技术采用将文档交互数据为转换为图像，并与其他图像合并成一副图像数据。本专利技术的数据采集分为两路，一路是采集视频的图像，一路是采集视频的音频。对于文档交互操作数据采集，首先将将文档转换为多页图像数据，利用应用程序框架采集用户操作文档的操作交互动作，记录用户在文档上画笔绘制等行为，利用渲染系统将用户操作的画笔绘制和操作交互行为渲染进文档图像数据中，即将操作交互数据图像化，然后进行数据编码，把音视频数据封装RTMP协议，然后通过CDN网络发送到播放端播放。下面具体说明。在步骤1，接收转换模块的实现方式之一可以是一台文档解析服务器，即文档解析服务器接收上传的文档，然后将文档文件的每一页转换成对应图片格式数据，解析后图片格式数据加载到本地，数据格式如下本文档来自技高网...

【技术保护点】
1.一种文档类直播交互数据和音视频数据同步方法，其特征在于，包括：步骤1，接收上传的文档并将文档转换成文档图像数据；步骤2，通过应用程序开发框架采集用户的文档交互数据；步骤3，利用渲染系统将文档交互数据渲染进文档图像数据；步骤4，根据渲染结果分别进行视频数据和音频数据的编码；步骤5，将音视频编码数据封装成RTMP协议再通过CDN网络发送到播放端播放。

【技术特征摘要】
1.一种文档类直播交互数据和音视频数据同步方法，其特征在于，包括：步骤1，接收上传的文档并将文档转换成文档图像数据；步骤2，通过应用程序开发框架采集用户的文档交互数据；步骤3，利用渲染系统将文档交互数据渲染进文档图像数据；步骤4，根据渲染结果分别进行视频数据和音频数据的编码；步骤5，将音视频编码数据封装成RTMP协议再通过CDN网络发送到播放端播放。2.如权利要求1所述文档类直播交互数据和音视频数据同步方法，其特征在于，文档交互数据包括绘制数据，则步骤2包括：通过应用程序开发框架响应用户绘制动作并记录对应的鼠标动作，调用渲染接口完成绘制并获得绘制数据。3.如权利要求1所述文档类直播交互数据和音视频数据同步方法，其特征在于，文档交互数据包括用户操作数据，则步骤2包括：通过应用程序开发框架响应包括文档翻页、删除绘制数据和清空绘制数据在内任意一种用户操作，获得用户操作数据。4.如权利要求1所述文档类直播交互数据和音视频数据同步方法，其特征在于，步骤4包括：获取当前渲染系统的视频图像图层，通过H264编码器进行视频数据的编码；获取当前音频数据，通过ACC编码器进行音频数据的编码。5.如权利要求1所述文档类直播交互数据和音视频数据同步方法，其特征在于，步骤5中包括：建立与服务器三次握手连接，再建立与服务器的流通道；将获取的H264视频编码数据封装成RTMP协议的视频包发送到CDN网络；将获取的ACC音频编码数据封装成RTMP协议的音频包发送到CDN网络；再通过CDN网络发送到播放端播放。6.一种文档类直播交互数据和音视频数据同...

【专利技术属性】
技术研发人员：鲁和平，黄海亮，梁瑛玮，洪行健，李长杰，冷冬，丁一，
申请(专利权)人：广州易方信息科技股份有限公司，
类型：发明
国别省市：广东,44