一种基于在线会议的音视频录播方法及系统技术方案

本发明专利技术公开一种基于在线会议的音视频录播方法及系统，包括建立媒体服务器与用户终端的通信连接，向媒体服务器发送会议开启请求；媒体服务器基于会议开启请求创建会议房间，选择一个空闲的中转服务器；将采集的会议展示的白板区域讲解内容笔迹、摄像头和麦克风数据实时传输到中转服务器；当用户终端获取音视频录播服务触发录播操作指令时，中转服务器针对录播操作指令，获取会议中产生的音视频流数据的录像信息，预处理后存入本地文件；会议结束后，上传进程对本地文件通过内网域名断点续传到中转服务器，生成回放文件；将其上传至云端服务器，供用户端进行回放。上述方案能够在不同设备上播放回放文件，提高隐私保护，提供和直播一致的用户体验。播一致的用户体验。播一致的用户体验。

【技术实现步骤摘要】
一种基于在线会议的音视频录播方法及系统


[0001]本专利技术涉及音视频处理
，具体涉及一种基于在线会议的音视频录播方法及系统。

技术介绍

[0002]对于在线会议的实时音视频产品方案中，采用音频、视频、屏幕共享和互动白板相结合的方式提供在线会议服务。主持人通过音视频与参会人实时沟通，主持人也可以通过屏幕共享和互动白板进行会议内容的讲述和互动。
[0003]在线会议中的音频、视频、屏幕共享、互动白板等实时数据通过客户端传输到服务器，由服务器转发到用户端，同时对这些数据进行录制存储，写入到录像文件，通过定制化的播放器进行播放。
[0004]在线会议业务中对主持人和参会人的互动过程进行现场还原，需要对这一过程进行录制，并在会议结束后形成录像文件，并将录像文件上传文件到云端，以便在PC或APP客户端进行回放。
[0005]一种常见的简单方案是，在PC主持人端由录屏软件录制屏幕窗口，然后压缩编码成视频格式(通用mp4格式)并上传到后端云存储服务。好处是在各类平台通过PC或APP客户端回放视频文件。弊端是：资源和带宽浪费，因为视频本身的压缩会很耗时，可能导致客户端播放特别卡顿，另外存储文件的大小也很大(比如1个小时的480p/15fps/500Kbps的视频大小可能达到200M)，造成本地磁盘和上传带宽压力大大增大，同时如果文件是存储在第三方云存储上的话，价格也会大大增加；另外录制的PC主持人端如果出现异常，录制会中断，导致录制文件损坏；更重要的是，录制的画面清晰度越高，对录制端的电脑性能要求更高，相应的存储文件也更大，一般做法是取性价比较高的折中方案，这样就导致用户的直播和回放体验不一致，用户体验大打折扣。
[0006]综合以上情况，我可以看出，在线会议录播存在以下问题：
[0007]问题1：数据压缩问题。在非wifi情况下的回放文件，需要保证在回放体验的基础上将流量消耗降到最低。
[0008]问题2：数据完整性问题。由于PC客户端软件可能异常退出，所以对于已经录制的屏幕窗口需要保证没有脏数据，播放器也能正常的播放出。
[0009]问题3：音视频和白板笔迹的同步问题。由于在录制时是分别录制音视频和白板笔迹，同时在PC客户端出现异常退出后恢复时继续上次的音视频和白板笔迹录制，所以在播放时需要对两者进行同步匹配，不然就会出现音视频和白板笔迹脱节不同步，从而影响播放体验。
[0010]问题4：播放器效率问题。由于在移动端设备方面存在IOS和安卓等平台的差别，而且基于安卓平台，更有各种手机厂商数千款手机产品，每种产品的设备配置和性能参数都不尽相同，所以定制化的播放器(基于html5)需要适配所有这些机型的兼容问题，并且在绘制笔迹时尽量减少cpu的消耗，尤其是在大步长的seek进度条时，绘制效率更需要考虑。

技术实现思路

[0011]为了解决上述现有技术中的问题，本专利技术提供了一种可靠的、不影响用户体验的基于在线会议的音视频录播方法及系统，该方案不占用PC主持人端的任何额外资源的同时无需PC主持人端上传，可实现会议结束后通过服务器内部的高速传输通道；能够使用与在线会议直播时相同的解析逻辑和绘制逻辑，达到回放与直播完全一致的用户体验。
[0012]为实现上述目的，第一方面，本专利技术提供了一种基于在线会议的音视频录播方法，所述方法包括：
[0013]建立媒体服务器与用户终端的通信连接，向媒体服务器发送会议开启请求；
[0014]所述媒体服务器接收所述用户终端发送的会议开启请求后，创建会议房间，选择一个空闲的中转服务器；
[0015]采集会议展示的白板区域讲解内容笔迹，以及摄像头和麦克风的数据，实时传输到中转服务器；
[0016]当用户终端获取音视频录播服务，触发录播操作指令时；所述中转服务器针对所述用户终端触发的录播操作指令，获取会议中产生的音视频流数据的录像信息，将预处理后的录像信息存入本地文件；
[0017]会议结束后，上传进程对本地文件通过内网域名断点续传到中转服务器，生成回放文件；
[0018]将所述回放文件上传至云端服务器，供用户终端通过播放器进行回放。
[0019]优选的，所述获取会议中产生的音视频流数据的录像信息，将预处理后的录像信息存入本地文件包括：
[0020]中转服务器将与会议中产生音视频流数据的录像信息同步时间戳后进行相互转发，并对转发的数据进行压缩后写入本地文件。
[0021]优选的，所述生成回放文件包括：中转服务器在收到录制消息后开始写入录像数据，在收到录制结束信息后结束写入录像信息，并将该录像文件通过加锁队列写入到录像服务；通过维护两个seq和两个跳表顺序写入文件，并定义回放文件格式，完成回放文件的生成。
[0022]进一步地，所述定义回放文件格式包括：将回放文件定义为由消息头和消息体组成的文件格式；所述消息头，用于记录录像数据的基本信息，包括版本号、起始时间、时长、条目数，房间编号信息；
[0023]所述消息体，用于记录音频、视频、笔迹、信令的数据内容。
[0024]优选的，所述上传进程对本地文件通过内网域名断点续传到中转服务器包括：录像服务启动时，检查是否存在需要上传的文件，接收来自音视频服务的FIFO消息，发送到上传服务；接收来自上传服务的响应，将对应消息从上传列表中移除，否则重发，直到收到回复为止。
[0025]进一步地，所述上传进程用于记录每个文件的上传进度和状态信息到本地数据库，并且循环扫描指定的本地存储目录，直到对所有未完成的文件进行断点续传。
[0026]优选的，所述将回放文件上传至云端服务器，供用户终端通过播放器进行回放包括：当回放文件传输完成后，业务服务器将临时存储在中转服务器本地磁盘的文件，以全局唯一的会议编号作为key，以.rec为后缀，通过第三方云服务api上传到云端服务器，存储成
功后同时删除本地文件，否则保留，返回状态给上传进程；
[0027]当回放文件传输到云端服务器后，通知后台web服务器文件上传成功，后台服务记录对应会议编号的文件url到数据库中，返回状态给上传进程；
[0028]将指定会议编号下的文件url传到自定义播放器，通过所述播放器解析音频、视频、信令和笔迹数据，统一以音频的时间轴为准，视频和笔迹数据按照相对时间戳与音频时间轴进行同步化匹配，并在播放器绘制并显示回放文件。
[0029]第二方面，本专利技术还提供了一种基于在线会议的音视频录播系统，所述系统包括：
[0030]通信模块，用于建立媒体服务器与用户终端的通信连接，向媒体服务器发送会议开启请求；
[0031]音视频服务模块，用于所述媒体服务器接收所述用户终端发送的会议开启请求后，创建会议房间，选择一个空闲的中转服务器；将采集的会议展示的白板区域讲解内容笔迹，以及摄像头和麦克风的数据，实时传输到中转服务器；
[0032]录像服务模块，用于当用户终端获取音视频录播服务，触发录播操作指令时；所述中转服务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于在线会议的音视频录播方法，其特征在于，所述方法包括：建立媒体服务器与用户终端的通信连接，向媒体服务器发送会议开启请求；所述媒体服务器接收所述用户终端发送的会议开启请求后，创建会议房间，选择一个空闲的中转服务器；采集会议展示的白板区域讲解内容笔迹，以及摄像头和麦克风的数据，实时传输到中转服务器；当用户终端获取音视频录播服务，触发录播操作指令时；所述中转服务器针对所述用户终端触发的录播操作指令，获取会议中产生的音视频流数据的录像信息，将预处理后的录像信息存入本地文件；会议结束后，上传进程对本地文件通过内网域名断点续传到中转服务器，生成回放文件；将所述回放文件上传至云端服务器，供用户终端通过播放器进行回放。2.根据权利要求1所述的方法，其特征在于，所述获取会议中产生的音视频流数据的录像信息，将预处理后的录像信息存入本地文件包括：中转服务器将与会议中产生音视频流数据的录像信息同步时间戳后进行相互转发，并对转发的数据进行压缩后写入本地文件。3.根据权利要求1所述的方法，其特征在于，所述生成回放文件包括：中转服务器在收到录制消息后开始写入录像数据，在收到录制结束信息后结束写入录像信息，并将该录像文件通过加锁队列写入到录像服务；通过维护两个seq和两个跳表顺序写入文件，并定义回放文件格式，完成回放文件的生成。4.根据权利要求3所述的方法，其特征在于，所述定义回放文件格式包括：将回放文件定义为由消息头和消息体组成的文件格式；所述消息头，用于记录录像数据的基本信息，包括版本号、起始时间、时长、条目数，房间编号信息；所述消息体，用于记录音频、视频、笔迹、信令的数据内容。5.根据权利要求1所述的方法，其特征在于，所述上传进程对本地文件通过内网域名断点续传到中转服务器包括：录像服务启动时，检查是否存在需要上传的文件，接收来自音视频服务的FIFO消息，发送到上传服务；接收来自上传服务的响应，将对应消息从...

【专利技术属性】
技术研发人员：白杨，
申请(专利权)人：上海薪伙科技有限公司，
类型：发明
国别省市：