对含有多路视频流的视频会议的直播系统和方法技术方案

本发明专利技术公开了一种对含有多路视频流的视频会议的直播系统和方法，该系统包括SIP协议交互模块，用于向SIP服务器注册一个账户，之后视频会议系统呼叫该账户建立连接并发送音视频数据；音视频打包模块，用于从SIP协议交互模块中获取音视频数据，对音视频流进行打包；HTTP模块，用于处理来自客户端的请求，并发送相应的数据块等本发明专利技术避免文件碎片的产生；能够实时的通知会议系统产生关键帧，避免了不可重入的问题；可在数据包里包含多个视频流的包，解决了辅流的显示问题，支持多个视频流。

A live broadcast system and method for video conferencing with multiple video streams

The present invention discloses a direct seeding system and method for video conferencing containing multiple video streams. The system includes a SIP protocol interaction module, which is used to register an account with the SIP server, after which the video conference system calls the account to establish connection concurrency and video data; the audio frequency packaging module is used to interact from the SIP protocol. The audio and video data are obtained in the module to package the audio and video streams; the HTTP module, which is used to process requests from the client, and sends the corresponding data blocks to avoid the generation of file fragments, can notify the meeting system in real time to generate key frames, avoid the problem of reentrant, and can contain multiple data packets. The video stream package solves the problem of auxiliary flow display and supports multiple video streams.

【技术实现步骤摘要】
对含有多路视频流的视频会议的直播系统和方法
本专利技术涉及一种视频会议的直播系统和方法，特别是涉及一种对含有多路视频流的视频会议的直播系统和方法。
技术介绍
近年来，直播技术迅猛发展，但现有的直播技术都针对娱乐平台，直播源端通过RTMP(实时消息传输)协议把音视频流推送到流媒体服务器，流媒体服务器对外提供HLS(HTTP直播)流，虽然HLS基于HTTP协议，能够天然的通过防火墙，并在各个移动平台兼容，但其还有以下缺陷：1、由于每个分片都有一定时长，导致高延迟。2、由于要不断的生成TS(传输流)文件，容易导致TS文件碎片。3、由于TS包的大小仅为188字节，过小的包容量导致传输效率低。4、源端需要定期生成关键帧，不然在直播中会导致不可重入。5、不支持多个视频流。
技术实现思路
本专利技术所要解决的技术问题是提供一种对含有多路视频流的视频会议的直播系统和方法，其避免文件碎片的产生；能够实时的通知会议系统产生关键帧，避免了不可重入的问题；可在数据包里包含多个视频流的包，解决了辅流的显示问题，支持多个视频流。本专利技术是通过下述技术方案来解决上述技术问题的：一种对含有多路视频流的视频会议的直播系统，其包括：SIP协议交互模块，用于向SIP服务器注册一个账户，之后视频会议系统呼叫该账户建立连接并发送音视频数据；音视频打包模块，用于从SIP协议交互模块中获取音视频数据，对音视频流进行打包；HTTP模块，用于处理来自客户端的请求，并发送相应的数据块。本专利技术还提供一种对含有多路视频流的视频会议的直播方法，其包括以下步骤：步骤一，视频会议系统通过SIP协议呼叫直播系统；步骤二，与视频会议系统建立连接；步骤三，接收会议系统的音、视频流；步骤四，判断媒体类型，区分音、视频及两个视频流中的主辅流；步骤五，对音、视频流进行打包；步骤六，把打包好的音、视频流进行CHUNK编码；步骤七，响应客户端的请求，发送编码之后的数据。优选地，所述步骤三中视频流的视频单元包括所属视频流的编号、时间戳、数据包长度，用于封装和打包。优选地，所述步骤三中音频流的音频单元包括音频流的编号、时间戳、数据包长度，用于封装和打包。本专利技术的积极进步效果在于：本专利技术客户端与服务器之间的媒体数据的传输由通过HTTP协议进行传输，可通过防火墙；所有媒体包都存在于内存中，避免了文件碎片的产生；能够实时的通知会议系统产生关键帧，避免了不可重入的问题；可在数据包里包含多个视频流的包，解决了辅流的显示问题；客户端与服务器之间的媒体数据的传输由HTTP协议来承载，可以通过防火墙的拦截；所有数据片都存在内存中，避免文件碎片；在有新的播放请求进入之后，通知视频会议系统生成一个关键帧；数据包里包含多个视频流。附图说明图1为本专利技术对含有多路视频流的视频会议的直播系统和方法的系统框架图。图2为本专利技术的流程示意图。具体实施方式下面结合附图给出本专利技术较佳实施例，以详细说明本专利技术的技术方案。如图1所示，本专利技术对含有多路视频流的视频会议的直播系统包括SIP(会话初始)协议交互模块、音视频流打包模块、HTTP(超文本传输协议)服务器模块，其中：SIP协议交互模块，负责SIP协议的相关实现，主要功能有注册、呼叫、接听、接收/发送媒体流的功能，视频会议系统通过SIP协议呼叫直播系统，在协商成功之后，建立连接，并开始从视频会议系统接收音视频流；音视频打包模块，在从SIP协议交互模块中获取音视频数据之后，通过对音视频包的拆包及解析，通过特定算法对音视频进行同步，如若需要，对音视频进行转码，之后按本专利技术的方法对音视频流进行打包；HTTP模块，在接收到客户端的播放请求之后，解析请求，定位到相应的节目，读取数据并发送给客户端；如图2所示，本专利技术对含有多路视频流的视频会议的直播方法，其包括以下步骤：步骤一，本系统使用SIP协议注册到SIP服务器；视频会议呼叫直播系统，直播系统自动应答，并加入到会议中；步骤二，与视频会议系统建立连接；步骤三，视频会议通过RTP协议向系统发送音频流，两个视频流；步骤四，解析、判断收到的RTP(实时传输协议)包，根据payload(有效载荷)区分音、视频包；在收到的视频包里通过解析NALU(网络抽象层单元)的打包类型调用相应的分割方法，在分割方法里以帧为单位，选取一帧组成一个视频单元。步骤五，对音频流进行分割，选取音频包组成一个音频单元；在两个视频流和音频流选取视频单元、音频单元组成虚拟文件片；创建虚拟文件头，包含多少个媒体流，每个媒体流的编号等；在文件头后面加上虚拟文件片即组成一个虚拟文件；步骤六，客户端通过HTTP中的CHUNK(分块传输)模式下载虚拟文件(存在于内存中)来获取音视频数据；步骤七，客户端在收到数据之后，解析出相应解码参数并进行解码播放。所述步骤三中视频流的视频单元包括所属视频流的编号、时间戳、数据包长度，用于封装和打包。所述步骤三中音频流的音频单元包括所属音频流的编号、时间戳、数据包长度，用于封装和打包。以上所述的具体实施例，对本专利技术的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本专利技术的具体实施例而已，并不用于限制本专利技术，凡在本专利技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种对含有多路视频流的视频会议的直播系统，其特征在于，其包括：SIP协议交互模块，用于向SIP服务器注册一个账户，之后视频会议系统呼叫该账户建立连接并发送音视频数据；音视频打包模块，用于从SIP协议交互模块中获取音视频数据，对音视频流进行打包；HTTP模块，用于处理来自客户端的请求，并发送相应的数据块。

【技术特征摘要】
1.一种对含有多路视频流的视频会议的直播系统，其特征在于，其包括：SIP协议交互模块，用于向SIP服务器注册一个账户，之后视频会议系统呼叫该账户建立连接并发送音视频数据；音视频打包模块，用于从SIP协议交互模块中获取音视频数据，对音视频流进行打包；HTTP模块，用于处理来自客户端的请求，并发送相应的数据块。2.一种对含有多路视频流的视频会议的直播方法，其特征在于，其包括以下步骤：步骤一，视频会议系统通过SIP协议呼叫直播系统；步骤二，与视频会议系统建立连接；步骤三，接收会议系统的音视频流；...

【专利技术属性】
技术研发人员：叶仙兵，谢朝阳，王巍，耿建新，
申请(专利权)人：上海华讯网络系统有限公司，
类型：发明
国别省市：上海,31