一种实时多媒体传输系统及其使用方法技术方案

本发明专利技术一种实时多媒体传输系统，其特征在于：建立包括如下五个部分的媒体传输构架：媒体发布源、媒体服务单元、媒体订阅端、媒体发布订阅端和群组控制单元；群组控制单元负责实时通信群组的会话管理；群组控制单元负责对媒体发布源进行注册登记或注销，当有媒体发布源注册登记后，为其建立一个实时通信群组，同时还会主动为该实时通信群组生成一个媒体服务管理单元；群组控制单元还能在媒体服务管理单元的请求下生成新的媒体服务单元或删除某一个媒体服务单元。与现有技术相比，本发明专利技术的优点在于：建立的媒体传输构架，可以实现小型直连会议和大型网络会议，可以节省网络流量资源，又可动态扩充至多人参与的大型实时互动会议。

A real-time multimedia transmission system and its application

【技术实现步骤摘要】
一种实时多媒体传输系统及其使用方法
本专利技术涉及一种实时多媒体传输系统及其使用方法。
技术介绍
传统的视频会议数据传输方式主要有Mesh方式、基于MCU的媒体服务器方式和基于SFU的媒体服务器方式。Mesh方式在多方音视频交互中，全部采用P2P结构，这种结构比较适用于参与方比较少的情况(2～3方)，对于参与方多的情况，由于终端需要较大的上行带宽，会导致通信效果下降，参见附图1所示。MCU(Multi-pointControlUnit)是媒体服务器的一种结构，终端上传媒体到MCU后，MCU会将多个媒体流解码、混屏、编码后再发给各个终端，如果每个终端的订阅不一样，则需要为每个终端“单独”编码，因此MCU通常是计算能力较强的服务器来实现，其好处是混屏、编码后的视频只有一路流，压缩率能够提高，缺点是MCU计算量太大，规模部署成本很高，额外的解码、混屏、编码工作也为引入额外的延迟(几十毫秒到上百毫秒)，参见图2所示。SFU(SelectiveForwardingUnit)也是媒体服务器的一种结构，终端上传媒体流(通常是SVC或Simulcast)到SFU后，SFU根据其它不同终端的订阅需求和可用带宽约束选择性的发送媒体流，其好处是服务器负载低，部署成本较低，甚至便于在计算能力较低的终端实现借路，延迟也比MCU要低；但相对MCU，上行SVC或Simulcast压缩效率要低于单路流(估计差10％～50％)；如果终端订阅很多路，下行多路没有合并的流的压缩效率也会降低(估计差10％～100％)。基于MCU或基于SFU的视频架构，可以实现多人参与的大型视频会议，其传输构架是一种星形结构，MCU媒体服务器或SFU作为媒体服务器处于星形结构的中心节点分发媒体数据给各个终端。如果将多个星形结构连接，则可组合为更加复杂的视频会议结构，可实现分会场及扩容等功能。但是这种结构中间必须有一个媒体服务器，即MCU媒体服务器或SFU媒体服务器，如果视频会议中只有两个人，也经过服务器，无法做到P2P直连，成本较高；而且很多时候(70％的情况)P2P的网络质量是优于服务器中转，服务器中转至少增加了一次转发，因此效果上可能也不如P2P。另外，这种星形结构对于链路优化也比较困难，例如，由于终端可能分布在全球不同地区，某终端上行到媒体服务器的链路质量欠佳，导致其它终端订阅这个终端的媒体质量无法保证。而基于P2P的视频架构，只适用于小型视频会议系统，比如浏览器的WebRTC通过多方建立点对点连接实现小型的视频会议，不需要媒体服务器；但这种点对点直连的结构不适合较大型的会议(比如超过7人)，因为每个终端都必须向对端传送媒体，导致上行压力过大。
技术实现思路
本专利技术所要解决的首要技术问题是针对上述现有技术提供一种能实现小型直连会议、还能实现大型网络会议，同时还能节省网络流量资源的实时多媒体传输系统。本专利技术进一步所要解决的技术问题是针对上述现有技术提供一种能实现小型直连会议、还能实现大型网络会议，同时还能节省网络流量资源的实时多媒体传输系统的使用方法。本专利技术解决上述技术问题所采用的技术方案为：一种实时多媒体传输系统，其特征在于：建立包括如下五个部分的媒体传输构架：媒体发布源，能够将自身采集的媒体流发出，媒体流包括以下内容之一或任意组合：音频，视频，及时信息、文件图；媒体服务单元，能从媒体发布源或其他媒体服务单元订阅媒体流，并能将接收到的媒体流分发出去；媒体服务单元能运行在终端，也能运行在服务器端；媒体服务单元具有传输网络的Qos服务功能，媒体服务单元还具有能对分发的媒体流进行动态管理功能；媒体订阅端，能从媒体服务单元订阅媒体流；媒体发布订阅端，能作为媒体发布源，将自身采集的媒体流发送给其他的媒体服务单元；也能从媒体服务单元订阅媒体流，然后对媒体流进行处理，再将处理后的媒体流发送出去，这里的处理包括以下内容之一或任意组合：混屏、编码、解码、选屏、滤波；群组控制单元，负责实时通信群组的会话管理，实时通信群组为以下任意一种：视频会议、视频直播、视频培训、视频游戏，实时通信群组的用户包括：媒体发布源或媒体发布订阅端、媒体服务单元、媒体订阅端；群组控制单元负责对媒体发布源进行注册登记或注销，当有媒体发布源注册登记后，为其建立一个实时通信群组，同时还会主动为该实时通信群组生成一个媒体服务管理单元；所述媒体服务管理单元同时具有媒体服务单元的所有功能，群组控制单元还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行管理，另外，媒体服务管理单元还会通知群组控制单元当前媒体发布源对应的可订阅的媒体服务单元列表，并且媒体服务管理单元还负责向加入该实时通信群组的媒体订阅端发布能被订阅媒体流的媒体服务单元列表。客户使用所述媒体传输构架时，采用如下两种模式：基本模式：客户端注册媒体发布源，并通过网络连接到群组控制单元，表示发布自己同时具有发出媒体流的媒体能力，群组控制单元为其建立一个实时通信群组，同时马上生成一个媒体服务管理单元来负责管理这个实时通信群组，同时群组控制单元还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行资源管理和调度；混合模式：客户端作为媒体发布订阅端向群组控制单元注册媒体发布源，并通过网络连接到群组控制单元，表示发布自己同时具有发出和订阅媒体流的媒体能力，群组控制单元为其建立一个实时通信群组，同时马上生成一个媒体服务管理单元来负责管理这个实时通信群组，此时客户端作为媒体发布订阅端，既能从媒体服务单元订阅媒体流，还能对媒体流进行处理，再将处理后的媒体流发送出去；同时群组控制单元还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行资源管理和调度；而媒体服务单元的资源管理和调度策略包括：(1)、生成就近原则，生成的媒体服务管理单元和媒体服务单元应该尽量离媒体发布源接近，距离由IP地址距离、物理距离和经过实际测量的数据得到；在同样离媒体源接近的多个媒体服务单元中，再挑选跟媒体订阅端距离近的媒体服务单元；(2)、分配就近原则，从已有的媒体服务单元分配，优先选择离媒体订阅端近的媒体服务单元；(3)、资源预留，当媒体服务单元与媒体订阅端建立直接连接后，需要一般的吞吐资源，以便扩展；(4)、动态扩展，当与媒体服务单元建立直接连接的媒体订阅端数量超过预设值后，生成新的下级媒体服务单元，并将新增的媒体订阅端与新的下级媒体服务单元建立直接连接；(5)、动态收缩，当与下级媒体服务单元建立直接连接的媒体订阅端数量少于预设值后，将多个与下级媒体服务单元建立直接连接的媒体订阅端均与其上级的媒体服务单元建立直接连接；(6)、尽量减少切换原则，动态扩展和动态收缩的切换最小周期超过1分钟。所述群组控制单元对媒体发布源进本文档来自技高网...

【技术保护点】
1.一种实时多媒体传输系统，其特征在于：建立包括如下五个部分的媒体传输构架：/n媒体发布源(Src)，能够将自身采集的媒体流发出，媒体流包括以下内容之一或任意组合：音频，视频，及时信息、文件图；/n媒体服务单元(MSU)，能从媒体发布源或其他媒体服务单元订阅媒体流，并能将接收到的媒体流分发出去；媒体服务单元能运行在终端，也能运行在服务器端；媒体服务单元具有传输网络的Qos服务功能，媒体服务单元还具有能对分发的媒体流进行动态管理功能；/n媒体订阅端(Subs)，能从媒体服务单元订阅媒体流；/n媒体发布订阅端(SS)，能作为媒体发布源，将自身采集的媒体流发送给其他的媒体服务单元；也能从媒体服务单元订阅媒体流，然后对媒体流进行处理，再将处理后的媒体流发送出去，这里的处理包括以下内容之一或任意组合：混屏、编码、解码、选屏、滤波；/n群组控制单元(GCU)，负责实时通信群组的会话管理，实时通信群组为以下任意一种：视频会议、视频直播、视频培训、视频游戏，实时通信群组的用户包括：媒体发布源或媒体发布订阅端、媒体服务单元、媒体订阅端；群组控制单元负责对媒体发布源进行注册登记或注销，当有媒体发布源注册登记后，为其建立一个实时通信群组，同时还会主动为该实时通信群组生成一个媒体服务管理单元(Main MSU)；所述媒体服务管理单元同时具有媒体服务单元的所有功能，群组控制单元(GCU)还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行管理，另外，媒体服务管理单元(Main MSU)还会通知群组控制单元(GCU)当前媒体发布源对应的可订阅的媒体服务单元列表，并且媒体服务管理单元(Main MSU)还负责向加入该实时通信群组的媒体订阅端(Subs)发布能被订阅媒体流的媒体服务单元列表。/n...

【技术特征摘要】
1.一种实时多媒体传输系统，其特征在于：建立包括如下五个部分的媒体传输构架：
媒体发布源(Src)，能够将自身采集的媒体流发出，媒体流包括以下内容之一或任意组合：音频，视频，及时信息、文件图；
媒体服务单元(MSU)，能从媒体发布源或其他媒体服务单元订阅媒体流，并能将接收到的媒体流分发出去；媒体服务单元能运行在终端，也能运行在服务器端；媒体服务单元具有传输网络的Qos服务功能，媒体服务单元还具有能对分发的媒体流进行动态管理功能；
媒体订阅端(Subs)，能从媒体服务单元订阅媒体流；
媒体发布订阅端(SS)，能作为媒体发布源，将自身采集的媒体流发送给其他的媒体服务单元；也能从媒体服务单元订阅媒体流，然后对媒体流进行处理，再将处理后的媒体流发送出去，这里的处理包括以下内容之一或任意组合：混屏、编码、解码、选屏、滤波；
群组控制单元(GCU)，负责实时通信群组的会话管理，实时通信群组为以下任意一种：视频会议、视频直播、视频培训、视频游戏，实时通信群组的用户包括：媒体发布源或媒体发布订阅端、媒体服务单元、媒体订阅端；群组控制单元负责对媒体发布源进行注册登记或注销，当有媒体发布源注册登记后，为其建立一个实时通信群组，同时还会主动为该实时通信群组生成一个媒体服务管理单元(MainMSU)；所述媒体服务管理单元同时具有媒体服务单元的所有功能，群组控制单元(GCU)还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行管理，另外，媒体服务管理单元(MainMSU)还会通知群组控制单元(GCU)当前媒体发布源对应的可订阅的媒体服务单元列表，并且媒体服务管理单元(MainMSU)还负责向加入该实时通信群组的媒体订阅端(Subs)发布能被订阅媒体流的媒体服务单元列表。


2.根据权利要求1所述的实时多媒体传输系统，其特征在于：客户使用所述媒体传输构架时，采用如下两种模式：
基本模式：
客户端注册媒体发布源，并通过网络连接到群组控制单元，表示发布自己同时具有发出媒体流的媒体能力，群组控制单元为其建立一个实时通信群组，同时马上生成一个媒体服务管理单元来负责管理这个实时通信群组，同时群组控制单元(GCU)还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行资源管理和调度；
混合模式：
客户端作为媒体发布订阅端向群组控制单元(GCU)注册媒体发布源，并通过网络连接到群组控制单元，表示发布自己同时具有发出和订阅媒体流的媒体能力，群组控制单元为其建立一个实时通信群组，同时马上生成一个媒体服务管理单元来负责管理这个实时通信群组，此时客户端作为媒体发布订阅端，既能从媒体服务单元订阅媒体流，还能对媒体流进行处理，再将处理后的媒体流发送出去；同时群组控制单元(GCU)还能在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元或删除某一个媒体服务单元，这些媒体服务单元统一由媒体服务管理单元进行资源管理和调度；
而媒体服务单元的资源管理和调度策略包括：
(1)、生成就近原则，生成的媒体服务管理单元(MainMSU)和媒体服务单元(MSU)应该尽量离媒体发布源接近，距离由IP地址距离、物理距离和经过实际测量的数据得到；在同样离媒体源接近的多个媒体服务单元中，再挑选跟媒体订阅端距离近的媒体服务单元；
(2)、分配就近原则，从已有的媒体服务单元(MSU)分配，优先选择离媒体订阅端近的媒体服务单元；
(3)、资源预留，当媒体服务单元与媒体订阅端建立直接连接后，需要一般的吞吐资源，以便扩展；
(4)、动态扩展，当与媒体服务单元建立直接连接的媒体订阅端数量超过预设值后，生成新的下级媒体服务单元，并将新增的媒体订阅端与新的下级媒体服务单元建立直接连接；
(5)、动态收缩，当与下级媒体服务单元建立直接连接的媒体订阅端数量少于预设值后，将多个与下级媒体服务单元建立直接连接的媒体订阅端均与其上级的媒体服务单元建立直接连接；
(6)、尽量减少切换原则，动态扩展和动态收缩的切换最小周期超过1分钟。


3.根据权利要求1所述的实时多媒体传输系统，其特征在于：所述群组控制单元(GCU)对媒体发布源(Src)进行注册登记时，通过JMP协议栈或Restful协议栈或SIP协议栈进行管理，将媒体发布源(Src)向群组控制单元(GCU)发起注册请求的原语定义为SrcRegister，SrcRegister的具体内容包括srcID、sessionID、srcAddr、srcPubIP、SDP、capacity、load、defaultMSU；
其中，srcID为媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；srcAddr表示的是媒体发布源的源地址，媒体发布源的源地址为媒体发布源的IP地址或媒体发布源的ARCrouter地址或媒体发布源提供的URL；srcPubIP表示的是服务器看到的媒体发布源的公网IP地址，用来判断是否需要做网络分流优化；SDP为媒体流的描述语；capacity表示媒体发布源的可用发送带宽；load表示媒体发布源发送当前媒体流所需要的最大码率；defaultMSU表示的是媒体发布源是否默认自带一个媒体服务单元；
所述群组控制单元(GCU)能对媒体发布源进行注销，将媒体发布源向群组控制单元申请注销的原语定义为SrcUnregister，SrcUnregister的具体内容包括srcID、sessionID、reason，其中sessionID表示某个实时通信群组的会话ID标识；srcAddr表示的是媒体发布源的源地址，媒体发布源的源地址为媒体发布源的IP地址或媒体发布源的ARCrouter地址或媒体发布源提供的URL；reason表示注销原因；当群组控制单元(GCU)对媒体发布源注销后，随即释放为其生成的媒体服务管理单元(MainMSU)。


4.根据权利要求1所述的实时多媒体传输系统，其特征在于：群组控制单元(GCU)在媒体服务管理单元的请求下为实时通信群组生成新的媒体服务单元时，群组控制单元会根据媒体发布源的源地址和媒体服务管理单元的地址根据优先级选项分配新的媒体服务单元；
将媒体服务管理单元(MainMSU)向群组控制单元(GCU)请求新的媒体服务单元(MSU)的原语定义为NewMSU，NewMSU的具体内容包括srcID、sessionID、subsID、priority；其中srcID表示的是媒体发布源的ID；sessionID表示某个实时通信群组的会话ID标识；subsID表示的是媒体订阅端的ID；priority表示的是新分配的媒体服务单元位置的优先级，具体包括：离媒体发布源近、离某个媒体订阅端近、成本优先、质量优先；
媒体服务...

【专利技术属性】
技术研发人员：钱晓炯，刘谦，郑建，徐帅，龚宗耀，
申请(专利权)人：宁波菊风系统软件有限公司，
类型：发明
国别省市：浙江;33