用于低延迟和分布式会议应用的会议服务器架构的系统和方法技术方案

本发明专利技术涉及用于低延迟和分布式会议应用的会议服务器架构的系统和方法。提供了用于进行多端点视频信号会议的系统和方法。会议端点通过可靠和较不可靠的通信信道对来链接。会议视频信号以基层和增强层的格式来可缩放地编码。对应于最小画面质量的视频信号基层通过可靠信道来传送。视频信号增强层可通过较不可靠的信道来传送。会议服务器在无需任何中间编码或重编码操作的情况下协调从发送端点到接收端点的视频层信息的交换。视频会议可使用经可缩放编码的音频信号或经非可缩放编码的音频信号来与音频会议集成。

【技术实现步骤摘要】

本专利技术涉及多媒体和电信技木。具体地，本专利技术涉及多方会议应用的音频和视频数据的通信和分发。更具体地，本专利技术涉及采用可缩放的视频和音频编码技术的会议系统和方法的实现。
技术介绍
当今，计算机网络(例如，因特网)已替代了传统的分发系统(例如，电子邮件和电话)对媒体和信息的传送。多媒体和电信技术的最新进展涉及将视频和音频通信及会议的能力与诸如IP PBX、即时信息收发、web会议的网际协议(“IP”)通信系统进行集成。为了有效地将视频通信集成到这些系统中，这些系统通常必须支持点对点和多点通信。在这些应用中所采用的多点服务器(也称为会议桥分器(conference bridge)、多点会议单元、或“MCU”)必须对来自多方会议的多个參与方的媒体流进行混合，并且将它们分发给所有会议参与方。较佳地，MCU还应当提供包括以下的选项(1)连续出席(例如，因此可同时看到多个參与方)；(2)视图或布局个性化(例如，因此每个參与方可选择他或她自己的关于其他參与方的视图ー其他參与方的一部分可以采用较大的格式来观看，而一部分以较小的格式来观看)；(3)差错定位(例如，当传输中出现差错时，在该參与方与服务器之间解决该差错)；随机进入(例如，进入会议的新參与方对其他參与方没有影响或有最小影响)；以及(5)速率匹配(例如，因此每个參与方可经由带宽不同的不同网络而连接，并且可以采用自己的速率从会议桥分器接收数据)。当前称为“代码转换MCU的M⑶解决方案通过解码MCU中的所有视频流、为每个參与方创建个人布局以及重编码參与方专用数据流以发送到每个參与方、考虑例如參与方的可用带宽等来实现这些有益功能。然而，这种解决方案向视频流传输添加了显著延迟、使视频数据的质量降级，并且开发和部署很昂贵(这些系统要求复杂、专用的数字信号处理器)。替代的MCU解决方案是基于所谓的“交換” MCU的。在此解决方案中，仅将单个所选參与方(即，“活动说话者”)的视频和/或音频信号从该MUC发送给ー个或所有其他參与方。活动说话者/參与方可通过对所有參与方的音频信号施加语音活动性的定量测量来选择。虽然对活动说话者的选择通常在MCU处执行，但是语音活动指标的计算也可在端点上执行(在发送之前)。交換MCU涉及较少的DSP处理并且比代码转换MUC更简単，但它们相应地具有较少的功能(例如，没有差错定位、没有速率匹配、随机进入功能受限)。此外，已作出各种尝试来实现专用于ー个视频标准的、用以组合压缩域中的视频流的方法。基于ITU-T H. 261标准的方法要求端点向会议桥分器发送H. 261QCIF图像，随后该桥分器组合诸如4个QCIF图像以创建ー个CIF图像。诸如ITU-TH. 263和H. 264的较新的视频编解码器允许通过将成分子画面的每ー个视为该更大画面的独立切片来将已编码画面组合或“合成”为更大的画面。这些和其他类似方法往往只针对视频压缩标准并且不支持个人布局(即，所有參与方被迫以相同分辨率观看给定參与方)、差错弹性或速率匹配。它们还在视频与音频之间的正确同步以及抖动缓冲器管理方面向MCU设计者提出新的挑战。其他解决方案是基于向所有參与方发送全部数据流；这些解决方案不支持速率匹配或端点对分辨率的选择。除昂贵及专用的网络配置之外，当前可用的视频通信解决方案还不具备针对分组丢失的弾性，并且执行不可预测。可能未对大多数其它应用造成问题的网络差错条件可在视频会议中导致不可接受的质量。引起编码效率普遍改进的新的数字视频和音频“可缩放”编码技术还具有许多新的结构特性。具体地，新的重要特性是可缩放性。在可缩放编码中，使用两个或更多分层结构的位流来表示原始或源信号。分层结构意味着给定位流的解码依赖于在分层结构中处于较低层的某些或全部其它位流的可用性。每个位图连同其所依赖的位图一起在特定时间、 质量(例如，在信噪比或SNR方面)、或空间分辨率(针对视频)下提供了对原始信号的表示。术语‘可缩放’并非指数量的大小或规模，而是指通常用以不同的分辨率或质量提供对应于原始或源信号的有效表示的ー组不同位流的编码技术的能力。现有的ITU-TH.264 Annex F规范(称为可缩放视频编码，SVC)是在时间、空间、和时间分辨率三方面提供视频编码可缩放性的视频编码标准的ー个示例，并且是H. 264标准的扩展(也称为高级视频编码，或AVC)。另ー种更老的示例是ISO MPEG-2 (也作为ITU-T H. 262发布)，它也提供了所有三类可缩放性。ITU G. 729.1 (也称为G. 729EV)是提供可缩放音频编码的标准的示例。编码中的可缩放性被设计为针对流送或广播中的视频和音频分发问题的解决方案，以允许给定系统与各种不同的访问网络(例如与不同带宽连接的客户端)、网络条件(带宽波动)或客户端设备(例如使用较大监视器的个人计算机相对于屏幕小得多的手持式设备)一起操作。现在考虑经改进的多媒体会议应用。具体地，将注意力转向通过使用可缩放视频和音频编码技术来改进会议服务器架构。期望的会议服务器架构和数据编码技术将支持个人布局、连续出席(continuous presence)、速率匹配、差错弹性和随机进入以及低延迟。
技术实现思路
本专利技术提供了多点和点对点会议应用的媒体通信服务器架构。该媒体服务器架构被设计成用于可缩放视频编码(SVC)数据和/或可缩放音频编码(SAC)数据或者以可从已编码位流导出多种质量的方式编码的一般音频的低延迟通信。在下文中，服务器称为可缩放视频编码服务器(SVCS)，但是应当理解，同一服务器设计和操作也可应用于音频。作为替代，术语可缩放音频编码服务器(SACS)也可用于描述该服务器，尤其在音频应用的上下文中。本专利技术的服务器/客户端架构可提供诸如连续出席、个人布局和低延迟的速率匹配以及经改进的差错弹性的会议功能。有益的是，本专利技术的服务器/客户端架构通过选择性地对若干可缩放的已编码媒体信号进行多路复用，以及通过提供分辨率、比特率、质量或帧速率的多个层，在处理要求显著降低的情况下提供这些会议能力。本专利技术还提供一种用于通过对在统计上复用的视频流中的较大分组或帧进行由服务器驱动的同步来最优化网络链路中的带宽利用的方法。本专利技术的示例性实施例通过复用可缩放音频和视频流的基层分组来提供ー种低延迟和带宽有效的数据通信的方法。在某些情形中，音频编码可以是不可缩放的。在另ー示例性实施例中，本专利技术为基于可缩放视频的会议提供了基于服务器的速率控制，其中该服务器实现了用于增强更重要的流的视频质量的基于策略或基于内容的方案。在又一示例性实施例中，本专利技术提供ー种用于以提供低延迟和特征丰富的服务(例如，连续出席、速率匹配和个人布局)的方式基于可缩放视频编码级联许多客户端会议単元的方法。同时，该方法优化不同种网络中或之间的网络通信量。 在再一示例性实施例中，本专利技术提供一种用于在采用可缩放视频会议服务器的视频会议中统ー会话边界控制功能的方法。附图说明根据以下优选实施例及附图的详细描述，本专利技术的其它特征、其特性以及各种优点将更加显而易见，在附图中图1是根据本专利技术的原理的多点会议服务器(SVCS)系统的示意图，该系统被配置成将可缩放视频和/或音频数据从端点发送器传送到客户端接收器；图2是示出了根据本专利技术的原理的多点本文档来自技高网...

【技术保护点】
一种用于通过至少一个通信信道向至少一个接收端点发送视频信号的多端点视频信号会议系统，其中所述视频信号被可缩放编码成包括基层和一个或多个增强层的层，所述会议系统包括：可缩放视频编码服务器SVCS，适于通过所述至少一个通信信道链接到所述至少一个接收端点，其中所述通信信道的至少一个提供了改进的服务质量；以及其中所述SVCS被配置来，通过所述至少一个通信信道接收视频信号层，并通过所述至少一个通信信道选择性地向所述至少一个接收端点发送视频信号层。

【技术特征摘要】
2005.09.07 US 60/714,600;2005.09.07 US 60/714,7411.一种用于通过至少一个通信信道向至少一个接收端点发送视频信号的多端点视频信号会议系统，其中所述视频信号被可缩放编码成包括基层和一个或多个增强层的层，所述会议系统包括可缩放视频编码服务器SVCS，适于通过所述至少一个通信信道链接到所述至少一个接收端点，其中所述通信信道的至少一个提供了改进的服务质量；以及其中所述SVCS被配置来，通过所述至少一个通信信道接收视频信号层，并通过所述至少一个通信信道选择性地向所述至少一个接收端点发送视频信号层。2.如权利要求1所述的会议系统，其特征在于，所述SVCS还被配置来，通过选择性地复用视频信号层并向其转发，来向所述至少一个接收端点提供连续出席、个性化布局、速率匹配、差错定位和随机进入特征中的至少一个。3.如权利要求2所述的会议系统，其特征在于，所述SVCS还被配置来选择性地复用具有两个或更多信号特性的视频信号层并转发给所述至少一个接收端点，所述信号特性包括不同分辨率、比特率、质量和帧速率特性中的至少一个。4.如权利要求1所述的会议系统，其特征在于，所述SVCS还被配置来除对视频信号进行处理之外还对音频信号进行处理。5.如权利要求1所述的会议系统，其特征在于，所述SVCS还被配置来提供会话网络边界控制、媒体代理、防火墙和网络地址转换功能中的至少一个。6.如权利要求1所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来前摄地重复至少基层分组的传送。7.如权利要求1所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来带有向前纠错地发送至少基层分组。8.如权利要求1所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来高速缓存至少基层分组并依据请求重新发送经高速缓存的分组。9.一种用于通过至少一个通信信道与至少一个发送端点进行视频信号通信的多端点视频信号会议系统，其中所述视频信号被可缩放编码成包括基层和一个或多个增强层的层，所述会议系统包括可缩放视频编码服务器SVCS，适于通过所述至少一个通信信道链接到所述至少一个发送端点，并从所述发送端点接收一个或多个视频信号层，其中所述通信信道的至少一个提供了改进的服务质量；以及其中所述SVCS被配置来通过所述至少一个通信信道，选择性地传送从所述发送端点接收的所述一个或多个视频信号层。10.如权利要求9所述的会议系统，其特征在于，所述SVCS还被配置来，通过选择性地复用并转发从所述发送端点接收的视频信号层，来为所述至少一个发送端点提供连续出席、个性化布局、速率匹配、差错定位和随机进入特征中的至少一个。11.如权利要求9所述的会议系统，其特征在于，所述SVCS还被配置来除对视频信号进行处理之外还对音频信号进行处理。12.如权利要求9所述的会议系统，其特征在于，所述SVCS还被配置来提供会话网络边界控制、媒体代理、防火墙和网络地址转换功能中的至少一个。13.如权利要求9所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来前摄地重复至少基层的传送。14.如权利要求9所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来带有向前纠错地接收分组。15.如权利要求9所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来依据请求接收重新发送的高速缓存了的分组。16.一种用于通过至少一个通信信道向至少一个接收端点发送音频信号的多端点视频信号会议系统，其中所述音频信号按成分编码使得能够从经编码的域中的位流导出多个质量，所述会议系统包括可缩放音频编码服务器SACS，适于通过所述至少一个通信信道链接到音频会议中的至少一个接收端点，其中所述SACS被配置来，通过所述至少一个通信信道接收所述音频信号的音频信号成分，并通过所述至少一个通信信道选择性地向所述至少一个接收端点发送所述音频信号成分。17.如权利要求16所述的会议系统，其特征在于，所述音频信号被可缩放编码成包括基层和一个或多个增强层的分层成分。18.如权利要求16所述的会议系统，其特征在于，所述通信信道的至少一个提供了改进的服务质量。19.如权利要求18所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来前摄地重复所述至少一个音频信号成分的传送。20.如权利要求18所述的会议系统，其特征在于，所述通信的改进质量的服务包括所述SVCS还被配置来带有向前纠错地发送所述至少一个音频信号成分。21.如权利要求18所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来高速缓存所述至少一个音频信号成分的数据并依据请求重新发送经高速缓存的数据。22.如权利要求16所述的会议系统，其特征在于，所述音频信号与信号强度指标相关联。23.如权利要求22所述的会议系统，其特征在于，所述SACS还被配置来将所接收到的最强的音频信号中所有质量的成分转发到除起始参与方之外的所有参与方，将所接收到的大量较弱的音频信号中少于全部质量的成分，如果有，转发到除所述起始参与方之外的所有参与方；以及不转发所接收到的任何剩余的较弱的音频信号中的质量的成分。24.如权利要求16所述的会议系统，其特征在于，所述音频信号被SACS转发到所述至少一个接收端点用于混合。25.如权利要求16所述的会议系统，其特征在于，所述SACS还被配置来高速缓存所接收到的音频成分，并在第一接收器需要以特定质量水平进行对所述音频信号的解码时，将高速缓存了的成分转发到第一接收器，所述特定质量水平先前未接收过。26.如权利要求16所述的会议系统，其特征在于，所述至少一个通信信道包括基于分组的信道，并且其中所述SACS还被配置来将大量前往接收器的音频分组聚集成一个组合分组，并且将所述组合分组转发到所述接收器。27.如权利要求17所述的会议系统，其特征在于，所述音频信号与一个或多个信号强度指标相关联，并且其中所述SACS还被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅转发基层信息，并在所述一个或多个信号强度指标之一超出第二阈值时转发基层和增强层信息。28.如权利要求16所述的会议系统，其特征在于，所述SACS还被配置来选择性地复用具有两个或更多信号特性的音频信号成分并转发给所述至少一个接收端点，所述特性包括不同采样速率、比特率、质量和音频信号信道数目。29.如权利要求16所述的会议系统，其特征在于，所述SACS还被配置来根据向接收端点分配优先级的会议系统优先级策略按优先级...

【专利技术属性】
技术研发人员：R·希万拉，A·埃尔法泽阿迪斯，O·莎彼洛，
申请(专利权)人：维德约股份有限公司，
类型：发明
国别省市：