空间感知的多媒体路由器系统与方法技术方案

一种空间感知的多媒体路由系统，包括：至少一个媒体服务器计算机，用于接收和分析传入数据，所述传入数据包括来自客户端设备的传入多媒体流；基于从客户端设备接收的传入数据，为各个客户端设备调整传出多媒体流。传入多媒体流包括来自虚拟环境中的元素。基于用户优先级数据和空间取向数据来为各个客户端设备调整传出多媒体流，所述空间取向数据描述在所述虚拟环境中的对应用户图形表示和所述传入多媒体流的源之间的空间关系。媒体流的源之间的空间关系。媒体流的源之间的空间关系。

【技术实现步骤摘要】
空间感知的多媒体路由器系统与方法
相关申请的交叉引用
[0001]本申请与共同申请的美国专利申请17/005,767有关，该专利申请在此同时提交，标题为“空间感知的多媒体路由器系统与方法”，该专利申请通过引用并入本文。


[0002]本申请一般涉及计算机系统，更具体地，涉及多媒体路由器系统和方法。

技术介绍

[0003]视频会议能够在多个用户之间进行远程通信，对于处于多个地点的人们来说，视频会议正在成为相对低成本和快速的通信工具。由于宽带网络的广泛部署、视频压缩技术的进步、以及对基础设施要求较低、成本低的基于网络的视频通信的实现方法增加，视频会议最近变得流行起来。
[0004]例如，实现视频会议的一种方法是网格(点对点)基础设施，其中每个客户端设备向所有其它客户端设备发送多媒体流。这代表了一种低成本的解决方案，不需要任何中间基础设施，但由于快速的带宽过载和客户端设备的处理能力有限，会导致低的可扩展性。
[0005]另一个示例方法是多点控制单元(Multipoint Control Unit，MCU)，它在中央媒体服务器中实现，接收来自客户端设备的所有多媒体流，解码并将所有流组合成一个流，然后重新编码并发送给所有客户端设备，减少与点对点模型相关的延迟和带宽问题。然而，MCU实现往往很复杂，并且需要来自媒体服务器的大量计算资源。
[0006]另一个示例方法是选择性转发单元(Selective Forwarding Unit，SFU)，它用于网络实时通信(Web Real
‑<br/>Time Communication，WebRTC)视频会议标准。WebRTC标准通常支持浏览器到浏览器的应用，例如语音通话、视频聊天和点对点(Peer
‑
to
‑
Peer，P2P)文件共享应用，同时避免利用插件来连接视频通信端点的需求。SFU可以在中央媒体服务器计算机中实现，SFU包括用于不在服务器端进行密集的媒体处理(例如：解码和重新编码)，而将视频流中的视频包路由给多个参会者装置的软件程序。因此SFU通过网络从客户端设备接收所有编码的媒体流，然后选择性地将这些流转发到对应参会者的客户端设备，以进行后续解码和显示。SFU转发的选择性是基于多个参数，这些参数可用于优化与多媒体流转发相关联的带宽，从而产生更高的体验质量(Quality of Experience，QoE)。例如，SFU可以从接收到的多媒体流中识别出正在说话的参会者，并将高比特率的多媒体流转发给在收听的参会者。另一方面，SFU将收听的参会者的低比特率的多媒体流发送给其它参会者，实现一定程度的带宽和QoE的提升。
[0007]考虑到中央媒体或者路由服务器或参会的客户端设备的带宽和处理能力的限制，典型的视频会议工具(比如通过上述的方法)的限制在于有限的可扩展性。因此需要在多媒体路由和转发操作期间进一步优化网络带宽和计算资源，同时为相关参会者保持高QoE的新的方法。

技术实现思路

[0008]本概述是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本概述无意于识别所要保护的主题的关键特征，也无意用于帮助确定所要保护的主题的范围。
[0009]在本申请的一方面，提供了一种空间感知的多媒体路由器系统。所述空间感知的多媒体路由器系统包括至少一个处理器和存储器，所述存储器存储指令，该指令用于实现在客户端设备之间管理数据交换的数据交换管理模块。在一个实施例中，所述系统还包括一个或多个计算设备，所述计算设备实现至少一个虚拟环境，所述虚拟环境连接到至少一个媒体服务器计算机，从而能够访问多个客户端设备的用户的一个或多个图形表示(也称为用户图形表示)。考虑到虚拟环境中的虚拟元素和来自至少一个客户端设备的输入数据，可以在虚拟环境中生成多个多媒体流(例如，2D视频流、3D视频流、音频流或这些流或其他媒体流的组合)。因此，输入数据在所述虚拟环境中被接收和组合，所述虚拟环境包括多个虚拟元素和客户端设备的对应用户的至少一个图形表示。多个客户端设备经由网络与所述至少一个媒体服务器相连，所述多个客户端设备用于向所述至少一个媒体服务器计算机发送包括多媒体流的数据。
[0010]所述至少一个媒体服务器用于：接收和分析从客户端设备的传入数据，所述传入数据包括来自客户端设备的传入多媒体流；基于传入数据为各个客户端设备调整传出多媒体流。所述传入多媒体流包括来自至少一个虚拟环境内的元素。基于例如，用户优先级数据和空间取向数据，为各个客户端设备调整所述传出多媒体流，所述空间取向数据描述例如，在至少一个虚拟环境中的对应用户图形表示和所述传入多媒体流的源之间的空间关系。
[0011]在一个实施例中，所述至少一个媒体服务器计算机执行数据交换管理，包括分析和处理传入数据，所述传入数据包括来自客户端设备的多媒体流，所述数据交换管理还包括基于从所述多个客户端设备接收的传入数据来评估和优化所述传出多媒体流的转发，所述传入数据包括来自所述至少一个虚拟环境内的元素。所述传入数据与用户优先级数据以及对应用户图形表示与所述传入的多媒体流之间的空间关系相关联。
[0012]在一些实施例中，所述至少一个虚拟环境托管在至少一个专用服务器计算机上，所述至少一个专用服务器计算机经由网络连接到所述至少一个媒体服务器计算机。在其他实施例中，所述至少一个虚拟环境托管在点对点的基础设施中并且通过所述至少一个媒体服务器计算机被中继。所述虚拟环境可用于托管实时视频通信，用户可以在其中相互交互，也可用于会议、工作、教育、购物、娱乐和服务等。在一些实施例中，虚拟环境是真实世界位置的虚拟副本，其中所述真实世界位置包括多个传感器，所述多个传感器向所述真实世界位置的虚拟副本提供进一步的数据。
[0013]在一些实施例中，所述至少一个媒体服务器计算机使用路由拓扑。在其它实施例中，所述至少一个媒体服务器计算机使用媒体处理拓扑。在其他实施例中，所述至少一个媒体服务器计算机使用转发服务器拓扑。在其它实施例中，所述至少一个媒体服务器计算机使用其他合适的多媒体服务器路由拓扑，或媒体处理和转发服务器拓扑，或其它合适的服务器拓扑。
[0014]在一个实施例中，所述至少一个媒体服务器计算机使用路由拓扑，所述至少一个媒体服务器计算机使用选择性转发单元(SFU)拓扑，或使用中继NAT穿透(TURN)拓扑，或空
间分析媒体服务器拓扑(SAMS)，或其它一些多媒体服务器路由拓扑。
[0015]在一个实施例中，所述至少一个媒体服务器计算机使用媒体处理拓扑，所述至少一个媒体服务器计算机用于对所述传入数据执行一个或多个操作，包括：压缩、加密、重新加密、解密、解码、组合、改进、混合、提高、增强、计算、操纵或编码，或其组合。在进一步的实施例中，所述传入数据的组合是以马赛克的形式被执行，所述马赛克包括单独的瓦片，其中用户图形表示的各个多媒体流被流式传输。
[0016]在一个实施例中，所述至少一个媒体服务器计算机使用转发服务器拓扑，所述至少一个媒体服务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多媒体路由器系统，其特征在于，包括：至少一个媒体服务器计算机，所述至少一个媒体服务器计算机包括至少一个处理器和存储器，其中所述至少一个媒体服务器计算机被配置为：接收和分析传入数据，所述传入数据包括来自客户端设备的传入多媒体流；并且基于从所述客户端设备接收的所述传入数据，为各个客户端设备调整传出多媒体流，其中，所述传入多媒体流包括来自至少一个虚拟环境中的元素，并且其中，基于用户优先级数据和空间取向数据来为所述各个客户端设备调整所述传出多媒体流，所述空间取向数据描述在所述至少一个虚拟环境中的对应用户图形表示和所述传入多媒体流的源之间的空间关系。2.根据权利要求1所述的系统，其特征在于，所述至少一个虚拟环境托管在至少一个专用服务器计算机上，所述至少一个专用服务器计算机经由网络连接到所述至少一个媒体服务器计算机，或者所述至少一个虚拟环境托管在点对点的基础设施中，并且通过所述至少一个媒体服务器计算机被中继。3.根据权利要求1所述的系统，其特征在于，所述至少一个虚拟环境包括真实世界位置的虚拟副本，其中所述真实世界位置包括多个传感器，所述多个传感器向所述真实世界位置的所述虚拟副本提供进一步的数据。4.根据权利要求1所述的系统，其特征在于，所述至少一个媒体服务器计算机使用选择性转发单元(SFU)拓扑，或使用中继NAT穿透(TURN)拓扑，或空间分析媒体服务器拓扑(SAMS)。5.根据权利要求1所述的系统，其特征在于，所述至少一个媒体服务器计算机还被配置为以马赛克的形式组合所述传入数据，所述马赛克包括单独的瓦片，其中用户图形表示的各个多媒体流被流式传输。6.根据权利要求1所述的系统，其特征在于，所述至少一个媒体服务器计算机被配置为多点控制单元(MCU)、或云媒体混合器、或云3D渲染器。7.根据权利要求1所述的系统，其特征在于，所述至少一个媒体服务器计算机被配置为分析和处理每个客户端设备的所述传入数据，并确定用户优先级以及所述对应用户图形表示与所述传入多媒体流的所述源之间的所述空间关系。8.根据权利要求1所述的系统，其特征在于，调整所述传出多媒体流包括，优化所述一个或多个接收客户端设备的带宽和计算资源利用率。9.根据权利要求1所述的系统，其特征在于，调整所述传出多媒体流包括调整时间特征、空间特征、质量、或颜色特征、或其组合。10.一种多媒体路由方法，其特征在于，包括：至少一个媒体服务器计算机接收传入数据，所述传入数据包括来自多个客户端设备的传入多媒体流，其中，所述传入数据与用户优先级数据和空间取向数据相关联，所述空间取向数据描述在虚拟环境中的对应用户...

【专利技术属性】
技术研发人员：杰瓦特，
申请(专利权)人：明日基金知识产权有限公司，
类型：发明
国别省市：