一种远程呈现方法、终端和系统技术方案

本发明专利技术公开了一种远程呈现方法、终端和系统，系统包括：远程呈现终端、多路音频和/或视频输入/输出设备、远端端点；远程呈现终端具有多路音、视频输入/输出接口，用于与远端端点建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；对多路音频输入设备和/或多路视频输入设备的输入码流编码，并基于建立的媒体逻辑通道，根据码流对应的输入/输出位置发送给远端端点，接收来自远端端点的多路音频和/或视频码流，进行解码并根据码流对应的输入/输出位置转给自身对应位置的音频输出设备和/或视频输出设备播放。通过本发明专利技术，解决了现有远程呈现系统的部署复杂、互通和码流同步等问题。

【技术实现步骤摘要】
一种远程呈现方法、终端和系统
本专利技术涉及远程呈现(telepresence)技术，尤其涉及一种远程呈现方法、终端和系统。
技术介绍
远程呈现是一种高级的远程视频会议系统。远程呈现以其真实的临场感深受高端用户的喜爱，在远程呈现系统中，听声辨位、真身大小、眼神交流直接关系到用户是否能够有身临其境的感受，因此是衡量远程呈现系统非常重要的技术指标。在传统视频会议系统中，一个视频会议终端除了辅流视频外，通常还具备以下功能：编码并发送一路音频和/或一路视频，接收并解码输出一路音频和/或视频。由于声音的输入源和输出只有一路，因此用户无法感受到声音是从会场的哪个方位发出。由于视频的输入源和输出只有一路，因此本端的采集编码画面需要捕捉会场整体画面；如果是多点会议，则只能选看某一会场或者多个远端会场的拼接画面，无论是发送还是接收的视频都无法达到真人大小的要求。而远程呈现系统要求的用户体验是有多路音、视频码流，提供各路音频的方位信息达到听声辨位；根据推算需要1∶1显示远端参会者的图像，则往往一个会场需要多路视频输入和多路视频输出。现有的一些远程呈现终端通过传统的视频会议终端集成而来，在单个会场部署多个视频会议终端，且每个视频会议终端可以分别连接有一个音、视频输入/输出设备，再通过音、视频输入/输出设备的部署组装技术，基本达到听声辨位和真人大小的效果。但是这种多个视频会议终端集成的方式(通常在单个会场部署多个视频会议终端，需要对每个视频会议终端分别进行呼叫)在解决单一会议号呼叫、码流同步等方面有较大困难；更重要的是，多个终端集成使得系统部署十分复杂，必须专业的集成和部署人员才能完成，使用过程中出现细微问题都必须有专业人员进行现场维护，从而给远程呈现这种高端应用的推广造成很大障碍。且由于部分视频会议终端的功能并未在集成系统中完全被使用，因此会造成一定程度上的资源浪费。另外，由于集成方案的复杂和非标准化，这种方案也造成了不同厂商部署的远程呈现系统之间要实现互通也变得极其困难。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种远程呈现方法、终端和系统，以解决现有远程呈现系统的部署复杂，且在解决单一会议号呼叫、码流同步方面存在较大困难的问题。为达到上述目的，本专利技术的技术方案是这样实现的：本专利技术提供了一种远程呈现系统，该系统包括：远程呈现终端，以及与所述远程呈现终端相连的多路音频输入/输出设备、和/或多路视频输入/输出设备，还包括与所述远程呈现终端互通的远端端点；所述远程呈现终端，具有多路音、视频输入/输出接口，连接所述多路音频输入/输出设备和/或多路视频输入/输出设备，用于与所述远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；还用于对所述多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并基于建立的媒体逻辑通道，根据所述码流对应的输入/输出位置发送给所述远端端点，接收来自所述远端端点的多路音频和/或视频码流，进行解码并根据所述码流对应的输入/输出位置转给自身对应位置的音频输出设备和/或视频输出设备进行播放；所述多路音频输入设备，用于将采集的音频数据输入所述远程呈现终端；所述多路视频输入设备，用于将采集的视频数据输入所述远程呈现终端；所述多路音频输出设备，用于将远程呈现终端解码所得的音频数据输出；所述多路视频输出设备，用于将远程呈现终端解码所得的视频数据输出；所述远端端点，用于与所述远程呈现终端进行多路音频和/或视频码流输入/输出位置信息交互和媒体能力协商，建立媒体逻辑通道，并基于建立的媒体逻辑通道与所述远程呈现终端进行音频和/或视频码流的交互。所述进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商包括：所述远程呈现终端向所述远端端点发送本端的能力集，其中包括本端的媒体编解码能力和本端远程呈现终端的音、视频码流输入/输出位置信息；接收所述远端端点的能力集，其中包括远端的媒体编解码能力和音、视频码流输入/输出位置信息。所述媒体逻辑通道包括发送通道和接收通道，其中，多路音频码流通过一个发送通道发送，并通过一个接收通道接收；和/或，多路视频码流通过一个发送通道发送，并通过一个接收通道接收；各路音频和/或视频码流通过数据包头信息进行区分，所述包头信息包括：码流类型、码流对应的输入位置信息和输出位置信息。所述媒体逻辑通道包括发送通道和接收通道，其中，多路音频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；和/或，多路视频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；不同的发送通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系；不同的接收通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系。所述远程呈现终端进一步用于，根据协商的媒体编解码能力，本端的发送地址和远端的接收地址，待建立通道对应的远端音频或视频码流输出位置信息，以及本端音频或视频码流输入位置信息，建立发送通道；根据协商的媒体编解码能力，远端的发送地址和本端的接收地址，待建立通道对应的远端音频或视频码流输入位置信息，以及本端的音频或视频码流输出位置信息，建立接收通道。所述远程呈现终端进一步用于，对发送和/或接收的多路音频和/或视频码流进行同步处理。所述远端端点为多点控制单元(MCU)或远端远程呈现终端。本专利技术还提供了一种远程呈现终端，具有多路音、视频输入/输出接口，用于连接多路音频输入/输出设备和/或多路视频输入/输出设备，该终端包括：协议信令处理模块、媒体编解码模块和媒体传送模块；其中，所述协议信令处理模块，用于与远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；所述媒体编解码模块，用于对所述多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并提供给所述媒体传送模块；对所述媒体传送模块提供的来自远端端点的音频和/或视频码流进行解码，并根据所述码流对应的输入/输出位置转给对应位置的音频输出设备和/或视频输出设备进行播放；所述媒体传送模块，用于将所述码流根据对应的输入/输出位置发送给所述远端端点；接收来自所述远端端点的音频和/或视频码流，根据所述码流对应的输入/输出位置，提供给所述媒体编解码模块进行解码。所述进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商包括：所述协议信令处理模块向所述远端端点发送本端远程呈现终端的能力集，其中包括本端的媒体编解码能力和本端远程呈现终端的音、视频码流输入/输出位置信息；接收所述远端端点的能力集，其中包括远端的媒体编解码能力和音、视频码流输入/输出位置信息。所述媒体逻辑通道包括发送通道和接收通道，其中，多路音频码流通过一个发送通道发送，并通过一个接收通道接收；和/或，多路视频码流通过一个发送通道发送，并通过一个接收通道接收；各路音频和/或视频码流通过数据包头信息进行区分，所述包头信息包括：码流类型、码流对应的输入位置信息和输出位置信息。所述媒体逻辑通道包括发送通道和接收通道，其中，多路音频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；和/或，多路视频码流分别通过不同的发送通道发送，并通过不同的接收通道接收本文档来自技高网...

【技术保护点】
一种远程呈现系统，其特征在于，该系统包括：远程呈现终端，以及与所述远程呈现终端相连的多路音频输入/输出设备、和/或多路视频输入/输出设备，还包括与所述远程呈现终端互通的远端端点；所述远程呈现终端，具有多路音、视频输入/输出接口，连接所述多路音频输入/输出设备和/或多路视频输入/输出设备，用于与所述远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；还用于对所述多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并基于建立的媒体逻辑通道，根据所述码流对应的输入/输出位置发送给所述远端端点，接收来自所述远端端点的多路音频和/或视频码流，进行解码并根据所述码流对应的输入/输出位置转给自身对应位置的音频输出设备和/或视频输出设备进行播放；所述多路音频输入设备，用于将采集的音频数据输入所述远程呈现终端；所述多路视频输入设备，用于将采集的视频数据输入所述远程呈现终端；所述多路音频输出设备，用于将远程呈现终端解码所得的音频数据输出；所述多路视频输出设备，用于将远程呈现终端解码所得的视频数据输出；所述远端端点，用于与所述远程呈现终端进行多路音频和/或视频码流输入/输出位置信息交互和媒体能力协商，建立媒体逻辑通道，并基于建立的媒体逻辑通道与所述远程呈现终端进行音频和/或视频码流的交互。...

【技术特征摘要】
1.一种远程呈现系统，其特征在于，该系统包括：远程呈现终端，以及与所述远程呈现终端相连的多路音频输入/输出设备、和/或多路视频输入/输出设备，还包括与所述远程呈现终端互通的远端端点；所述远程呈现终端，具有多路音、视频输入/输出接口，连接所述多路音频输入/输出设备和/或多路视频输入/输出设备，用于与所述远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；还用于对所述多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并基于建立的媒体逻辑通道，根据所述码流对应的输入/输出位置发送给所述远端端点，接收来自所述远端端点的多路音频和/或视频码流，进行解码并根据所述码流对应的输入/输出位置转给自身对应位置的音频输出设备和/或视频输出设备进行播放；所述多路音频输入设备，用于将采集的音频数据输入所述远程呈现终端；所述多路视频输入设备，用于将采集的视频数据输入所述远程呈现终端；所述多路音频输出设备，用于将远程呈现终端解码所得的音频数据输出；所述多路视频输出设备，用于将远程呈现终端解码所得的视频数据输出；所述远端端点，用于与所述远程呈现终端进行多路音频和/或视频码流输入/输出位置信息交互和媒体能力协商，建立媒体逻辑通道，并基于建立的媒体逻辑通道与所述远程呈现终端进行音频和/或视频码流的交互；所述进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商包括：所述远程呈现终端向所述远端端点发送本端的能力集，其中包括本端的媒体编解码能力和本端远程呈现终端的音、视频码流输入/输出位置信息；接收所述远端端点的能力集，其中包括远端的媒体编解码能力和音、视频码流输入/输出位置信息。2.根据权利要求1所述远程呈现系统，其特征在于，所述媒体逻辑通道包括发送通道和接收通道，其中，多路音频码流通过一个发送通道发送，并通过一个接收通道接收；和/或，多路视频码流通过一个发送通道发送，并通过一个接收通道接收；各路音频和/或视频码流通过数据包头信息进行区分，所述包头信息包括：码流类型、码流对应的输入位置信息和输出位置信息。3.根据权利要求1所述远程呈现系统，其特征在于，所述媒体逻辑通道包括发送通道和接收通道，其中，多路音频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；和/或，多路视频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；不同的发送通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系；不同的接收通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系。4.根据权利要求3所述远程呈现系统，其特征在于，所述远程呈现终端进一步用于，根据协商的媒体编解码能力，本端的发送地址和远端的接收地址，待建立通道对应的远端音频或视频码流输出位置信息，以及本端音频或视频码流输入位置信息，建立发送通道；根据协商的媒体编解码能力，远端的发送地址和本端的接收地址，待建立通道对应的远端音频或视频码流输入位置信息，以及本端的音频或视频码流输出位置信息，建立接收通道。5.根据权利要求1所述远程呈现系统，其特征在于，所述远程呈现终端进一步用于，对发送和/或接收的多路音频和/或视频码流进行同步处理。6.根据权利要求1至5任一项所述远程呈现系统，其特征在于，所述远端端点为多点控制单元(MCU)或远端远程呈现终端。7.一种远程呈现终端，其特征在于，具有多路音、视频输入/输出接口，用于连接多路音频输入/输出设备和/或多路视频输入/输出设备，该终端包括：协议信令处理模块、媒体编解码模块和媒体传送模块；其中，所述协议信令处理模块，用于与远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；所述进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商包括：所述协议信令处理模块向所述远端端点发送本端远程呈现终端的能力集，其中包括本端的媒体编解码能力和本端远程呈现终端的音、视频码流输入/输出位置信息；接收所述远端端点的能力集，其中包括远端的媒体编解码能力和音、视频码流输入/输出位置信息；所述媒体编解码模块，用于对所述多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并提供给所述媒体传送模块；对所述媒体传送模块提供的来自远端端点的音频和/或视频码流进行解码，并根据所述码流对应的输入/输出位置转给对应位置的音频输出设备和/或视频输出设备进行播...

【专利技术属性】
技术研发人员：叶小阳，王东，吴永明，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：