媒体流的传输方法、装置与系统制造方法及图纸

本发明专利技术实施例涉及一种媒体流的传输方法、装置与系统。所述方法由接入终端执行，接入终端与云端服务器为接入终端分配的网络计算机之间建立了第一虚拟桌面架构VDI通道，所述方法包括：接入终端建立与网络计算机之间的实时协作通道；接入终端通过第一VDI通道向网络计算机发送用户输入的操作指令；接入终端接收网络计算机通过实时协作通道发送的实时协作消息；接入终端通过网络计算机与通信设备进行媒体协商以确定接入终端与通信设备之间用于传输媒体流的媒体属性参数，其中，接入终端与网络计算机之间通过实时协作通道传输用于媒体协商的信息；接入终端根据媒体协商所确定的媒体属性参数与通信设备相互传输媒体流。

【技术实现步骤摘要】
【国外来华专利技术】媒体流的传输方法、装置与系统
本专利技术涉及通讯
，尤其涉及一种媒体流的传输方法、装置与系统。
技术介绍
云计算(cloud computing),是一种互联网上的资源利用新方式,为用户依托互联网上异构、自治的服务进行按需即取的计算。当前的桌面云也为云计算定义中的一类云，桌面云将用户终端的桌面环境(即用户应用界面)通过云计算模式从物理机器中分离出来，成为一种可对外提供用户应用界面的服务；用户应用界面环境所需的计算、存储资源集中于中央服务器上，以取代终端的本地计算、存储资源；中央服务器的计算、存储资源同时也是共享的、可伸缩的，使得不同用户应用界面环境资源按需分配、交付，达到提升资源利用率，降低整体拥有成本的目的。瘦终端(Thin Client，简称:TC)是最常见的接入桌面云的设备，一般是一个内嵌了独立的嵌入式操作系统、可以通过各种协议连接到运行在服务器上的设备。如图1所示的现有技术中用户通过个人电脑(Personal Computer,简称:PC)或TC访问桌面云系统的示意图。在桌面云系统中，云端服务器上虚拟出多个虚拟机，又为网络计算机(NetworkComputer，简称:NC)，用户所需的应用运行在某一 NC内部。用户通过PC上的浏览器或者TC连接到云端服务器，云端服务器根据自身的调度策略分配一台NC给用户，TC/PC和NC之间会建立一条虚拟桌面架构(Virtualized Desktop Infrastructure,简称:VDI)通道,用来将NC内部的用户应用界面传递到TC/PC上显示，同时将TC/PC侧用户通过鼠标、键盘等设备输入的数据传递到NC。用户所需的应用、数据等全部存储在NC上，TC/PC仅仅相当于NC的“显示器”。进一步地，为了满足用户之间进行视音频通信的需求，现有技术的部署方案具体为:在音频通信时，通信的另一方发送的音频流到达NC时，NC先将接收的音频流解码为原始音频数据，然后压缩成VDI数据，通过VDI通道传到TC/PC，TC/PC解压缩VDI数据得到原始音频数据然后呈现给用户；视频通信时，视频流到达NC后，NC先解码，然后在NC的视频窗口中进行布局和渲染，NC再将整个用户应用界面通过VDI通道呈现在TC/PC。TC/PC获取本地的媒体流时，TC/PC将麦克风和摄像头获取的媒体流通过VDI通道传递到NC，NC解压缩VDI数据得到媒体流，然后编码传递到通信的另一方。因此，现有技术中媒体流的传输方案暴露出以下缺陷:1) NC上需要将媒体数据进行转换传输，转换传输的过程导致媒体流时延明显；2) TC/PC和NC之间要通过VDI通道传递媒体数据，增加TC/PC和NC之间的带宽占用，造成带宽的浪费。
技术实现思路
本专利技术提供了一种媒体流的传输方法、装置与系统，用以解决现有技术中NC上需要将媒体数据进行转换传输，导致媒体流时延明显，以及TC/PC和NC之间要通过VDI通道来回传递媒体流，增加TC/PC和NC之间的带宽占用，造成带宽的浪费的问题。在第一方面，本专利技术实施例提供了一种媒体流的传输方法，所述传输方法由接入终端执行，所述接入终端与云端服务器为所述接入终端分配的网络计算机之间建立了第一虚拟桌面架构VDI通道，所述方法包括:所述接入终端建立与所述网络计算机之间的实时协作通道；所述接入终端通过所述第一 VDI通道向所述网络计算机发送用户输入的操作指令；所述接入终端接收所述网络计算机通过所述实时协作通道发送的实时协作消息，其中，所述实时协作消息是所述网络计算机在确定所述操作指令是用于指示发起呼叫的操作指令时发送的，用于指示所述接入终端发起与所述通信设备之间的媒体协商；所述接入终端通过所述网络计算机与所述通信设备进行媒体协商以确定所述接入终端与所述通信设备之间用于传输媒体流的媒体属性参数，其中，所述接入终端与所述网络计算机之间通过所述实时协作通道传输用于所述媒体协商的信息；所述接入终端根据所述媒体协商所确定的所述媒体属性参数与所述通信设备相互传输媒体流。在第一种可能的实现方式中，所述接入终端建立与所述网络计算机之间的实时协作通道具体包括:所述接入终端通过网络套接字WebSocket服务器建立与所述网络计算机之间的WebSocket通道；或者，所述接入终端建立与所述网络计算机之间的第二 VDI通道；或者，所述接入终端通过所述接入终端的浏览器网络实时通信WebRTC应用中的数据信道机制，建立所述接入终端中的浏览器与所述网络计算机中的浏览器之间的点对点数据通道。结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述接入终端通过所述网络计算机与所述通信设备进行媒体协商以确定所述接入终端与所述通信设备之间用于传输媒体流的媒体属性参数，具体包括:所述接入终端获取所述接入终端所支持的第一媒体属性参数，所述第一媒体属性参数包括所述接入终端支持的媒体格式、以及用于接收媒体的IP地址和端口号；所述接入终端通过所述实时协作通道向所述网络计算机发送所述第一媒体属性参数，用于使所述网络计算机向被呼叫的通信设备发送携带所述第一媒体属性参数的连接请求消息；所述接入终端接收所述网络计算机通过所述实时协作通道发送的所述网络计算机接收自所述通信设备的第二媒体属性参数，所述第二媒体属性参数包括所述通信设备用于接收媒体的IP地址和端口号、以及所述通信设备根据所述第一媒体属性参数确定的所述接入终端和所述通信设备均支持的媒体格式；所述接入终端根据所述媒体协商所确定的所述媒体属性参数与所述通信设备相互传输媒体流，具体包括:所述接入终端通过所述通信设备用于接收媒体的IP地址和端口号向所述通信设备发送第一媒体，并接收所述通信设备通过所述接入终端用于接收媒体的IP地址和端口号发送的第二媒体；所述第一媒体和所述第二媒体均是采用所述第二媒体属性参数中包括的媒体格式进行编码的。结合第一方面或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述所述接入终端获取所述接入终端所支持的第一媒体属性参数具体包括:所述接入终端调用所述接入终端的浏览器应用程序编程接口 API中的新建对等连接接口函数；所述接入终端利用所述新建对等连接接口函数，生成对等连接接口，并利用所述对等连接接口中包括的创建请求函数，获取所述接入终端所支持的第一媒体属性参数。在第二方面，本专利技术实施例提供了一种媒体流的传输方法，所述方法由云端服务器为接入终端分配的网络计算机执行，所述网络计算机与所述接入终端之间建立了第一虚拟桌面架构VDI通道，所述方法包括:所述网络计算机建立与所述接入终端之间的实时协作通道；所述网络计算机接收所述接入终端通过所述第一 VDI通道发送的用户输入的操作指令；所述网络计算机在确定所述操作指令是用于指示发起呼叫的操作指令时，通过所述实时协作通道向所述接入终端发送实时协作消息，所述实时协作消息用于指示所述接入终端发起与所述通信设备之间的媒体协商；所述网络计算机转发用于在所述接入终端与所述通信设备之间进行媒体协商的信息，以使得所述接入终端和所述通信设备通过所述媒体协商确定所述接入终端与所述通信设备之间用于传输媒体流的媒体属性参数，以便于所述接入终端根据所述媒体协商所确定的所述媒体属性参数与所述通信设备相互传输媒体流；本文档来自技高网...

【技术保护点】
一种媒体流的传输方法，所述传输方法由接入终端执行，所述接入终端与云端服务器为所述接入终端分配的网络计算机之间建立了第一虚拟桌面架构VDI通道，其特征在于，所述方法包括：所述接入终端建立与所述网络计算机之间的实时协作通道；所述接入终端通过所述第一VDI通道向所述网络计算机发送用户输入的操作指令；所述接入终端接收所述网络计算机通过所述实时协作通道发送的实时协作消息，其中，所述实时协作消息是所述网络计算机在确定所述操作指令是用于指示发起呼叫的操作指令时发送的，用于指示所述接入终端发起与所述通信设备之间的媒体协商；所述接入终端通过所述网络计算机与所述通信设备进行媒体协商以确定所述接入终端与所述通信设备之间用于传输媒体流的媒体属性参数，其中，所述接入终端与所述网络计算机之间通过所述实时协作通道传输用于所述媒体协商的信息；所述接入终端根据所述媒体协商所确定的所述媒体属性参数与所述通信设备相互传输媒体流。

【技术特征摘要】
【国外来华专利技术】1.一种媒体流的传输方法，所述传输方法由接入终端执行，所述接入终端与云端服务器为所述接入终端分配的网络计算机之间建立了第一虚拟桌面架构VDI通道，其特征在于，所述方法包括: 所述接入终端建立与所述网络计算机之间的实时协作通道； 所述接入终端通过所述第一 VDI通道向所述网络计算机发送用户输入的操作指令； 所述接入终端接收所述网络计算机通过所述实时协作通道发送的实时协作消息，其中，所述实时协作消息是所述网络计算机在确定所述操作指令是用于指示发起呼叫的操作指令时发送的，用于指示所述接入终端发起与所述通信设备之间的媒体协商； 所述接入终端通过所述网络计算机与所述通信设备进行媒体协商以确定所述接入终端与所述通信设备之间用于传输媒体流的媒体属性参数，其中，所述接入终端与所述网络计算机之间通过所述实时协作通道传输用于所述媒体协商的信息； 所述接入终端根据所述媒体协商所确定的所述媒体属性参数与所述通信设备相互传输媒体流。2.根据权利要求1所述的媒体流的传输方法，其特征在于，所述接入终端建立与所述网络计算机之间的实时协作通道具体包括: 所述接入终端通过网络套接字WebSocket服务器建立与所述网络计算机之间的WebSocket通道；或者， 所述接入终端建立与所述网络计算机之间的第二 VDI通道；或者， 所述接入终端通过所述接入终端的浏览器网络实时通信WebRTC应用中的数据信道机制，建立所述接入终端中的浏览器与所述网络计算机中的浏览器之间的点对点数据通道。3.根据权利要求1或2所述的媒体流的传输方法，其特征在于，所述接入终端通过所述网络计算机与所述通信设备进行媒体协商以确定所述接入终端与所述通信设备之间用于传输媒体流的媒体属性参数，具体包括: 所述接入终端获取所述接入终端所支持的第一媒体属性参数，所述第一媒体属性参数包括所述接入终端支持的媒体格式、以及用于接收媒体的IP地址和端口号； 所述接入终端通过所述实时协作通道向所述网络计算机发送所述第一媒体属性参数，用于使所述网络计算机向被呼叫的通信设备发送携带所述第一媒体属性参数的连接请求消息； 所述接入终端接收所述网络计算机通过所述实时协作通道发送的所述网络计算机接收自所述通信设备的第二媒体属性参数，所述第二媒体属性参数包括所述通信设备用于接收媒体的IP地址和端口号、以及所述通信设备根据所述第一媒体属性参数确定的所述接入终端和所述通信设备均支持的媒体格式； 所述接入终端根据所述媒体协商所确定的所述媒体属性参数与所述通信设备相互传输媒体流，具体包括: 所述接入终端通过所述通信设备用于接收媒体的IP地址和端口号向所述通信设备发送第一媒体，并接收所述通信设备通过所述接入终端用于接收媒体的IP地址和端口号发送的第二媒体；所述第一媒体和所述第二媒体均是采用所述第二媒体属性参数中包括的媒体格式进行编码的。4.根据权利要求3所述的媒体流的传输方法，其特征在于，所述所述接入终端获取所述接入终端所支持的第一媒体属性参数具体包括: 所述接入终端调用所述接入终端的浏览器应用程序编程接口 API中的新建对等连接接口函数； 所述接入终端利用所述新建对等连接接口函数，生成对等连接接口，并利用所述对等连接接口中包括的创建请求函数，获取所述接入终端所支持的第一媒体属性参数。5.一种媒体流的传输方法，所述方法由云端服务器为接入终端分配的网络计算机执行，所述网络计算机与所述接入终端之间建立了第一虚拟桌面架构VDI通道，其特征在于，所述方法包括: 所述网络计算机建立与 所述接入终端之间的实时协作通道； 所述网络计算机接收所述接入终端通过所述第一 VDI通道发送的用户输入的操作指令； 所述网络计算机在确定所述操作指令是用于指示发起呼叫的操作指令时，通过所述实时协作通道向所述接入终端发送实时协作消息，所述实时协作消息用于指示所述接入终端发起与所述通信设备之间的媒体协商； 所述网络计算机转发用于在所述接入终端与所述通信设备之间进行媒体协商的信息，以使得所述接入终端和所述通信设备通过所述媒体协商确定所述接入终端与所述通信设备之间用于传输媒体流的媒体属性参数，以便于所述接入终端根据所述媒体协商所确定的所述媒体属性参数与所述通信设备相互传输媒体流；其中，所述网络计算机与所述接入终端之间通过所述实时协作通道传输用于进行所述媒体协商的信息。6.根据权利要求5所述的媒体流的传输方法，其特征在于，所述网络计算机建立与所述接入终端之间的实时协作通道具体包括: 所述网络计算机通过网络套接字WebSocket服务器建立与所述接入终端之间的WebSocket通道；或者， 所述网络计算机建立与所述接入终端之间的第二 VDI通道；或者， 所述网络计算机通过所述网络计算机的浏览器网络实时通信WebRTC应用中的数据信道机制，建立所述网络计算机中的浏览器与所述接入终端中的浏览器之间的点对点数据通道。7.根据权利要求5或6所述的媒体流的传输方法，其特征在于，所述网络计算机转发用于在所述接入终端与所述通信设备之间进行媒体协商的信息，以使得所述接入终端和所述通信设备通过所述媒体协商确定所述接入终端与所述通信设备之间用于传输媒体流的媒体属性参数，具体包括: 所述网络计算机接收所述接入终端通过所述实时协作通道发送的所述接入终端所支持的第一媒体属性参数，所述第一媒体属性参数包括所述接入终端支持的媒体格式、以及用于接收媒体的IP地址和端口号； 根据所述用户输入的用于指示发起呼叫的操作指令，所述网络计算机向所述通信设备发送连接请求消息，所述连接请求消息包括所述第一媒体属性参数； 所述网络计算机接收所述通信设备确定所述通信设备支持所述第一媒体属性参数时发送的连接应答消息，所述连接应答消息包括所述通信设备所支持的第二媒体属性参数，所述第二媒体属性参数包括所述通信设备用于接收媒体的IP地址和端口号、以及所述通信设备根据所述第一媒体属性参数确定的所述接入终端和所述通信设备均支持的媒体格式； 所述网络计算机通过所述实时协作通道向所述接入终端发送所述第二媒体属性参数，以便于所述接入终端通过所述通信设备用于接收媒体的IP地址和端口号向所述通信设备发送第一媒体，并接收所述通信设备通过所述接入终端用于接收媒体的IP地址和端口号发送的第二媒体；所述第一媒体和所述第二媒体均是采用所述第二媒体属性参数中包括的媒体格式进行编码的。8.根据权利要求7所述的媒体流的传输方法，其特征在于，所述根据所述操作指令，所述网络计算机向所述通信设备发送连接请求消息之前还包括: 所述网络计算机调用WebRTC信令消息协议栈； 利用所述信令消息协议栈，所述网络计算机对所述第一媒体属性参数进行封装处理，生成所述连接请求消息，所述连接请求消息包括所述第一媒体属性参数。9.一种媒体流的传输方法，所述传输方法由接入终端执行，所述接入终端与云端服务器为所述接入终端分配的网络计算机之间建立了第一虚拟桌面架构VDI通道，其特征在于，所述方法包括: 所述接入终端建立与所述网络计算机之间的实时协作通道； 所述接入终端接收所述网络计算机通过所述实时协作通道发送的实时协作消息，其中，所述实时协作消息是所述网络计算机在接收到通信设备发送的用于呼叫所述接入终端对应的用户的呼叫请求时发送的，所述实时协作消息包括所述网络计算机从所述呼叫请求中解析出的所述通信设备支持的第一媒体属性参数，用于指示所述接入终端根据所述通信设备支持的第一媒体属性参数与所述通信设备进行媒体协商； 所述接入终端通过所述网络计算机与所述通信设备进行媒体协商以确定所述接入终端与所述通信设备之间用于传输媒体流的媒体属性参数，其中，所述接入终端与所述网络计算机之间通过所述实时协作通道传输用于所述媒体协商的信息； 所述接入终端根据所述媒体协商所确定的媒体属性参数与所述通信设备相互传输媒体流。10.根据权利要求9所述的媒体流的传输方法，其特征在于，所述接入终端建立与所述网络计算机之间的实时协作通道具体包括: 所述接入终端通过网络套接字WebSocket服务器建立与所述网络计算机之间的WebSocket通道；或者， 所述接入终端建立与所述网络计算机之间的第二 VDI通道；或者， 所述接入终端通过所述接入终端的浏览器网络实时通信WebRTC应用中的数据信道机制，建立所述接入终端中的浏览器与所述网络计算机中的浏览器之间的点对点数据通道。11.根据权利要求9或10所述的媒体流的传输方法，其特征在于，所述第一媒体属性参数包括所述通信设备支持的媒体格式、以及用于接收媒体的IP地址和端口号； 所述接入终端通过所述网络计算机与所述通信设备进行媒体协商以确定所述接入终端与所述通信设备之间用于传输媒体流的媒体属性参数，具体包括: 所述接入终端根据所述第一媒体属性参数确定所述接入终端所支持的第二媒体属性参数，所述第二媒体属性参数包括所述接入终端用于接收媒体的IP地址和端口号、以及所述接入终端根据所述第一媒体属性参数确定的所述接入终端和所述通信设备均支持的媒体格式； 所述接入终端通过所述实时协作通道向所述网络计算机发送所述第二媒体属性参数，用于使所述网络计算机向所述通信设备转发所述第二媒体属性参数； 所述接入终端根据所述媒体协商所确定的媒体属性参数与所述通信设备相互传输媒体流，具体包括: 所述接入终端通过所述通信设备用于接收媒体的IP地址和端口号向所述通信设备发送第一媒体，并接收所述通信设备通过所述接入终端用于接收媒体的IP地址和端口号发送的第二媒体；所述第一媒体和所述第二媒体均是采用所述第二媒体属性参数中包括的媒体格式进行编码的。12.根据权利要求11所述的媒体流的传输方法，其特征在于，所述接入终端根据所述第一媒体属性参数确定所述第二媒体属性参数具体包括: 所述接入终端调用所述接入终端的浏览器应用程序编程接口 API中的新建对等连接接口函数； 所述接入终端利用所述新建对等连接接口函数，生成对等连接接口，并利用所述对等连接接口中包括的创建回复函数，获取所述第二媒体属性参数。13.一种媒体流的传输方法，所述方法由云端服务器为接入终端分配的网络计算机执行，所述网络计算机与所述接入终端之间建立了第一虚拟桌面架构VDI通道，其特征在于，所述方法包括: 所述网络计算机建立与所述接入终端之间的实时协作通道； 所述网络计算机接收通信设备发送的用于呼叫所述接入终端对应的用户的呼叫请求； 根据所述呼叫请求，所述网络计算机通过所述实时协作通道向所述接入终端发送实时协作消息，其中，所述实时协作消息包括所述网络计算机从所述呼叫请求中解析出的所述通信设备支持的第一媒体属性参数，用于指示所述接入终端根据所述通信设备支持的第一媒体属性参数与所述通信设备进行媒体协商； 所述网络计算机转发用于在所述接入终端与所述通信设备之间进行媒体协商的信息，以使得所述接入终端和所述通信设备通过所述媒体协商确定所述接入终端与所述通信设备之间用于传输媒体流的媒体属性参数，以便于所述接入终端根据所述媒体协商所确定的所述媒体属性参数与所述通信设备相互传输媒体流；其中，所述网络计算机与所述接入终端之间通过所述实时协作通道传输用于进行所述媒体协商的信息。14.根据权利要求13所述的媒体流的传输方法，其特征在于，所述网络计算机建立与所述接入终端之间的实时协作通道具体包括: 所述网络计算机通过网络套接字WebSocket服务器建立与所述接入终端之间的WebSocket通道；或者， 所述网络计算机建立与所述接入终端之间的第二 VDI通道；或者， 所述网络计算机通过所述网络计算机的浏览器网络实时通信WebRTC应用中的数据信道机制，建立所述网络计算机中的浏览器与所述接入终端中的浏览器之间的点对点数据通道。15.根据权利要求13或14所述的媒体流的传输方法，其特征在于，所述第一媒体属性参数包括所述通信设备支持的媒体格式、以及用于接收媒体的IP地址和端口号； 所述网络计算机转发用于在所述接入终端与所述通信设备之间进行媒体协商的信息，以使得所述接入终端和所述通信设备通过所述媒体协商确定所述接入终端与所述通信设备之间用于传输媒体流的媒体属性参数，具体包括: 所述网络计算机接收所述接入终端通过所述实时协作通道发送的第二媒体属性参数，所述第二媒体属性参数包括所述接入终端用于接收媒体的IP地址和端口号、以及所述接入终端根据所述第一媒体属性参数确定的所述接入终端和所述通信设备均支持的媒体格式； 所述网络计算机向所述通信设备转发所述第二媒体属性参数，以便于所述通信设备通过所述接入终端用于接收媒体的IP地址和端口号向所述接入终端发送第一媒体，并接收所述接入终端通过所述通信设备用于接收媒体的IP地址和端口号发送的第二媒体；所述第一媒体和所述第二媒体均是采用所述第二媒体属性参数中包括的媒体格式进行编码的。16.根据权利要求15所述的媒体流的传输方法，其特征在于，所述网络计算机向所述通信设备转发所述第二媒体属性参数之前还包括: 所述网络计算机调用WebRTC信令消息协议栈； 利用所述信令消息协议栈，所述网络计算机对所述第二媒体属性参数进行封装处理，生成呼叫响应； 所述网络计算机向所述通信设备发送所述呼叫响应，所述呼叫响应包括所述第二媒体属性参数。17.一种媒体流的传输装置，所述装置与云端服务器为所述装置分配的网络计算机之间建立了第一虚拟桌面架构VDI通道，其特征在于，所述装置包括: 协作通道建立单元，用于建立与所述网络计算机之间的实时协作通道；发送单元，用于通过所述第一 VDI通道向所述网络计算机发送用户输入的操作指...

【专利技术属性】
技术研发人员：徐明远，晏强，
申请(专利权)人：华为技术有限公司，
类型：
国别省市：