多方视频通话方法及系统技术方案

本发明专利技术提供了一种多方视频通话方法及系统，针对多方视频通话场景中视频流的传输方式做出改进，优化了视频传输的策略，使得视频通话的各方与网络协议服务器构成的系统在视频流分发上根据实际网络情况达到一个最优的平衡，以尽可能地实现视频的点对点传输和尽可能高地传输高质量的视频，改善了在现网环境中多方视频通话时的视频质量。视频通话客户端优先点对点发送，也即优先占用客户端的上行带宽，而不是网络协议服务器的带宽，可以更好地提升网络协议服务器的带宽的利用效率，从而提升整个大系统的效率，让网络协议服务器可以尽可能多地同时服务其他的通话。

Multi party video calling method and system

The invention provides a multi-party video communication method and system for multi-party video call transmission of video stream in the scene to make improvements, optimize the video transmission strategy, system structure and network protocol server makes all video call flow distribution according to the actual situation of the network to achieve an optimal balance in the video, to to realize point-to-point transmission and as high as possible to transmit high quality video as much as possible, improve the multi-party video call in the network environment in the video quality. Video call client priority point to send, namely the uplink bandwidth priority to occupy the client, rather than the network protocol server bandwidth utilization efficiency can promote the network protocol server bandwidth, so as to enhance the efficiency of the whole system, let the network protocol server can be as much as possible other services call at the same time.

【技术实现步骤摘要】

本专利技术涉及多方视频通话
，尤其涉及一种改进的多方视频通话方法及系统。
技术介绍
随着通讯网络的发展，可实现多方同时通话的多方视频通话的需求越来越多。在多方视频通话场景中，任何一方都要将本地采集的视频分别发给另外的多个通话对端。为方便描述，以下以三方视频通话场景为例进行说明。参考图1，现有三方通话系统中视频流的传输方式。客户端一、客户端二、客户端三为视频通话的三方，在三方通话系统中通话建立后，客户端一可以同时看到客户端二和客户端三的视频；客户端二可以同时看到客户端一和客户端三的视频；客户端三可以同时看到客户端一和客户端二的视频。视频流建立过程的细节（如何发现对端用于接收视频流的IP地址和PORT；如何通知网络协议服务器开启代理视频流的服务端口；如何知道网络协议服务器用于代理视频流的IP地址与端口等）遵循业界现有的实现方式，此处不再赘述。在三方通话系统中通话建立后，视频流的传输方式如下：1）客户端一和客户端二之间可以直接通过路由直达，所以客户端一的视频可以通过网络（Internet）发送给客户端二(视频流一)；客户端二的视频也可以直接发送给客户端一（视频流三）。2）客户端二和客户端三之间因为NAT（NetworkAddressTranslation，网络地址转换）的原因不能直接传送视频流给对方，因此需要网络协议服务器（TURNServer）做代理。即：客户端二先将视频发送给网络协议服务器(视频流四)，由网络协议服务器再发送给客户端三；客户端三先将视频流发送给网络协议服务器（视频流五），由网络协议服务器在发送给客户端二。TurnServer是一个TURN（TraversalUsingRelayNAT，即通过Relay方式穿越NAT）协议的开源实现，该协议允许一个客户端以Relay方式获得IP地址和端口。因为网络协议服务器采用全球唯一的IP地址，所以网络协议服务器和客户端一、客户端二、客户端三中的任何一方都可以直接发送视频。网络协议服务器的工作原理参考现有的实现方式，此处不再赘述。3）客户端一和客户端三之间的视频流二、六与客户端二与客户端三之间的视频流类似，都要经过网络协议服务器中转。现有三方通话系统中视频流的传输方式存在的问题是：在典型的三方视频通话场景中，任何一方都要将本地采集的视频分别发给另外的两个通话对端，无论是直接发送还是通过网络协议服务器代理。而在国内的网络环境中，运营商提供给一般家庭用户的宽带上、下行带宽一般是不对称的；因ISP（InternetServiceProvider，互联网服务提供商）不一样，一般家庭用户的上行带宽一般是512kps、1Mbps、4Mbps、10Mbps中的一种。绝大部分用户是1Mbps、4Mbps，而且上行带宽在高峰时段往往达不到这个值。以720P分辨率的视频流为例，采用目前主流的H.264编码技术需要的带宽在1Mbps~4Mbps之间；在实际使用中一般采用降低图像清晰度(分辨率)的方式，来降低应用对传输带宽的要求，从而使视频通话的各方能够观看到流畅的视频，这种方式降低了视频质量。因此，需要对多方视频通话场景中视频流的传输方式做出改进，以改善在现网环境中多方视频通话时的视频质量。
技术实现思路
本专利技术的目的在于提供一种多方视频通话方法及系统，以改善在现网环境中多方视频通话时的视频质量。为了实现上述目的，本专利技术提供了一种多方视频通话方法，包括以下步骤：（1）视频发送客户端开始发送待发送视频之前，根据同时通话的视频接收客户端个数若判定n=1时，所述视频发送客户端将待所述发送视频直接发送给所述视频接收客户端，若判定n>1，则执行步骤（2），其中，n为需要发送的视频份数；（2）判断b*n是否小于等于m，若判定b*n<=m，则所述视频发送客户端将所述待发送视频直接发送给所述视频接收客户端，否则执行步骤（3），其中，b为所述待发送视频所占的带宽、m为所述视频发送客户端所在网络的上行带宽；（3）判定b*n>m时，计算k=m/b取整数，所述视频发送客户端任取所述需要发送的视频份数中的k-1份并将所述待发送视频直接发送给k-1个相应的视频接收客户端，同时所述视频发送客户端发送1份所述待发送视频给网络协议服务器，并且通知所述网络协议服务器将所述待发送视频转发给另外n-k+1个相应的视频接收客户端。为了实现上述目的，本专利技术还提供了一种多方视频通话系统，包括视频发送客户端、视频接收客户端以及网络协议服务器，所述视频发送客户端进一步包括视频发送模块，所述视频发送模块用于在所述视频发送客户端开始发送待发送视频之前，根据同时通话的视频接收客户端个数若判定n=1时，所述视频发送客户端将所述待发送视频直接发送给所述视频接收客户端；若判定n>1，则进一步判断b*n是否小于等于m，若判定b*n<=m，则所述视频发送客户端将所述待发送视频直接发送给所述视频接收客户端，若判定b*n>m时，计算k=m/b取整数，所述视频发送客户端任取所述需要发送的视频份数中的k-1份并将所述待发送视频直接发送给k-1个相应的视频接收客户端，同时所述视频发送客户端发送1份所述待发送视频给网络协议服务器，并且通知所述网络协议服务器将所述待发送视频转发给另外n-k+1个相应的视频接收客户端，其中，n为需要发送的视频份数，b为所述待发送视频所占的带宽、m为所述视频发送客户端所在网络的上行带宽。本专利技术的优点在于，本专利技术针对多方视频通话场景中视频流的传输方式做出改进，通过改进视频通话客户端，优化视频传输的策略，使得视频通话的各方与网络协议服务器构成的系统在视频流分发上根据实际网络情况达到一个最优的平衡，以尽可能地实现视频的点对点传输和尽可能高地传输高质量的视频，改善了在现网环境中多方视频通话时的视频质量。当视频质量越高，视频通话客户端直接发送的视频流份数越少，需要网络协议服务器代理的视频流就越多。所以在多方视频通话时，理论上可以将视频质量提升至本方上行带宽的程度，而不是现有系统中的和本方同时通话的所有对端平分上行带宽。视频通话客户端优先点对点发送，也即优先占用客户端的上行带宽，而不是网络协议服务器的带宽，可以更好地提升网络协议服务器的带宽的利用效率，从而提升整个大系统的效率，让网络协议服务器可以尽可能多地同时服务其他的通话。附图说明图1现有三方通话系统中视频流的传输方式；图2本专利技术一实施例所述的多方视频通话方法的流程图。具体实施方式下面结合附图对本专利技术提供的多方视频通话方法及系统做详细说明。参考图2，本专利技术一实施例所述的路由器长连接服务监控方法的流程图。所述方法包括以下步骤：S21：视频发送客户端开始发送待发送视频之前，根据同时通话的视频接收客户端个数若判定n=1时，所述视频发送客户端将待所述发送视频直接发送给所述视频接收客户端，若判定n>1，则执行步骤S22，其中，n为需要发送的视频份数；S22：判断b*n是否小于等于m，若判定b*n<=m，则所述视频发送客户端将所述待发送视频直接发送给所述视频接收客户端，否则执行步骤S23，其中，b为所述待发送视频所占的带宽、m为所述视频发送客户端所在网络的上行带宽；S23：判定b*n>m时，计算k=m/b取整数，所述视频发本文档来自技高网...

【技术保护点】
一种多方视频通话方法，其特征在于，包括以下步骤：（1）视频发送客户端开始发送待发送视频之前，根据同时通话的视频接收客户端个数若判定n=1时，所述视频发送客户端将待所述发送视频直接发送给所述视频接收客户端，若判定n>1，则执行步骤（2），其中，n为需要发送的视频份数；（2）判断b*n 是否小于等于m，若判定b*n <= m，则所述视频发送客户端将所述待发送视频直接发送给所述视频接收客户端，否则执行步骤（3），其中，b为所述待发送视频所占的带宽、m为所述视频发送客户端所在网络的上行带宽；（3）判定b*n > m时，计算k=m/b 取整数，所述视频发送客户端任取所述需要发送的视频份数中的k‑1份并将所述待发送视频直接发送给k‑1个相应的视频接收客户端，同时所述视频发送客户端发送1份所述待发送视频给网络协议服务器，并且通知所述网络协议服务器将所述待发送视频转发给另外n‑k+1个相应的视频接收客户端。

【技术特征摘要】
1.一种多方视频通话方法，其特征在于，包括以下步骤：（1）视频发送客户端开始发送待发送视频之前，根据同时通话的视频接收客户端个数若判定n=1时，所述视频发送客户端将待所述发送视频直接发送给所述视频接收客户端，若判定n>1，则执行步骤（2），其中，n为需要发送的视频份数；（2）判断b*n是否小于等于m，若判定b*n<=m，则所述视频发送客户端将所述待发送视频直接发送给所述视频接收客户端，否则执行步骤（3），其中，b为所述待发送视频所占的带宽、m为所述视频发送客户端所在网络的上行带宽；（3）判定b*n>m时，计算k=m/b取整数，所述视频发送客户端任取所述需要发送的视频份数中的k-1份并将所述待发送视频直接发送给k-1个相应的视频接收客户端，同时所述视频发送客户端发送1份所述待发送视频给网络协议服务器，并且通知所述网络协议服务器将所述待发送视频转发给另外n-k+1个相应的视频接收客户端。2.根据权利要求1所述的方法，其特征在于，步骤（1）之前进一步包括：在所述视频发送客户端启动时，执行上行带宽测速，并将结果保存在所述视频发送客户端中。3.根据权利要求2所述的方法，其特征在于，所述上行带宽测速进一步采用：所述视频发送客户端向所述网络协议服务器发送预设字节数的数据，并接收所述网络协议服务器根据接收的字节数和时间计算得到所述视频发送客户端的带宽后转发的所述视频发送客户端所在网络的上行带宽。4.根据权利要求1所述的方法，其特征在于，步骤（1）中进一步包括：所述视频发送客户端在发送所述待发送视频之前进行联通性检查，选择可用的IP地址和端口，之后将所述待发送视频发送给选定的IP地址和端口。5.根据权利要求1所述的方法，其特征在于，步骤（3）中通知所述网络协议服务器将所述待发送视频转发给另外n-k+1个相应的视频接收客户端进一步包括：（31）所述视频发送客户端发送开通接收端口命令报文给所述网络协议服务器；（32）接收所述网络协议服务器根据收到的所述命令报文所选用并回复的选用端口的端口号；（33）所述视频发送客户端收到所述选用端口的端口号后，将需要转发的视频接收客户端的转发地址列表发送给所述网络协议服务器；（34）接收所述网络协议服务器收到所述转发地址列表后回复的确认报文；（35）所述视频发送客户端开始发送所述待发送视频给所述网络协议服务器的所述端口号对应的端口。6.一种多方视频通话系统，其特征在于，包括视频发送客户端、视频接收客户端以及网络协议服务器，所述...

【专利技术属性】
技术研发人员：管建智，
申请(专利权)人：上海斐讯数据通信技术有限公司，
类型：发明
国别省市：上海;31