视频通信方法、装置、系统、服务器、客户端及存储介质制造方法及图纸

本申请实施例提供了视频通信方法、装置、系统、服务器、客户端及存储介质，该视频通信系统，包括：服务器及多个客户端；客户端用于，向服务器发送视频流和/或音频流，其中，视频流包括主视频流和/或辅视频流，辅视频流为操作演示的视频流；服务器用于，获取各客户端发送的数据流；将各客户端的数据流进行合并，并分别向各客户端发送合并后的数据流。通过本申请实施例的视频通信系统，客户端在视频通信过程的同时可以发送操作演示的视频流，从而满足视频会议多样性的需要。

【技术实现步骤摘要】
视频通信方法、装置、系统、服务器、客户端及存储介质
本申请涉及数据传输
，特别是涉及视频通信方法、装置、系统、服务器、客户端及存储介质。
技术介绍
随着互联网技术的发展，在线视频会议的应用也越来越频繁。相关技术中，在进行视频会议时，客户端会将摄像头采集到的图像数据及麦克风采集到的音频数据进行合并，然后发送给服务器，服务器将各客户端的数据流合并之后，分别发送给各客户端，从而实现视频会议通信。但是在上述通信过程中，客户端仅将摄像头采集到的图像数据及麦克风采集到的音频数据进行合并，然后发送给服务器，已经不能满足视频会议多样性的需要。
技术实现思路
本申请实施例的目的在于提供一种视频通信方法、装置、系统、服务器、客户端及存储介质，以实现在视频通信过程中同时发送操作演示的视频流，从而满足视频会议多样性的需要。具体技术方案如下：第一方面，本申请实施例提供了一种视频通信系统，所述系统包括：服务器及多个客户端；所述客户端用于，向所述服务器发送视频流和/或音频流，其中，所述视频流包括主视频流和/或辅视频流，所述辅视频流为操作演示的视频流；所述服务器用于，获取各所述客户端发送的数据流；将各所述客户端的数据流进行合并，并分别向各所述客户端发送合并后的数据流。可选的，所述将各所述客户端的数据流进行合并，并分别向各所述客户端发送合并后的数据流，包括：按照当前服务模式与预测输出码率的对应关系，分别确定针对各所述客户端的预测输出码率；按照所述当前服务模式与目标视频码率的对应关系，根据各所述预测输出码率，确定目标视频码率；按照所述目标视频码率对各所述客户端的数据流进行合并及编码，得到合成后的数据流；分别向各所述客户端发送所述合成后的数据流。可选的，所述按照当前服务模式与预测输出码率的对应关系，分别确定针对各所述客户端的预测输出码率，包括：确定当前服务模式对应的目标带宽预测算法，利用所述目标带宽预测算法，分别计算针对各所述客户端的预测输出码率；所述按照所述当前服务模式与目标视频码率的对应关系，根据各所述预测输出码率，确定目标视频码率，包括：确定所述当前服务模式对应的目标码率分配算法，按照各所述客户端的预测输出码率，利用所述目标码率分配算法，确定的目标视频码率；所述分别向各所述客户端发送所述合成后的数据流，包括：确定所述当前的服务模式对应的目标抗丢包算法及目标码流平滑算法，按照所述目标抗丢包算法及所述目标码流平滑算法，分别向各所述客户端发送所述合成后的数据流。可选的，所述服务模式包括实时优先模式及流畅优先模式；所述实时优先模式对应的码流平滑算法的最大抖动延时阈值，小于所述流畅优先模式对应的码流平滑算法的最大抖动延时阈值；所述实时优先模式对应的带宽预测算法的灵敏度，大于所述流畅优先模式对应的带宽预测算法的灵敏度；所述实时优先模式对应的抗丢包算法中丢包重传NACK的最大重传次数，小于所述流畅优先模式对应的抗丢包算法中NACK的最大重传次数。可选的，在所述当前的服务模式为所述实时优先模式时，所述目标抗丢包算法包括NACK及帧内向前纠错FEC算法；所述按照各所述客户端的预测输出码率，利用所述目标码率分配算法，确定的目标视频码率，包括：按照各所述客户端的预测输出码率，利用所述目标码率分配算法，分别确定各所述客户端对应的NACK重传码率的最大值、帧内FEC码率的最大值及视频码率；在各所述客户端的视频码率中，选取最小的视频码率，得到目标视频码率。可选的，所述服务器还用于：在所述当前的服务模式为所述实时优先模式时，当与指定客户端的往返时延大于预设时延阈值时，将针对所述指定客户端的NACK的最大重传次数设置为零。可选的，在所述当前的服务模式为所述流畅优先模式时，所述流畅优先模式对应的目标抗丢包算法包括NACK及FEC算法，所述FEC算法包括帧内FEC算法及跨帧FEC算法；所述按照各所述客户端的预测输出码率，利用所述目标码率分配算法，确定的目标视频码率，包括：按照各所述客户端的预测输出码率，利用所述目标码率分配算法，分别确定各所述客户端对应的NACK重传码率的最大值、FEC码率的最大值及视频码率；计算各所述客户端的视频码率的平均值，得到目标视频码率。可选的，所述客户端具体用于：按照当前服务模式与预测输出码率的对应关系，确定针对所述服务器的预测输出码率；按照所述当前服务模式与目标视频码率的对应关系，根据各所述预测输出码率，确定目标视频码率；按照所述目标视频码率，分别对主视频流及音频流进行编码，或分别对主视频流、辅视频流及音频流进行编码，得到各路编码后的码流；向所述服务器发送各所述编码后的码流。第二方面，本申请实施例提供了一种视频通信方法，所述方法包括：获取待发送的数据流，其中，所述数据流包括视频流和/或音频流；所述视频流包括主视频流和/或辅视频流，所述辅视频流为操作演示的视频流；发送所述数据流。可选的，所述发送所述数据流，包括：按照当前服务模式与预测输出码率的对应关系，确定针对接收端的预测输出码率；按照所述当前服务模式与目标视频码率的对应关系，根据所述预测输出码率，确定目标视频码率；按照所述目标视频码率，分别对每路数据流进行编码，得到各路编码后的码流；向所述接收端发送各所述编码后的码流。可选的，所述服务模式包括实时优先模式及流畅优先模式；所述实时优先模式对应的码流平滑算法的最大抖动延时阈值，小于所述流畅优先模式对应的码流平滑算法的最大抖动延时阈值；所述实时优先模式对应的带宽预测算法的灵敏度，大于所述流畅优先模式对应的带宽预测算法的灵敏度；所述实时优先模式对应的抗丢包算法中丢包重传NACK的最大重传次数，小于所述流畅优先模式对应的抗丢包算法中NACK的最大重传次数。可选的，在所述当前的服务模式为所述实时优先模式时，所述方法还包括：在与指定接收端的往返时延大于预设时延阈值时，将针对所述指定接收端的NACK的最大重传次数设置为零。可选的，本申请实施例的视频通信方法还包括：接收由指定客户端发送的视频流和/或音频流，其中，所述指定客户端为一个或多个客户端；播放接收到的各数据流。可选的，所述播放接收到的各数据流，包括：在接收到的音频流的路数大于1时，将各路音频流进行混音，并播放混音后的音频流；分别播放接收到的各路视频流。第三方面，本申请实施例提供了一种视频通信方法，应用于服务器，所述方法包括：获取各客户端发送的数据流；按照当前服务模式与预测输出码率的对应关系，分别确定针对各所述客户端的预测输出码率；按照所述当前服务模式与目标视频码率的对应关系，根据各所述预测输出码率，确定目标视频码率；按照所述目标视频码率对各所述客户端的数据流进行合并及编码，得到合成后的数据流；分别向各所述客户端发送所述合成后的数据本文档来自技高网...

【技术保护点】
1.一种视频通信系统，其特征在于，所述系统包括：/n服务器及多个客户端；/n所述客户端用于，向所述服务器发送视频流和/或音频流，其中，所述视频流包括主视频流和/或辅视频流，所述辅视频流为操作演示的视频流；/n所述服务器用于，获取各所述客户端发送的数据流；将各所述客户端的数据流进行合并，并分别向各所述客户端发送合并后的数据流。/n

【技术特征摘要】
1.一种视频通信系统，其特征在于，所述系统包括：
服务器及多个客户端；
所述客户端用于，向所述服务器发送视频流和/或音频流，其中，所述视频流包括主视频流和/或辅视频流，所述辅视频流为操作演示的视频流；
所述服务器用于，获取各所述客户端发送的数据流；将各所述客户端的数据流进行合并，并分别向各所述客户端发送合并后的数据流。


2.根据权利要求1所述的系统，其特征在于，所述将各所述客户端的数据流进行合并，并分别向各所述客户端发送合并后的数据流，包括：
按照当前服务模式与预测输出码率的对应关系，分别确定针对各所述客户端的预测输出码率；
按照所述当前服务模式与目标视频码率的对应关系，根据各所述预测输出码率，确定目标视频码率；
按照所述目标视频码率对各所述客户端的数据流进行合并及编码，得到合成后的数据流；
分别向各所述客户端发送所述合成后的数据流。


3.根据权利要求2所述的系统，其特征在于，所述按照当前服务模式与预测输出码率的对应关系，分别确定针对各所述客户端的预测输出码率，包括：
确定当前服务模式对应的目标带宽预测算法，利用所述目标带宽预测算法，分别计算针对各所述客户端的预测输出码率；
所述按照所述当前服务模式与目标视频码率的对应关系，根据各所述预测输出码率，确定目标视频码率，包括：
确定所述当前服务模式对应的目标码率分配算法，按照各所述客户端的预测输出码率，利用所述目标码率分配算法，确定的目标视频码率；
所述分别向各所述客户端发送所述合成后的数据流，包括：
确定所述当前的服务模式对应的目标抗丢包算法及目标码流平滑算法，按照所述目标抗丢包算法及所述目标码流平滑算法，分别向各所述客户端发送所述合成后的数据流。


4.根据权利要求3所述的系统，其特征在于，所述服务模式包括实时优先模式及流畅优先模式；所述实时优先模式对应的码流平滑算法的最大抖动延时阈值，小于所述流畅优先模式对应的码流平滑算法的最大抖动延时阈值；所述实时优先模式对应的带宽预测算法的灵敏度，大于所述流畅优先模式对应的带宽预测算法的灵敏度；所述实时优先模式对应的抗丢包算法中丢包重传NACK的最大重传次数，小于所述流畅优先模式对应的抗丢包算法中NACK的最大重传次数。


5.根据权利要求4所述的系统，其特征在于，在所述当前的服务模式为所述实时优先模式时，所述目标抗丢包算法包括NACK及帧内向前纠错FEC算法；所述按照各所述客户端的预测输出码率，利用所述目标码率分配算法，确定的目标视频码率，包括：
按照各所述客户端的预测输出码率，利用所述目标码率分配算法，分别确定各所述客户端对应的NACK重传码率的最大值、帧内FEC码率的最大值及视频码率；
在各所述客户端的视频码率中，选取最小的视频码率，得到目标视频码率。


6.根据权利要求5所述的系统，其特征在于，所述服务器还用于：在所述当前的服务模式为所述实时优先模式时，当与指定客户端的往返时延大于预设时延阈值时，将针对所述指定客户端的NACK的最大重传次数设置为零。


7.根据权利要求4所述的系统，其特征在于，在所述当前的服务模式为所述流畅优先模式时，所述流畅优先模式对应的目标抗丢包算法包括NACK及FEC算法，所述FEC算法包括帧内FEC算法及跨帧FEC算法；所述按照各所述客户端的预测输出码率，利用所述目标码率分配算法，确定的目标视频码率，包括：
按照各所述客户端的预测输出码率，利用所述目标码率分配算法，分别确定各所述客户端对应的NACK重传码率的最大值、FEC码率的最大值及视频码率；
计算各所述客户端的视频码率的平均值，得到目标视频码率。


8.根据权利要求1所述的系统，其特征在于，所述客户端具体用于：
按照当前服务模式与预测输出码率的对应关系，确定针对所述服务器的预测输出码率；
按照所述当前服务模式与目标视频码率的对应关系，根据各所述预测输出码率，确定目标视频码率；
按照所述目标视频码率，分别对主视频流及音频流进行编码，或分别对主视频流、辅视频流及音频流进行编码，得到各路编码后的码流；
向所述服务器发送各所述编码后的码流。


9.一种视频通信系统，其特征在于，所述系统包括：多个客户端；
所述客户端用于，向指定客户端发送所述客户端自身的视频流和/或音频流；在接收到所述指定客户端发送的视频流和/或音频流时，播放所述指定客户端发送的视频流和/或音频流，其中，所述指定客户端为所述多个客户端中的一个或多个，所述视频流包括主视频流和/或辅视频流，所述辅视频流为操作演示的视频流。


10.一种视频通信方法，其特征在于，所述方法包括：
获取待发送的数据流，其中，所述数据流包括视频流和/或音频流；所述视频流包括主视频流和/或辅视频流，所述辅视频流为操作演示的视频流；
发送所述数据流。


11.根据权利要求10所述的...

【专利技术属性】
技术研发人员：王兴鹤，辛安民，陈杰，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33