一种视频会议信号处理的方法、视频会议服务器及系统技术方案

本发明专利技术公开了一种视频会议信号处理的方法、视频会议服务器及系统。所述方法根据第一会场终端发送的选看指令将被选看会场的视频流发送给第一会场终端，并且判断第一会场终端当前播放的第一混合音频流是否包含被选看会场的音频流，若否，则生成第二混合音频流并发送给第一会场终端，其中第二混合音频流包含被选看会场对应的部分或者全部音频流，使得第一会场终端播放的音频流跟随视频流，这在一定程度上改善了音频和视频不同步的问题，增强了用户体验。

【技术实现步骤摘要】

本专利技术涉及通信
，具体涉及ー种视频会议信号处理的方法、视频会议服务器及系统。
技术介绍
目前，视频会议系统一般包括会议服务器和会场终端。參见图1，图I中以多点控制单元(MCU,Multipoint Control Unit)作为会议服务器为例。视频会议系统中的姆个会场均具有至少I个会场終端，各会场终端采集各自会场的声音、图像并编码发送给MCU ；MCU按照一定的处理方式对声音、图像进行处理，如声音混音、图像转发或组成多画面等处理，并将处理后的声音和图像发送给视讯会议中的其它会场終端，其它各会场终端解码输出远端会场的声音和图像，实现远程视频通信。 目前视频会议中MCU对音频混音处理的原则是将入会终端中音量最大的N个会场的音频进行混音，所有与会的终端听到的声音都是ー样的。但是，现在的视频会议系统有时存在下面ー些情況，某会场终端当前在观看会场A对应的视频，但是由于会场A的声音不在最大N方内，这样就听不到会场A的声音，即所看非所听，音频和视频之间的不匹配性将影响视频会议的体验。
技术实现思路
本专利技术实施例提供ー种视频会议信号处理的方法、视频会议服务器及系统，以改善视频会议中音频和视频的匹配性问题，使得会场听到的声音跟随会场看到的视频，提高视频会议体验。为了解决上述技术问题，本专利技术实施例提供以下技术方案实现。本专利技术实施例提供ー种视频会议信号处理的方法，包括会议服务器接收第一会场终端的会场选看指令；会议服务器根据会场选看指令向第一会场终端发送视频流；其中，视频流包括第一会场终端选看会场对应的视频流；若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则会议服务器生成第二混合音频流，井向第一会场终端发送所述第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。本专利技术实施例还提供一种视频会议服务器，包括接收模块，用于接收第一会场终端发送的会场选看指令，并将该指令分别传送给视频流发送模块和音频流发送模块；视频流发送模块，用于向第一会终端发送视频流，其中，视频流包括第一会场终端选看会场对应的视频流；音频流发送模块，用于若当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则生成第二混合音频流，并将该第二混合音频流发送给第一会场终端，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。本专利技术实施例还提供一种视频会议系统，包括会议服务器，用于接收第一会场终端发送的会场选看指令；向第一会场终发送第一会场终端选看会场对应的视频流；若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则生成第二混合音频流，井向第一会场终端发送所述第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流；第一会场终端，用于向会议服务器发送会场选看指令；接收来自会议服务器的第一会场终端选看会场对应的视频流和第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流；播放视频流和第二混合音频流。由上可知，由于在向第一会场终端发送的第二混合音频流中加入了第一会场终端 选看的部分或者全部会场的音频流，这在一定程度上改善了音频和视频不同步的问题，增强了用户体验。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图I是现有技术的一种视频会议系统不意图；图2是本专利技术实施例提供的ー种视频会议信号处理方法的流程示意图；图3是本专利技术实施例提供的ー种视频会议信号处理方法的第一类应用场景示意图；图4是本专利技术实施例提供的ー种视频会议信号处理方法的第二类应用场景示意图；图5是本专利技术实施例提供的一种会议服务器的结构示意图；图6是本专利技术实施例提供的另ー种会议服务器的结构示意图；图7是本专利技术实施例提供的一种视频会议系统的结构示意图。具体实施例方式本专利技术实施例提供ー种视频会议信号处理的方法、视频会议服务器及系统，以期增强视频会议中音视频的匹配性，提高视频会议体验。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供ー种视频会议信号处理的方法，包括会议服务器接收第一会场终端发送的会场选看指令；会议服务器根据会场选看指令向第一会场终端发送视频流；其中，视频流包括第一会场终端选看会场对应的视频流；若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则会议服务器生成第二混合音频流，并向第一会场终端发送所述第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。由上可见，本实施例由于在第一会场终端当前播放的音频流中加入了选择观看会场对应的部分或者全部音频流，使得第一会场终端播放的音频流跟随视频流，这在一定程度上改善了音频和视频不同步的问题，增强了用户体验。本专利技术实施例还提供一种频会议信号处理的方法，参见图2，该方法包括以下内容S101、会议服务器接收第一会场终端发送的选看NI个会场的指令； 其中，第一会场发送的会场选看指令包括选看一个会场的指令和选看多个会场的指令，第一会场终端可以是PC机、手机等通讯终端；N1为大于或者等于I的任意整数。S102、会议服务器根据选看NI个会场的指令向第一会场终端发送视频流；其中，视频流包括第一会场终端选看的NI个会场对应的视频流；会议服务器向第一会场终端发送视频流之前可以通过内置的视频处理策略对视频流进行拼接处理，然后再将拼接视频流发送给第一会场终端。S103、若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则会议服务器生成第二混合音频流，并向第一会场终端发送该第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。需要说明的是，在第一会场终端发出选看指令之前，第一会场终端播放的为第一混合音频流，在第一会场终端发出选看指令后，会议服务器判断当前播放的第一混合音频流中是否包含被选看会场对应的音频流，若没有，则会议服务器向第一会场终端发送包含部分或者全部被选看会场对应的音频流的第二混合音频流，若第一会场终端包含被选看会场对应的音频流，则不需要重新发送第二混合音频流。若第一会场终端向会议服务器发送选看一个会场的指令，会议服务器将第二混合音频流中包含的音频流放在同一声道中传输给第一会场终端，或者，会议服务器将第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它音频流分别放在不同的声道中传输给第一会场终端；若第一会场终端向会议服务器发送选看多个会场的指令，会议服务器将包含被选看的多个会场中音量最大的N4个会场的音频流的第二混合音频流发送给第一会场终端，会议服务器也可以将被选看会场中音量最大的本文档来自技高网...

【技术保护点】
一种视频会议信号处理的方法，其特征在于，包括：会议服务器接收第一会场终端的会场选看指令；会议服务器根据会场选看指令向第一会场终端发送视频流；其中，视频流包括第一会场终端选看会场对应的视频流；若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则会议服务器生成第二混合音频流，并向第一会场终端发送所述第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。

【技术特征摘要】
1.ー种视频会议信号处理的方法，其特征在于，包括会议服务器接收第一会场终端的会场选看指令；会议服务器根据会场选看指令向第一会场终端发送视频流；其中，视频流包括第一会场终端选看会场对应的视频流；若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则会议服务器生成第二混合音频流，井向第一会场终端发送所述第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。2.根据权利要求I所述的方法，其特征在干，所述会议服务器生成第二混合音频流，包括会议服务器将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流进行混音处理，得到第二混合音频流，其中N4小于或者等于NI ；或者，会议服务器将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N2个会场对应的N2个音频流进行混音处理，得到第二混合音频流；其中，N4小于或者等于NI，第一混合音频流由N3个音频流进行混音处理得到，N4加N2等于N3 ；或者，会议服务器将第一音频流集合中的音频流进行混音处理，得到第二混合音频流，其中，第一音频流集合包括第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和混音处理得到的第一混合音频流的N3个音频流，其中N4小于或者等于NI ;或者，第一音频流集合包括第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N3个会场对应的N3个音频流，其中N4小于或者等于NI。3.根据权利要求2所述的方法，其特征在于，所述方法还包括所述会议服务器将第二混合音频流中包含的音频流放在同一声道中传输给第一会场终端；或者，所述会议服务器将第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它的音频流分别放在不同声道中传输给第一会场终端。4.根据权利要求2所述的方法，其特征在干，所述会议服务器生成第二混合音频流具体为会议服务器获取第一会场终端选看的NI个会场中音量最大N4个会场对应的N4个音频流和入会会场中音量最大的N2个会场对应的N2个音频流，增大获取的音量最大的N4个会场中的一个或者多个会场对应的音频流的増益或者减小获取的入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流的増益，或者同时增大获取的N4个会场中的一个或者多个会场对应的音频流的増益和减小获取的入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流的増益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N2个会场对应的声音，其中N4小于或者等于NI，将获取的N4个会场对应的N4个音频流，和获取的N2个会场对应的N2个音频流进行混音处理，得到第二混合音频流；或者，会议服务器获取第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流和第一混合音频流对应的N3个音频流，增大获取的音量最大的N4个会场中的ー个或者多个会场对应的音频流的増益或者减小获取的第一混合音频流对应的N3个会场中的一个或者多个会场对应的音频流的増益，或者同时增大获取的音量最大的N4个会场中的一个或者多个会场对应的音频流的増益和减小获取的第一混合音频流对应的N3个会场中的一个或者多个会场对应的音频流的増益，使得第一会场终端选择观看会场的声音大于第一混合音频流对应的N3个音频流的声音，其中N4小于或者等于NI，将获取的N4个会场对应的N4个音频流，和获取的第一混合音频流对应的N3个音频流进行混音处理，得到第二混合音频流；或者，会议服务器获取第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流和入会会场中音量最大的N3个会场对应的N3个音频流，增大获取的音量最大的N4个会场中的一个或者多个会场对应的音频流的増益或者减小获取的入会会场中音量最大的N3个会场中的一个或者多个会场对应的音频流的増益，或者同时增大获取的N4个会场中的一个或者多个会场对应的音频流的増益和减小获取的N3个会场中的一个或者多个会场对应的音频流的増益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N3个会场对应的声音，其中N4小于或者等于NI，将获取的N4个会场对应的N4个音频流，和入会会场中音量最大的N3个会场对应的N3个音频流进行混音处理，得到第二混合音频流。5.根据权利要求4所述的方法，其特征在干，播放的第二混合音频流中第一会场终端选择观看的NI个会场中音量最大的N4个会场对应的声音为第二混合音频流中其它声音的I. 2—1. 5 倍。6.一种视频会议服务器，其特征在于，包括接收模块，用于接收第一会场终端发送的会场选看指令，并将该指令分别传送给视频流发送模块和音频流发送模块；视频流发送模块，用于向第一会终端发送视频流，其中，视频流包括第一会场终端选看会场对应的视频流；音频流发送模块，用于若当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则生成第二混合音频流，并将该第二混合音频流发送给第一会场终端，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。7.根据权利要求6所述的视频会议服务器，其特征在于，所述音频流发送模块生成第二混合首频流具体为音频流发送模块将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流进行混音处理，得到第二混合音频流，其中N4小于或者等于NI ；或者，音频流发送模块将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N2个会场对应的N2个音频流进行混音处理，得到第二混合音频流；其中，N4小于或者等于NI，第一混合音频流由N3个音频流进行混音处理得到，N4加N2等于N3 ；或者，音频流发送模块将第一音频流集合中的音频流进行混音处理，得到第二混合音频流，其中，第一音频流集合包括第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和混音处理得到的第一混合音频流的N3个音频流，其中N4小于或者等于NI ；或者，第一音频流集合包括第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N3个会场对应的N3个音频流，其中N4小于或者等于NI。8.根据权利要求7所述的视频会议服务器，其特征在干，所述音频流发送模块将生成的第二混合音频流中包含的音频流放在同一声道中传输给第一会场终端；或者， 所述音频流发送模块将生成的第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它的音频流分别放在不同声道中传输给第一会场终端。9.根据权利要求7所述的视频会议服务器，其特征在干，所述音频流发送模块进一歩包括获取模块、音频增益处理模块；所述获取模块，用于...

【专利技术属性】
技术研发人员：郑瑞琴，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：