一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种数据处理方法、装置、电子设备及存储介质，方法包括：对于接入同一视频会议的每一视频会议终端，该视频会议终端对自身当前采集到的音频信号进行编码，得到音频码流；该视频会议终端将音频码流发送给多个视频会议终端中除自身以外的每一参考视频会议终端；在该视频会议终端接收到由参考视频会议终端发送的参考音频码流时，对于每一参考音频码流，该视频会议终端对该参考音频码流进行解码，得到参考音频信号；若参考音频信号包括至少两个，则该视频会议终端对参考原始音频信号进行混音处理，得到混合音频信号；该视频会议终端播放混合音频信号。本申请能够无需配置MCU便实现视频会议的开展，从而降低了视频会议的前置成本。议的前置成本。议的前置成本。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及通信
，具体而言，涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]视频会议系统中，需要使用到多点控制器（Multipoint Control Unit，MCU）。MCU是一台多媒体信息交换机，用于进行多点呼叫和连接，实现视频广播、视频选择、音频混合、数据广播等功能，完成各终端之间信号的汇接与切换。具体的，参与同一视频会议的各个参会方（即终端）将本地的视频和音频进行编码，并将编码得到的音视频码流通过传输协议发送到MCU。MCU收到各参会方的音视频信号后，根据应用需求，对视频进行切换，将合适的视频发送到各参会方；以及，对收到的音频信号进行解码后，进行音频混音，将混合后的音频发送给各参会方。这样，各参会方可以看到其他参会方的视频，并同时听到各参会方的音频。
[0003]MCU功能很强大，一些性能超强的MCU甚至可以实现超过300路音视频的同时处理（即，实现超过300个终端参加同一视频会议）。然而，越是性能强大的MCU，造价就越高，对于大规模的视频会议，配置MCU是有实际意义的，但是对于小规模的视频会议，如3方会谈或5方会谈，配置一台MCU，便会极大的拉高视频会议的前置成本。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种数据处理方法、装置、电子设备及存储介质，能够无需配置MCU便实现视频会议的开展，从而降低了视频会议的前置成本。
[0005]第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：对于接入同一视频会议的多个视频会议终端中的每一所述视频会议终端，该视频会议终端对自身当前采集到的原始音频信号进行编码，得到音频码流；该视频会议终端将所述音频码流发送给所述多个视频会议终端中除自身以外的每一参考视频会议终端；在该视频会议终端接收到至少一个由所述参考视频会议终端发送的参考音频码流的情况下，对于每一所述参考音频码流，该视频会议终端对该参考音频码流进行解码，得到该参考音频码流对应的参考原始音频信号；若所述参考原始音频信号包括至少两个，则该视频会议终端对所述参考原始音频信号进行混音处理，得到混合音频信号；该视频会议终端播放所述混合音频信号。
[0006]在一种可能的实施方式中，在该视频会议终端对自身当前采集到的原始音频信号进行编码，得到音频码流之前，所述方法还包括：该视频会议终端判断所述原始音频信号的音量是否达到预设阈值；该视频会议终端对自身当前采集到的原始音频信号进行编码，得到音频码流，包
括：若所述原始音频信号的音量达到所述预设阈值，则该视频会议终端对所述原始音频信号进行编码，得到所述音频码流。
[0007]在一种可能的实施方式中，每一所述视频会议终端均设置有优先级；当所述参考原始音频信号的数量超过预设数量时，所述预设数量大于2，该视频会议终端对所述参考原始音频信号进行混音处理，得到混合音频信号，包括：该视频会议终端对目标参考原始音频信号进行混音处理，得到所述混合音频信号，其中，所述目标参考原始音频信号包括：第一目标参考原始音频信号，第二目标参考原始音频信号，所述第一目标参考原始音频信号为音量较高的所述预设数量减一的参考原始音频信号，所述第二目标参考原始音频信号为全部所述参考原始音频信号中除所述第一目标参考原始音频信号以外优先级最高的参考原始音频信号，对于每一所述参考原始音频信号，该参考原始音频信号对应的优先级为将该参考原始音频信号对应的参考音频码流发送给该视频会议终端的参考视频会议终端的优先级。
[0008]在一种可能的实施方式中，对于每两个对应的优先级不同的目标参考原始音频信号，第三目标参考原始音频信号在进行混音时所占的权重大于第四目标参考原始音频信号在进行混音时所占的权重，其中，所述第三目标参考原始音频信号为该两个对应的优先级不同的目标参考原始音频信号中对应的优先级较高的目标参考原始音频信号，所述第四目标参考原始音频信号为该两个对应的优先级不同的目标参考原始音频信号中对应的优先级较低的目标参考原始音频信号。
[0009]在一种可能的实施方式中，所述方法还包括：该视频会议终端对自身当前采集到的原始视频信号进行编码，得到视频码流；该视频会议终端将所述视频码流发送给每一所述参考视频会议终端；若该视频会议终端接收到至少一个由所述参考视频会议终端发送的参考视频码流，则对于每一所述参考视频码流，该视频会议终端对该参考视频码流进行解码，得到该参考视频码流对应的参考原始视频信号；该视频会议终端在自身的屏幕显示区域上为每一所述参考原始视频信号分配播放区域，其中，分配给目标参考原始视频信号的播放区域大于分配给候选参考原始视频信号的播放区域，所述目标参考原始视频信号为对应的优先级最高的参考原始视频信号，所述候选参考原始视频信号为全部所述参考原始视频信号中除所述目标参考原始视频信号以外的参考原始视频信号，对于每一所述参考原始视频信号，该参考原始视频信号对应的优先级为将该参考原始视频信号对应的参考视频码流发送给该视频会议终端的参考视频会议终端的优先级；对于每一所述参考原始视频信号，该视频会议终端在为该参考原始视频信号分配的播放区域上播放该参考原始视频信号。
[0010]第二方面，本申请实施例还提供了一种数据处理装置，所述装置包括：音频编码模块，用于对于接入同一视频会议的多个视频会议终端中的每一所述视频会议终端，对该视频会议终端当前采集到的原始音频信号进行编码，得到音频码流；音频发送模块，用于将所述音频码流发送给所述多个视频会议终端中除该视频会议终端以外的每一参考视频会议终端；
音频解码模块，用于在该视频会议终端接收到至少一个由所述参考视频会议终端发送的参考音频码流的情况下，对于每一所述参考音频码流，对该参考音频码流进行解码，得到该参考音频码流对应的参考原始音频信号；混音模块，用于若所述参考原始音频信号包括至少两个，则对所述参考原始音频信号进行混音处理，得到混合音频信号；音频播放模块，用于播放所述混合音频信号。
[0011]在一种可能的实施方式中，所述装置还包括：判断模块，用于在所述音频编码模块对该视频会议终端当前采集到的原始音频信号进行编码，得到音频码流之前，判断所述原始音频信号的音量是否达到预设阈值；所述音频编码模块，具体用于：若所述原始音频信号的音量达到所述预设阈值，则对所述原始音频信号进行编码，得到所述音频码流。
[0012]在一种可能的实施方式中，每一所述视频会议终端均设置有优先级；当所述参考原始音频信号的数量超过预设数量时，所述预设数量大于2，所述混音模块，具体用于：对目标参考原始音频信号进行混音处理，得到所述混合音频信号，其中，所述目标参考原始音频信号包括：第一目标参考原始音频信号，第二目标参考原始音频信号，所述第一目标参考原始音频信号为音量较高的所述预设数量减一的参考原始音频信号，所述第二目标参考原始音频信号为全部所述参考原始音频信号中除所述第一目标参考原始音频信号以外优先级最高的参考原始音频信号，对于每一所述参考原始音频信号，该参考原始音频信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：对于接入同一视频会议的多个视频会议终端中的每一所述视频会议终端，该视频会议终端对自身当前采集到的原始音频信号进行编码，得到音频码流；该视频会议终端将所述音频码流发送给所述多个视频会议终端中除自身以外的每一参考视频会议终端；在该视频会议终端接收到至少一个由所述参考视频会议终端发送的参考音频码流的情况下，对于每一所述参考音频码流，该视频会议终端对该参考音频码流进行解码，得到该参考音频码流对应的参考原始音频信号；若所述参考原始音频信号包括至少两个，则该视频会议终端对所述参考原始音频信号进行混音处理，得到混合音频信号；该视频会议终端播放所述混合音频信号。2.根据权利要求1所述的数据处理方法，其特征在于，在该视频会议终端对自身当前采集到的原始音频信号进行编码，得到音频码流之前，所述方法还包括：该视频会议终端判断所述原始音频信号的音量是否达到预设阈值；该视频会议终端对自身当前采集到的原始音频信号进行编码，得到音频码流，包括：若所述原始音频信号的音量达到所述预设阈值，则该视频会议终端对所述原始音频信号进行编码，得到所述音频码流。3.根据权利要求1所述的数据处理方法，其特征在于，每一所述视频会议终端均设置有优先级；当所述参考原始音频信号的数量超过预设数量时，所述预设数量大于2，该视频会议终端对所述参考原始音频信号进行混音处理，得到混合音频信号，包括：该视频会议终端对目标参考原始音频信号进行混音处理，得到所述混合音频信号，其中，所述目标参考原始音频信号包括：第一目标参考原始音频信号，第二目标参考原始音频信号，所述第一目标参考原始音频信号为音量较高的所述预设数量减一的参考原始音频信号，所述第二目标参考原始音频信号为全部所述参考原始音频信号中除所述第一目标参考原始音频信号以外优先级最高的参考原始音频信号，对于每一所述参考原始音频信号，该参考原始音频信号对应的优先级为将该参考原始音频信号对应的参考音频码流发送给该视频会议终端的参考视频会议终端的优先级。4.根据权利要求3所述的数据处理方法，其特征在于，对于每两个对应的优先级不同的目标参考原始音频信号，第三目标参考原始音频信号在进行混音时所占的权重大于第四目标参考原始音频信号在进行混音时所占的权重，其中，所述第三目标参考原始音频信号为该两个对应的优先级不同的目标参考原始音频信号中对应的优先级较高的目标参考原始音频信号，所述第四目标参考原始音频信号为该两个对应的优先级不同的目标参考原始音频信号中对应的优先级较低的目标参考原始音频信号。5.根据权利要求3所述的数据处理方法，其特征在于，所述方法还包括：该视频会议终端对自身当前采集到的原始视频信号进行编码，得到视频码流；该视频会议终端将所述视频码流发送给每一所述参考视频会议终端；若该视频会议终端接收到至少一个由所述参考视频会议终端发送的参考视频码流，则对于每一所述参考视频码流，该视频会议终端对该参考视频码流进行解码，得到该参考视频码流对应的参考原始视频信号；
该视频会议终端在自身的屏幕显示区域上为每一所述参考原始视频信号...

【专利技术属性】
技术研发人员：袁磊，赵卫东，王守帅，
申请(专利权)人：北京威泰视信科技有限公司，
类型：发明
国别省市：