一种音频服务器混音方法、系统、存储介质及设备技术方案

本发明专利技术提供一种音频服务器混音方法、系统、存储介质及设备，应用于集中式混音服务器，所述方法包括：从多路音频信道接收与会者的语音包，将所述语音包解码为音频数据；检测所述音频数据中的声音活跃状态，将所述音频数据分为活跃状态组与非活跃状态组；丢弃所述非活跃状态组的音频数据；对所述活跃状态组的音频数据进行混音，形成混音数据包；将所述混音数据包分别对应于音频信道进行编码并发送给所述与会者。本发明专利技术的音频服务器混音方法、系统、存储介质及设备，解决了音频服务器带宽高、解码格式繁多复杂的问题，在提升语音效果的同时又降低了处理器的计算压力。

【技术实现步骤摘要】
一种音频服务器混音方法、系统、存储介质及设备
本专利技术涉及音频处理
，特别是涉及一种音频服务器混音方法、系统、存储介质及设备。
技术介绍
随着科技和全球化时代的发展，传统的面对面会议已经不能满足实际需要，越来越多的音视频会议正在被各大企业、组织所采用，以满足“人未到，会即开”的实际要求，大大节省了企业与个人的实际开支，提升了实时沟通效率，工作效率也随之得以一定程度的提高。但是在使用实时音视频通讯会议的时候，会议的参与人基本都在不同的地方入会，并且有些人会在会中发言，而有些人又在会中一直处于聆听状态不进行发言，对于每个都发言人需要接收除自己和聆听状态不进行发言的参会人以外的其他发言人的声音，聆听状态不进行发言的参会人要接收所有发言人的声音，假设在一个6人的群组实时音视频通讯会议中，其中5人处于发言状态1人处于聆听状态不进行发言，则如图2所示，每个箭头都代表一路音频流，可见每个发言人都要接收其他4个参会人的声音，对于聆听状态不进行发言的参会人则要接收5个发言人的声音。对于服务器而言仅仅5个发言人和聆听状态不进行发言的参会人，则需要5路上行音频流和25路下行音频流，服务器的压力很大。同时，对于现有的音频服务器而言，需要使用高带宽来转发倍数的音频流，这在材料与消耗上是一笔大的投入，并且使用现有的音频服务器，其实时的音视频通讯会议终端需要支持所以的解码格式，来应对多种音频流，此举在终端选择上增加了很多成本，不利于音视频会议系统的推广应用。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种音频服务器混音方法、系统、存储介质及设备，用于解决现有技术中音频服务器带宽高、解码格式繁多复杂的问题。为实现上述目的及其他相关目的，本专利技术公开了一种音频服务器混音方法，包括：从多路音频信道接收与会者的语音包，将所述语音包解码为音频数据；检测所述音频数据中的声音活跃状态，将所述音频数据分为活跃状态组与非活跃状态组；丢弃所述非活跃状态组的音频数据；对所述活跃状态组的音频数据进行混音，形成混音数据包；将所述混音数据包分别对应于音频信道进行编码并发送给所述与会者。本方案中，所述接收与会者的语音包包括：将接收到的语音包放入接收缓冲区，进行时间戳的比对，对超过预设时间到达的语音包进行丢弃处理。本方案中，对所述活跃状态组的音频数据进行混音包括：当所述活跃状态组的音频数据小于或等于n路时，对活跃状态组的全部音频数据进行混音；当所述活跃状态组的音频数据大于n路时，选择声音能量较大的n路音频数据进行混音；其中n为预设的大于1的自然数。本方案中，对所述活跃状态组的音频数据进行混音还包括：根据所述音频数据对应的音频信道是否参与上次混音，将所述活跃状态组的音频数据分为历史活跃语音和当前活跃语音，所述历史活跃语音为参与了上次混音的音频信道的音频数据，所述当前活跃语音为未参与上次混音的音频信道的音频数据；当所述活跃状态组的音频数据小于或等于n路时，对其中的当前活跃语音进行混音并进行淡入处理；当所述活跃状态组的音频数据大于n路时，对声音能量较大的n路音频数据中的当前活跃语音进行混音并进行淡入处理；对其它音频数据中的历史活跃语音进行混音并进行淡出处理，对其它音频数据中的当前活跃语音进行丢弃处理，不进行混音。本方案中，所述淡入处理是指音量从初始值逐步增大到正常值；所述淡出处理是指音量从正常值逐步减小到零。本方案中，音频服务器为集中式混音服务器，所述混音数据包包括帧大小和频率相同的语音帧。本方案中，将所述混音数据包分别对应于音频信道进行编码时，不同音频信道的编码格式不同。为实现上述目的及其他相关目的，本专利技术还提供一种音频服务器系统，所述系统包括：接收模块，从多路音频信道接收与会者的语音包，将所述语音包解码为音频数据；检测模块，检测所述音频数据中的声音活跃状态，将所述音频数据分为活跃状态组与非活跃状态组,丢弃所述非活跃状态组的音频数据；混音模块，对所述活跃状态组的音频数据进行混音，形成混音数据包；发送模块，用于将所述混音数据包分别对应于音频信道进行编码并发送给所述与会者。其中，所述混音数据包包括帧大小和频率相同的语音帧。为实现上述目的及其他相关目的，本专利技术提供一种上述的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述音频服务器混音方法。为实现上述目的及其他相关目的，本专利技术提供一种上述的设备，所述设备包括：所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行所述音频服务器混音方法。如上所述，本专利技术的音频服务器混音方法、系统、存储介质及设备，选择上述音频数据中语音能量较大的进行混音，这样服务器CPU计算量不会随发言人的增加而增大，也不会在多发言人同时说话的时候听不清楚，在提升语音效果的同时又降低了CPU的计算量，对于在发送给对应的发言人时，是可以指定对应的编码格式，所以对实时音视频通讯会议解码不需要支持所有的解码，只需要支持对应的解码器即可，并且不需要接收所有发言人的音频流，只接收一路音频服务混音好的音频流，相应也会降低实时音视频通讯会议的带宽要求。附图说明图1为本专利技术的音频服务器混音方法于一实施例中的步骤流程示意图；图2为本专利技术的音频服务器混音方法于一实施例中的终端与混音服务器的连接示意图；图3为本专利技术的音频服务器混音方法于一实施例中的终端互连结构示意图；图4为本专利技术的音频服务器混音系统于一实施例中的结构示意图；图5为本专利技术的音频服务器混音方法于一实施例中的混音流程示意图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。请参阅图1，于专利技术一实施例中，本专利技术的音频服务器混音方法，所述方法包括：步骤S11、从多路音频信道接收与会者的语音包，将所述语音包解码为音频数据。具体地，在开会时，所述与会者因为各自的主见会争相发言，利用话筒、喇叭口等语音接收器将所述与会者的声音进行收集，形成各个所述与会者的语音包，所述音频服务器接收所述语音包，在所述链路中进行传输，由于语音信号是模拟信号，在电路传输过程中需要使用数字信号，利用所述解码器将上述语音包解码使其变成能够在所述链路中传输的音频本文档来自技高网...

【技术保护点】
1.一种音频服务器混音方法，其特征在于，包括：/n从多路音频信道接收与会者的语音包，将所述语音包解码为音频数据；/n检测所述音频数据中的声音活跃状态，将所述音频数据分为活跃状态组与非活跃状态组；丢弃所述非活跃状态组的音频数据；/n对所述活跃状态组的音频数据进行混音，形成混音数据包；/n将所述混音数据包分别对应于音频信道进行编码并发送给所述与会者。/n

【技术特征摘要】
1.一种音频服务器混音方法，其特征在于，包括：
从多路音频信道接收与会者的语音包，将所述语音包解码为音频数据；
检测所述音频数据中的声音活跃状态，将所述音频数据分为活跃状态组与非活跃状态组；丢弃所述非活跃状态组的音频数据；
对所述活跃状态组的音频数据进行混音，形成混音数据包；
将所述混音数据包分别对应于音频信道进行编码并发送给所述与会者。


2.根据权利要求1所述的音频服务器混音方法，其特征在于，所述接收与会者的语音包包括：将接收到的语音包放入接收缓冲区，进行时间戳的比对，对超过预设时间到达的语音包进行丢弃处理。


3.根据权利要求1所述的音频服务器混音方法，其特征在于，对所述活跃状态组的音频数据进行混音包括：
当所述活跃状态组的音频数据小于或等于n路时，对活跃状态组的全部音频数据进行混音；
当所述活跃状态组的音频数据大于n路时，选择声音能量较大的n路音频数据进行混音；
其中n为预设的大于1的自然数。


4.根据权利要求3所述的音频服务器混音方法，其特征在于，对所述活跃状态组的音频数据进行混音还包括：
根据所述音频数据对应的音频信道是否参与上次混音，将所述活跃状态组的音频数据分为历史活跃语音和当前活跃语音，所述历史活跃语音为参与了上次混音的音频信道的音频数据，所述当前活跃语音为未参与上次混音的音频信道的音频数据；
当所述活跃状态组的音频数据小于或等于n路时，对其中的当前活跃语音进行混音并进行淡入处理；当所述活跃状态组的音频数据大于n路时，对声音能量较大的n路音频数据中的当前活跃语音进行...

【专利技术属性】
技术研发人员：梁启东，
申请(专利权)人：全时云商务服务股份有限公司，
类型：发明
国别省市：北京;11