一种混音优化方法及系统技术方案

本发明专利技术涉及一种混音优化方法及系统，该方法包括获取各个用户终端的音频数据并进行预处理，放到各自的缓冲队列；生产者模块定时从缓冲队列中获取声压超过阈值的音频数据放入相对应的音频槽；消费者模块获取音频槽数据，判断是否需要进行混音操作；当不需要进行混音操作时，根据不同用户终端的需求调用编码模块进行编码处理并发送给各个用户终端；当需要进行混音操作时，调用混音模块进行混音处理，再根据不同的用户终端的需求，调用编码模块进行编码处理，并发送给各个用户终端。该方法输出给用户终端的音频流数据，仅对其它用户终端的音频流数据进行混音处理并发送给该用户终端，省去再次回音消除操作，避免用户收到的混音流中有自己声音的问题。中有自己声音的问题。中有自己声音的问题。

【技术实现步骤摘要】
一种混音优化方法及系统


[0001]本专利技术涉及音频数据处理
，尤其涉及一种混音优化方法及系统。

技术介绍

[0002]在目前的会议系统中，关于音频的混音，都是将所有与会成员的音频流先全部混为一路流，在发往与会成员之前，将混完的音频流中用回音消除算法减去此成员的语音，再发往此成员。在该现有技术中，对音频进行了两次操作。对音频流操作次数越多，加入噪音和失真的风险越大。当回音消除算法中对原始语音的对齐未做好时，效果会比较差，与会成员会听到自己的声音，严重时会阻碍影响会议进程。

技术实现思路

[0003]为解决现有技术的不足，本专利技术提出一种混音优化方法及系统，通过减少对同一路音频流的操作次数，有效避免因操作音频导致的噪音加入。
[0004]为实现以上目的，本专利技术所采用的技术方案包括：
[0005]一种混音优化方法，其特征在于，包括以下步骤：
[0006]步骤S1、获取各个用户终端的音频数据并进行预处理，放到各自的缓冲队列；
[0007]步骤S2、生产者模块定时从缓冲队列中获取声压超过阈值的音频数据放入相对应的音频槽，各个音频槽有同样时长的音频流；
[0008]步骤S3、消费者模块获取音频槽数据，判断是否需要进行混音操作；当不需要进行混音操作时，根据不同用户终端的需求调用编码模块进行编码处理并发送给各个用户终端；当需要进行混音操作时，调用混音模块进行混音处理，然后根据不同的用户终端的需求，调用编码模块进行编码处理，并发送给各个用户终端。
[0009]进一步地，所述步骤S1中，预处理包括解码、重采样、计算声压。
[0010]进一步地，所述步骤S3中，混音模块和编码模块通过调用ffmpeg库进行操作。
[0011]进一步地，所述步骤S3中，消费者模块获取到第一路音频槽数据，判断不需要进行混音操作；根据其余不同用户终端的需求调用编码模块进行编码处理并发送给其余各个用户终端。
[0012]进一步地，所述步骤S3中，消费者模块获取到第一路音频槽数据和第二路音频槽数据，判断需要进行混音操作；
[0013]根据第一路音频槽数据所对应的第一用户终端的需求调用编码模块对第二路音频槽数据进行编码处理并发送给第一用户终端；
[0014]根据第二路音频槽数据所对应的第二用户终端的需求调用编码模块对第一路音频槽数据进行编码处理并发送给第二用户终端；
[0015]调用混音模块对第一路音频槽数据和第二路音频槽数据进行混音处理，然后根据其余不同用户终端的需求调用编码模块对第一路音频槽数据和第二路音频槽数据的混音数据进行编码处理，并发送给其余各个用户终端。
[0016]进一步地，所述步骤S3中，消费者模块获取到第一路音频槽数据、第二路音频槽数据和第三路音频槽数据，判断需要进行混音操作；
[0017]调用混音模块对第二路音频槽数据和第三路音频槽数据进行混音处理，然后根据第一路音频槽数据所对应的第一用户终端的需求调用编码模块对第二路音频槽数据和第三路音频槽数据的混音数据进行编码处理，并发送给第一用户终端；调用混音模块对第一路音频槽数据和第三路音频槽数据进行混音处理，然后根据第二路音频槽数据所对应的第二用户终端的需求调用编码模块对第一路音频槽数据和第三路音频槽数据的混音数据进行编码处理，并发送给第二用户终端；调用混音模块对第一路音频槽数据和第二路音频槽数据进行混音处理，然后根据第三路音频槽数据所对应的第三用户终端的需求调用编码模块对第一路音频槽数据和第二路音频槽数据的混音数据进行编码处理，并发送给第三用户终端；先调用混音模块对第一路音频槽数据、第二路音频槽数据和第三路音频槽数据进行混音处理，然后再根据其余不同用户终端的需求调用编码模块对第一路音频槽数据、第二路音频槽数据和第三路音频槽数据的混音数据进行编码处理，并发送给其余各个用户终端。
[0018]一种混音优化系统，其特征在于，包括：
[0019]预处理模块，用于获取各个用户终端的音频数据并进行预处理，放到各自的缓冲队列；
[0020]生产者模块，用于定时从缓冲队列中获取声压超过阈值的音频数据放入相对应的音频槽，各个音频槽有同样时长的音频流；
[0021]消费者模块，用于获取音频槽数据，判断是否需要进行混音操作；当不需要进行混音操作时，根据不同用户终端的需求调用编码模块进行编码处理并发送给各个用户终端；当需要进行混音操作时，调用混音模块进行混音处理，然后根据不同的用户终端的需求，调用编码模块进行编码处理，并发送给各个用户终端。
[0022]本专利技术还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
[0023]本专利技术还涉及一种电子设备，其特征在于，包括处理器和存储器；
[0024]所述存储器，用于存储操作指令；
[0025]所述处理器，用于通过调用所诉操作指令，执行上述的方法。
[0026]一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现如上所述方法的步骤。
[0027]本专利技术的有益效果为：
[0028]采用本专利技术所述混音优化方法及系统，输出给任一与会的用户终端的音频流数据，在混音处理时，仅对其它用户终端的音频流数据进行混音处理并发送给该用户终端，未混入该用户终端的音频流数据，省去了将混音流数据再次做回音消除的操作，也从根本上避免了该用户在收到的混音流数据中有自己声音的问题，进而提升会议通话的质量和效率。
附图说明
[0029]图1为本专利技术混音优化方法流程示意图。
[0030]图2为本专利技术混音优化系统结构示意图。
[0031]图3为本专利技术混音优化方法流程步骤示意图。
具体实施方式
[0032]为了更清楚的理解本专利技术的内容，将结合附图和实施例详细说明。
[0033]本专利技术第一方面涉及一种步骤流程如图1所示的混音优化方法，包括以下步骤：
[0034]步骤S1、获取各个用户终端的音频数据并进行预处理，放到各自的缓冲队列；
[0035]步骤S2、生产者模块定时从缓冲队列中获取声压超过阈值的音频数据放入相对应的音频槽，各个音频槽有同样时长的音频流；
[0036]步骤S3、消费者模块获取音频槽数据，判断是否需要进行混音操作；当不需要进行混音操作时，根据不同用户终端的需求调用编码模块进行编码处理并发送给各个用户终端；当需要进行混音操作时，调用混音模块进行混音处理，然后根据不同的用户终端的需求，调用编码模块进行编码处理，并发送给各个用户终端。
[0037]其中，所述步骤S1中，预处理包括解码、重采样、计算声压。
[0038]其中，所述步骤S3中，混音模块和编码模块通过调用ffmpeg库进行操作。
[0039]在本申请的第一个实施例中，消费者模块获取到第一路音频槽数据，判断不需要进行混音操作；根据其余不同用户终端的需求调用编码模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种混音优化方法，其特征在于，包括以下步骤：步骤S1、获取各个用户终端的音频数据并进行预处理，放到各自的缓冲队列；步骤S2、生产者模块定时从缓冲队列中获取声压超过阈值的音频数据放入相对应的音频槽，各个音频槽有同样时长的音频流；步骤S3、消费者模块获取音频槽数据，判断是否需要进行混音操作；当不需要进行混音操作时，根据不同用户终端的需求调用编码模块进行编码处理并发送给各个用户终端；当需要进行混音操作时，调用混音模块进行混音处理，然后根据不同的用户终端的需求，调用编码模块进行编码处理，并发送给各个用户终端。2.如权利要求1所述的方法，其特征在于，所述步骤S1中，预处理包括解码、重采样、计算声压。3.如权利要求1所述的方法，其特征在于，所述步骤S3中，混音模块和编码模块通过调用ffmpeg库进行操作。4.如权利要求1至3任一项所述的方法，其特征在于，所述步骤S3中，消费者模块获取到第一路音频槽数据，判断不需要进行混音操作；根据其余不同用户终端的需求调用编码模块进行编码处理并发送给其余各个用户终端。5.如权利要求1至3任一项所述的方法，其特征在于，所述步骤S3中，消费者模块获取到第一路音频槽数据和第二路音频槽数据，判断需要进行混音操作；根据第一路音频槽数据所对应的第一用户终端的需求调用编码模块对第二路音频槽数据进行编码处理并发送给第一用户终端；根据第二路音频槽数据所对应的第二用户终端的需求调用编码模块对第一路音频槽数据进行编码处理并发送给第二用户终端；调用混音模块对第一路音频槽数据和第二路音频槽数据进行混音处理，然后根据其余不同用户终端的需求调用编码模块对第一路音频槽数据和第二路音频槽数据的混音数据进行编码处理，并发送给其余各个用户终端。6.如权利要求1至3任一项所述的方法，其特征在于，所述步骤S3中，消费者模块获取到第一路音频槽数据、第二路音频槽数据和第三路音频槽数据，判断需要进行混音操作；调用混音模块对第二路音频槽数据和第三路音频槽数据进行混音处理，然后根据第一路音频槽数据所对应的第...

【专利技术属性】
技术研发人员：马强忠，徐建，
申请(专利权)人：富盛科技股份有限公司，
类型：发明
国别省市：