音频处理方法、装置及移动终端及存储介质制造方法及图纸

本公开提供一种音频处理方法，所述方法包括以下步骤：获取采集模块采集的第一音频数据；对所述第一音频数据通过并发处理方式进行第一音效处理生成第二音频数据；将所述第二音频数据与用于伴奏的第三音频数据进行混音处理生成第一混音数据，所述第三音频数据为预先存储的音频数据；输出所述第一混音数据。本公开能够将音频的延时控制在一个很低的范围内，以便于在最终直播时可以将音频数据与高质量的伴奏进行混音，提高直播k歌的质量。

Audio processing method, device, mobile terminal and storage medium

【技术实现步骤摘要】
音频处理方法、装置及移动终端及存储介质
本公开涉及信息处理领域，具体涉及一种音频处理方法、装置及移动终端及存储介质。
技术介绍
互联网的飞速发展逐渐改变了当代人的生活方式，当代人对精神文化的需求也越来越高，歌唱逐渐成为了人们喜爱的娱乐活动之一。特别是各种k歌软件产品的普及，使越来越多的人随时随地演唱或者录制自己的歌唱声音。k歌软件产品是一种将用户的歌声合成在软件提供的伴奏中，之后通过卡拉音频效果处理编辑，得到品质较好的歌唱录音结果。目前，虽然karaoke场景在跟唱录制的技术实现已经十分成熟，但是在直播中缺乏实时渲染声音效果。现有技术中，通常是使用iPhone高级封装的AVCaptureSession，并行的采集视频和音频数据，音频采集的buffer较大，输出频次较低，处理背景音乐时不容易对齐时间轴。因此，现有技术中，时延较大且不可控，k歌功能受限，容易出现人声伴奏无法对齐，伴奏质量差等问题，影响直播k歌的质量。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种音频处理方法、装置及相应的移动终端，能够将音频的延时控制在一个很低的范围内，以便于在最终直播时可以将音频数据与高质量的伴奏进行混音，提高直播k歌的质量。为实现该目的，本公开采用如下技术方案：根据本公开实施例的第一方面，本公开提供一种音频处理方法，包括以下步骤：获取采集模块采集的第一音频数据；对所述第一音频数据通过并发处理方式进行第一音效处理生成第二音频数据；将所述第二音频数据与用于伴奏的第三音频数据进行混音处理生成第一混音数据，所述第三音频数据为预先存储的音频数据；输出所述第一混音数据。具体的，所述对所述第一音频数据通过并发处理方式进行第一音效处理生成第二音频数据，包括：对所述第一音频数据进行降噪、混响、均衡以及变声处理。具体的，所述获取采集模块采集的第一音频数据之后，还包括：对所述第一音频数据进行第二音效处理以生成第四音频数据。具体的，所述对所述第一音频数据进行第二音效处理以生成第四音频数据，包括：依据预设的音效算法对所述第一音频数据进行处理。具体的，所述对所述第一音频数据进行第二音效处理以生成第四音频数据之后，还包括：将所述第四音频数据与所述第三音频数据进行混音处理生成第二混音数据。具体的，所述将所述第四音频数据与所述第三音频数据进行混音处理生成第二混音数据之后，还包括：将所述第二混音数据通过流媒体模块推送至分发服务器，以使分发服务器将所述第二混音数据分发至各接收音频方终端。可选的，将所述第四音频数据与所述第三音频数据进行混音处理生成第二混音数据，包括：将所述第四音频数据与所述第三音频数据进行时间校对，以使所述第四音频数据与所述第三音频数据的时间同步。具体的，所述输出所述第一混音数据，包括：将所述第一混音数据发送至接收音频回传方终端的外设声响设备。具体的，所述第三音频数据为第三音频数据。具体的，所述采集模块用于采集接收音频回传方终端的外设输入设备输入的所述第一音频数据。具体的，所述接收音频回传方终端的外设输入设备包括麦克风、耳麦以及主播声卡。根据本公开实施例的第二方面，本公开提供一种音频处理装置，包括以下步骤：采集模块，被配置为采集第一音频数据；处理模块，被配置为对所述第一音频数据通过并发处理方式进行第一音效处理生成第二音频数据；混音模块，被配置为将所述第二音频数据与第三音频数据进行混音处理生成第一混音数据，所述第三音频数据为预先存储的音频数据；输出模块，被配置为输出所述第一混音数据。具体的，所述处理模块，包括：第一处理单元，被配置为对所述第一音频数据进行降噪、混响、均衡以及变声处理。具体的，还包括：第二音效处理模块，被配置为对所述第一音频数据进行第二音效处理以生成第四音频数据。具体的，所述第二音效处理模块，包括：第二处理单元，被配置为依据预设的音效算法对所述第一音频数据进行处理。具体的，还包括：混音单元，被配置为将所述第四音频数据与所述第三音频数据进行混音处理生成第二混音数据。具体的，还包括：发送单元，被配置为将所述第二混音数据通过流媒体模块推送至分发服务器，以使分发服务器将所述第二混音数据分发至各接收音频输出接方终端。具体的，所述混音单元包括：校对单元，被配置为将所述第四音频数据与所述第三音频数据进行时间校对，以使所述第四音频数据与所述第三音频数据的时间同步。可选的，所述输出模块，包括：输出单元，被配置为将所述第一混音数据发送至接收音频回传方终端的外设声响设备。具体的，所述采集模块用于采集接收音频回传方终端的外设输入设备输入的所述第一音频数据。具体的，所述接收音频回传方终端的外设输入设备包括麦克风、耳麦以及主播声卡。根据本公开实施例的第三方面，本公开提供一种移动终端，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：执行如第一方面中任一项所述的音频处理方法的步骤。根据本公开实施例的第四方面，本公开提供一种非临时性计算机可读存储介质，其特征在于当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种音频处理方法，所述方法包括第一方面中任意一项所述的音频处理方法的步骤。根据本公开实施例的第五方面，本公开提供一种应用程序，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种音频处理方法，所述方法包括任一技术方案所述的音频处理方法的步骤。本公开具备如下优点：1，本公开提供一种音频处理方法，通过获取采集模块采集的第一音频数据；对所述第一音频数据通过并发处理方式进行第一音效处理生成第二音频数据；将所述第二音频数据与第三音频数据进行混音处理生成第一混音数据；输出所述第一混音数据。本公开通过并发处理音频数据的处理方式将音频的延时控制在一个很低的范围内，以便于最终直播时将所述第二音频数据与高质量的伴奏进行混音，提高直播k歌的质量，提升K歌效果。2，本公开第一方面通过在采集模块的采集机制进行改进，能够将采集模块音频采集的buffer控制在很小的范围内，以控制时延；第二方面通过实时对所述第一音频数据以及所述第二音频数据进行处理，以缩短数据处理时间，提升数据处理效率，最终控制音频的时延；第三方面，本公开通过并发处理音频数据，以控制时延。本公开通过以上各种措施能够将音频时延控制在一个很低的范围内，便于后续进行混音时实现人声和伴奏的对齐以及将搞质量的伴奏混音进去，以提升K歌效果。3，本公开还能够对所述第一音频数据进行音效处理后再与所述第三音频数据进行混音以得到所述第二混音数据，并且进行混音处理时，完成成人声和伴奏的对齐，以达到最优的音频处理效果。综上所述，本公开在保证实时性、多本文档来自技高网...

【技术保护点】
1.一种音频处理方法，其特征在于，包括以下步骤：/n获取采集模块采集的第一音频数据；/n对所述第一音频数据通过并发处理方式进行第一音效处理生成第二音频数据；/n将所述第二音频数据与第三音频数据进行混音处理生成第一混音数据，所述第三音频数据为预先存储的音频数据；/n输出所述第一混音数据。/n

【技术特征摘要】
1.一种音频处理方法，其特征在于，包括以下步骤：
获取采集模块采集的第一音频数据；
对所述第一音频数据通过并发处理方式进行第一音效处理生成第二音频数据；
将所述第二音频数据与第三音频数据进行混音处理生成第一混音数据，所述第三音频数据为预先存储的音频数据；
输出所述第一混音数据。


2.根据权利要求1所述的方法，其特征在于，所述获取采集模块采集的第一音频数据之后，还包括：
对所述第一音频数据进行第二音效处理以生成第四音频数据。


3.根据权利要求2所述的方法，其特征在于，所述对所述第一音频数据进行第二音效处理以生成第四音频数据，包括：
依据预设的音效算法对所述第一音频数据进行处理。


4.根据权利要求2所述的方法，其特征在于，所述对所述第一音频数据进行第二音效处理以生成第四音频数据之后，还包括：
将所述第四音频数据与所述第三音频数据进行混音处理生成第二混音数据。


5.根据权利要求4所述的方法，其特征在于，所述将所述第四音频数据与所述第三音频数据进行混音处理生成第二混音数据之后，还包括：
将所述第二混音数据通过流媒体模块推送至分发服务器，以使分发服务器将所述第二混音数据分发至各接收音频输出方终端。


6.根据权利...

【专利技术属性】
技术研发人员：李浩，陈翔宇，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11