混音方法、装置及电子设备制造方法及图纸

本申请涉及音频处理技术领域，具体涉及一种混音方法、混音装置、计算机可读介质以及电子设备。该混音方法包括：获取至少两路音频输入信号，并分别获取每路音频输入信号的功率信息；获取与所述音频输入信号的频率相关的响度信息，并根据所述响度信息分别对所述音频输入信号中对应于各个频点的功率信息进行加权处理以得到所述音频输入信号的感知量化信息；分别对各路音频输入信号的感知量化信息进行数值调整以确定用于缩小各路音频输入信号之间的感知差异的感知均衡权重；根据各路音频输入信号的感知均衡权重对所述至少两路音频输入信号进行叠加处理以得到混合音频。可以通过调节感知均衡权重的方式对其混音后的真实感知效果做出调整，从而让所有通道的声音在混音后都尽可能地不被完全掩蔽，提高各路音频信号的可感知性。

【技术实现步骤摘要】
混音方法、装置及电子设备
本申请涉及音频处理
，具体涉及一种混音方法、混音装置、计算机可读介质以及电子设备。
技术介绍
随着计算机和网络技术的发展，基于传统的电信网络通讯或者互联网VoIP通讯应用可以基本实现人们对于群体社交的需求，例如多人音视频会议、多人在线直播、网游中的多人实时语音聊天等等，而实现多人语音通话的核心技术便是混音。声音具有声学掩蔽特性，即人耳能够在寂静的环境中分辨出轻微的声音，但是在嘈杂的环境里，这些轻微的声音就会被杂音所淹没。对于多人通话的应用场景，随着说话人数的增加，最终混音叠加后的声音将变得相对嘈杂，而在嘈杂声音中的部分人声，例如音调较低、音量较小的声音，在混音后就很难被听到。因此，如何防止混合音频中的声音相互掩蔽是目前亟待解决的问题。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本申请的目的在于提供一种混音方法、混音装置、计算机可读介质以及电子设备，至少在一定程度上克服混合音频中存在的声音相互掩蔽的问题。本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。根据本申请实施例的一个方面，提供一种混音方法，该方法包括：获取至少两路音频输入信号，并分别获取每路音频输入信号的功率信息；获取与所述音频输入信号的频率相关的响度信息，并根据所述响度信息分别对所述音频输入信号中对应于各个频点的功率信息进行加权求和以得到所述音频输入信号的感知量化信息；分别对各路音频输入信号的感知量化信息进行数值调整以确定用于缩小各路音频输入信号之间的感知差异的感知均衡权重；根据各路音频输入信号的感知均衡权重对所述至少两路音频输入信号进行叠加处理以得到混合音频。根据本申请实施例的一个方面，提供一种混音装置，该装置包括：功率获取模块，被配置为获取至少两路音频输入信号，并分别获取每路音频输入信号的功率信息；感知量化模块，被配置为获取与所述音频输入信号的频率相关的响度信息，并根据所述响度信息分别对所述音频输入信号中对应于各个频点的功率信息进行加权求和以得到所述音频输入信号的感知量化信息；感知均衡模块，被配置为分别对各路音频输入信号的感知量化信息进行数值调整以确定用于缩小各路音频输入信号之间的感知差异的感知均衡权重；信号叠加模块，被配置为根据各路音频输入信号的感知均衡权重对所述至少两路音频输入信号进行叠加处理以得到混合音频。在本申请的一些实施例中，基于以上技术方案，所述功率获取模块包括：分帧处理单元，被配置为分别对每路音频输入信号进行分帧处理以得到所述音频输入信号的音频数据帧；加窗处理单元，被配置为对所述音频数据帧进行加窗处理以得到所述音频输入信号的加窗分帧信号；频率域转换单元，被配置为将所述加窗分帧信号由时间域转换至频率域以得到所述音频输入信号的功率信息。在本申请的一些实施例中，基于以上技术方案，所述加窗处理单元包括：窗函数获取子单元，被配置为获取用于对所述音频数据帧进行加窗处理的窗函数，所述窗函数为汉明窗或者汉宁窗；窗函数点乘子单元，被配置为将所述窗函数与所述音频数据帧点乘得到所述音频输入信号的加窗分帧信号。在本申请的一些实施例中，基于以上技术方案，所述频率域转换单元包括：频谱获取子单元，被配置为对基于时间域的所述加窗分帧信号进行傅里叶变换以得到基于频率域的频谱信息；能量谱确定子单元，被配置为根据所述频谱信息中的幅值确定所述音频输入信号的能量谱信息；第一功率确定子单元，被配置为获取所述加窗分帧信号的分帧时间长度，并根据所述能量谱信息和所述分帧时间长度确定所述音频输入信号的功率信息。在本申请的一些实施例中，基于以上技术方案，所述频率域转换单元包括：自相关函数获取子单元，被配置为获取所述加窗分帧信息在时间域上的自相关函数；第二功率确定子单元，被配置为对所述自相关函数进行傅里叶变换以得到基于频率域的所述音频输入信号的功率信息。在本申请的一些实施例中，基于以上技术方案，所述感知量化模块包括：等响曲线获取单元，被配置为获取用于表示声压级与频率之间的映射关系的等响曲线数据；等响曲线插值单元，被配置为对所述等响曲线数据进行插值处理以得到与所述音频输入信号的频率相关的响度信息。在本申请的一些实施例中，基于以上技术方案，所述感知量化模块还包括：频点确定单元，被配置为在所述等响曲线数据中确定与所述音频输入信号的频率相邻的下频点和上频点；参数查询单元，被配置为查询所述等响曲线数据以得到所述下频点和所述上频点的基准频率参数和基准声压参数；参数插值单元，被配置为分别对所述基准频率参数和基准声压参数进行插值处理以得到与所述音频输入信号的频率相关的插值频率参数和插值声压参数；响度确定单元，被配置为根据所述插值频率参数和所述插值声压参数确定与所述音频输入信号的频率相关的响度信息。在本申请的一些实施例中，基于以上技术方案，所述感知量化模块包括：指数化处理单元，被配置为对所述响度信息进行指数化处理以得到所述音频输入信号的感知加权系数；加权求和单元，被配置为将所述感知加权系数与所述音频输入信号中对应于各个频点的功率信息进行加权求和以得到所述音频输入信号的感知量化信息。在本申请的一些实施例中，基于以上技术方案，所述感知均衡模块包括：第一平滑过滤单元，被配置为对所述感知量化信息进行平滑滤波以得到所述音频输入信号的感知平滑值；平滑比例确定单元，被配置为比较各路音频输入信号的感知平滑值以得到最大平滑值，并确定所述最大平滑值与各个感知平滑值之间的感知平滑比例；第二平滑过滤单元，被配置为对所述感知平滑比例进行平滑滤波以得到用于缩小各个所述音频输入信号之间的感知差异的感知均衡权重。在本申请的一些实施例中，基于以上技术方案，所述第一平滑过滤单元包括：第一信息获取子单元，被配置为获取所述音频输入信号中前一信号帧的感知平滑值和当前信号帧的感知量化信息；第一因子获取子单元，被配置为获取用于对所述感知量化信息进行平滑滤波的第一平滑因子；第一平滑过滤子单元，被配置为根据所述第一平滑因子对所述前一信号帧的感知平滑值和所述当前信号帧的感知量化信息进行加权求和以得到当前信号帧的感知平滑值。在本申请的一些实施例中，基于以上技术方案，所述第二平滑过滤单元包括：第二信息获取子单元，被配置为获取所述音频输入信号中前一信号帧的感知均衡权重和当前信号帧的感知平滑比例；第二因子获取子单元，被配置为获取用于对所述感知平滑比例进行平滑滤波的第二平滑因子；第二平滑过滤子单元，被配置为根据所述第二平滑因子对所述前一信号帧的感知均衡权重和所述当前信号帧的感知平滑比例进行加权求和以得到当前信号帧的感知均衡权本文档来自技高网...

【技术保护点】
1.一种混音方法，其特征在于，包括：/n获取至少两路音频输入信号，并分别获取每路音频输入信号的功率信息；/n获取与所述音频输入信号的频率相关的响度信息，并根据所述响度信息分别对所述音频输入信号中对应于各个频点的功率信息进行加权求和以得到所述音频输入信号的感知量化信息；/n分别对各路音频输入信号的感知量化信息进行数值调整以确定用于缩小各路音频输入信号之间的感知差异的感知均衡权重；/n根据各路音频输入信号的感知均衡权重对所述至少两路音频输入信号进行叠加处理以得到混合音频。/n

【技术特征摘要】
1.一种混音方法，其特征在于，包括：
获取至少两路音频输入信号，并分别获取每路音频输入信号的功率信息；
获取与所述音频输入信号的频率相关的响度信息，并根据所述响度信息分别对所述音频输入信号中对应于各个频点的功率信息进行加权求和以得到所述音频输入信号的感知量化信息；
分别对各路音频输入信号的感知量化信息进行数值调整以确定用于缩小各路音频输入信号之间的感知差异的感知均衡权重；
根据各路音频输入信号的感知均衡权重对所述至少两路音频输入信号进行叠加处理以得到混合音频。


2.根据权利要求1所述的混音方法，其特征在于，所述分别获取每路音频输入信号的功率信息，包括：
分别对每路音频输入信号进行分帧处理以得到所述音频输入信号的音频数据帧；
对所述音频数据帧进行加窗处理以得到所述音频输入信号的加窗分帧信号；
将所述加窗分帧信号由时间域转换至频率域以得到所述音频输入信号的功率信息。


3.根据权利要求2所述的混音方法，其特征在于，所述对所述音频数据帧进行加窗处理以得到所述音频输入信号的加窗分帧信号，包括：
获取用于对所述音频数据帧进行加窗处理的窗函数，所述窗函数为汉明窗或者汉宁窗；
将所述窗函数与所述音频数据帧点乘得到所述音频输入信号的加窗分帧信号。


4.根据权利要求2所述的混音方法，其特征在于，所述将所述加窗分帧信号由时间域转换至频率域以得到所述音频输入信号的功率信息，包括：
对基于时间域的所述加窗分帧信号进行傅里叶变换以得到基于频率域的频谱信息；
根据所述频谱信息中的幅值确定所述音频输入信号的能量谱信息；
获取所述加窗分帧信号的分帧时间长度，并根据所述能量谱信息和所述分帧时间长度确定所述音频输入信号的功率信息。


5.根据权利要求2所述的混音方法，其特征在于，所述将所述加窗分帧信号由时间域转换至频率域以得到所述音频输入信号的功率信息，包括：
获取所述加窗分帧信息在时间域上的自相关函数；
对所述自相关函数进行傅里叶变换以得到基于频率域的所述音频输入信号的功率信息。


6.根据权利要求1所述的混音方法，其特征在于，所述获取与所述音频输入信号的频率相关的响度信息，包括：
获取用于表示声压级与频率之间的映射关系的等响曲线数据；
对所述等响曲线数据进行插值处理以得到与所述音频输入信号的频率相关的响度信息。


7.根据权利要求6所述的混音方法，其特征在于，所述对所述等响曲线数据进行插值处理以得到与所述音频输入信号的频率相关的响度信息，包括：
在所述等响曲线数据中确定与所述音频输入信号的频率相邻的下频点和上频点；
查询所述等响曲线数据以得到所述下频点和所述上频点的基准频率参数和基准声压参数；
分别对所述基准频率参数和基准声压参数进行插值处理以得到与所述音频输入信号的频率相关的插值频率参数和插值声压参数；
根据所述插值频率参数和所述插值声压参数确定与所述音频输入信号的频率相关的响度信息。


8.根据权利要求1所述的混音方法，其特征在于，所述根据所述响度信息分别对所述音频输入信号中对应于各个频点的功率信息进行加权求和以得到所述音频输入信号的感知量化信息，包括：
对所述响度信息进行指数化处理以得到所述音频输入信号的感知加权系数；
将所述感知加权系数与所述音频输入信号中对应于各个频点的功率信息进行加权求和以得到所述音频输入信号的感知量化信息。

【专利技术属性】
技术研发人员：梁俊斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44