音频处理方法、装置、计算设备及介质制造方法及图纸

本公开的实施方式提供了一种音频处理方法、装置、计算设备及介质。通过基于待处理音频所对应的左声道音频和右声道音频，以及通过第一音频网络训练得到的、分别对应于目标多声道音频的主成分音频和环绕成分音频所属频段的频段权重参数，确定目标多声道音频对应的主成分音频和环绕成分音频，从而基于环绕成分音频以及通过第二音频网络训练得到的目标映射参数，获取渲染音频，进而基于目标多声道音频对应的主成分音频和渲染音频，获取待处理音频对应的目标多声道音频，通过采用音频处理网络训练得到的参数来进行音频处理，可以避免音频中存在多个主声源时分离信号时所采用的权重失衡导致分离度降低的问题，从而可以提高音频处理方法的处理效果。理方法的处理效果。理方法的处理效果。

Audio processing method, device, computing equipment and medium

【技术实现步骤摘要】
音频处理方法、装置、计算设备及介质


[0001]本公开的实施方式涉及多媒体
，更具体地，本公开的实施方式涉及一种音频处理方法、装置、计算设备及介质。

技术介绍

[0002]本部分旨在为本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]为了将普通立体声的音频渲染出环绕包围的沉浸式效果，通常需要将双声道音频上混音到多声道音频。
[0004]相关技术中，在对双声道音频进行上混音时，往往是先通过主成分分析(Principal Components Analysis，PCA)确定出双声道音频的主要(Primary)成分，再确定出主要成分正交的环绕(Ambient)成分，进而将所确定出的主要成分和环绕成分的线性组合，作为多声道音频，实现对双声道音频的上混音。
[0005]在上述实现过程中，是假定主要成分和环绕成分完全正交的，因此仅适合音频中只有一个主声源的音频的处理，当待处理的音频中存在多个主声源时，上述音频处理方法的处理效果会大打折扣。

技术实现思路

[0006]鉴于相关技术中音频处理方法在对存在多个主声源的待处理音频进行处理时处理效果较差的问题，本公开的实施方式至少提供一种音频处理方法、装置、计算设备及介质。
[0007]在本公开实施方式的第一方面中，提供了一种音频处理方法，该方法包括：
[0008]基于待处理音频所对应的左声道音频和右声道音频，以及分别对应于目标多声道音频的主成分音频和环绕成分音频所属频段的频段权重参数，确定目标多声道音频对应的主成分音频和环绕成分音频，频段权重参数通过第一音频网络训练得到，目标多声道音频包括目标左声道音频部分和目标右声道音频部分；
[0009]基于环绕成分音频以及目标映射参数，获取渲染音频，目标映射参数通过第二音频网络训练得到；
[0010]基于目标多声道音频对应的主成分音频和渲染音频，获取待处理音频对应的目标多声道音频。
[0011]在本公开的一个实施例中，基于待处理音频所对应的左声道音频和右声道音频，以及分别对应于目标多声道音频的主成分音频和环绕成分音频所属频段的频段权重参数，确定目标多声道音频对应的主成分音频和环绕成分音频，包括：
[0012]基于左声道音频、右声道音频以及对应于主成分音频所属频段的频段权重参数，确定主成分音频；
[0013]基于左声道音频、右声道音频以及对应于环绕成分音频所属频段的频段权重参
数，确定环绕成分音频。
[0014]在本公开的一个实施例中，主成分音频包括主成分左声道音频和主成分右声道音频；
[0015]基于左声道音频、右声道音频以及对应于主成分音频所属频段的频段权重参数，确定主成分音频，包括：
[0016]基于对应于主成分音频所属频段的用于对左声道音频进行处理的第一频段权重参数、以及用于对右声道音频进行处理的第二频段权重参数，对左声道音频和右声道音频进行加权求和，得到主成分左声道音频；
[0017]基于对应于主成分音频所属频段的用于对左声道音频进行处理的第三频段权重参数、以及用于对右声道音频进行处理的第四频段权重参数，对左声道音频和右声道音频进行加权求和，得到主成分右声道音频。
[0018]在本公开的一个实施例中，环绕成分音频包括环绕成分左声道音频和环绕成分右声道音频；
[0019]基于左声道音频、右声道音频以及对应于环绕成分音频所属频段的频段权重参数，确定环绕成分音频，包括：
[0020]基于对应于环绕成分音频所属频段的用于对左声道音频进行处理的第五频段权重参数、以及用于对右声道音频进行处理的第六频段权重参数，对左声道音频和右声道音频进行加权求和，得到环绕成分左声道音频；
[0021]基于对应于环绕成分音频所属频段的用于对左声道音频进行处理的第七频段权重参数、以及用于对右声道音频进行处理的第八频段权重参数，对左声道音频和右声道音频进行加权求和，得到环绕成分左声道音频。
[0022]在本公开的一个实施例中，环绕成分音频包括环绕成分左声道音频和环绕成分右声道音频；
[0023]基于环绕成分音频以及目标映射参数，获取渲染音频，包括：
[0024]基于目标映射参数中用于对环绕成分左声道音频进行处理的第一目标映射参数、以及目标映射参数中用于对环绕成分右声道音频进行处理的第二目标映射参数，对环绕成分左声道音频和环绕成分右声道音频进行加权求和，得到渲染音频。
[0025]在本公开的一个实施例中，基于主成分音频和渲染音频，获取待处理音频对应的目标多声道音频，包括：
[0026]对主成分音频和渲染音频进行叠加，得到待处理音频对应的目标多声道音频。
[0027]在本公开的一个实施例中，频段权重参数和目标映射参数的训练过程包括：
[0028]基于样本多声道音频，获取样本左声道音频和样本右声道音频；
[0029]基于样本左声道音频和样本右声道音频，确定第一样本音频特征、第二样本音频特征和第三样本音频特征，第一样本音频特征用于指示样本左声道音频和样本右声道音频的功率和，第二样本音频特征用于指示样本左声道音频和样本右声道音频的功率差，第三样本音频特征用于指示样本左声道音频和样本右声道音频的实部互相关功率；
[0030]基于样本左声道音频、样本右声道音频、以及通过第一音频处理网络对第一样本音频特征、第二样本音频特征和第三样本音频特征处理得到的多个预测频段权重参数，确定第一样本音频和第二样本音频；
[0031]基于第二样本音频以及通过第二音频处理网络对第二样本音频处理得到的预测映射参数，获取预测渲染音频；
[0032]基于第一样本音频和预测渲染音频，获取预测多声道音频；
[0033]基于指示预测多声道音频和样本多声道音频之间的差异的目标损失函数，训练第一音频处理网络和第二音频处理网络，得到频段权重参数和目标映射参数。
[0034]在本公开的一个实施例中，样本多声道音频包括样本左前声道音频、样本右前声道音频、样本中置声道音频、样本左环绕声道音频和样本右环绕声道音频；
[0035]基于样本多声道音频，获取样本左声道音频和样本右声道音频，包括：
[0036]通过预设权重参数分别对样本中置声道音频和样本左环绕声道音频进行加权，基于加权后的结果和样本左前声道音频，确定样本左声道音频；
[0037]通过预设权重参数分别对样本中置声道音频和样本右环绕声道音频进行加权，基于加权后的结果和样本右前声道音频，确定样本右声道音频。
[0038]在本公开的一个实施例中，基于样本左声道音频和样本右声道音频，确定第一样本音频特征、第二样本音频特征和第三样本音频特征，包括：
[0039]基于样本左声道音频、样本左声道音频对应的复共轭音频、样本右声道音频、样本右声道音频对应的复共轭音频以及目标平滑参数，确定第一样本音频特征和第二样本音频特征；
[0040]基于样本左声道音频与样本右本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频处理方法，其特征在于，所述方法包括：基于待处理音频所对应的左声道音频和右声道音频，以及分别对应于目标多声道音频的主成分音频和环绕成分音频所属频段的频段权重参数，确定目标多声道音频对应的主成分音频和环绕成分音频，所述频段权重参数通过第一音频网络训练得到，所述目标多声道音频包括目标左声道音频部分和目标右声道音频部分；基于所述环绕成分音频以及目标映射参数，获取渲染音频，所述目标映射参数通过第二音频网络训练得到；基于所述目标多声道音频对应的主成分音频和所述渲染音频，获取所述待处理音频对应的目标多声道音频。2.根据权利要求1所述的方法，其特征在于，所述基于待处理音频所对应的左声道音频和右声道音频，以及分别对应于目标多声道音频的主成分音频和环绕成分音频所属频段的频段权重参数，确定目标多声道音频对应的主成分音频和环绕成分音频，包括：基于所述左声道音频、所述右声道音频以及对应于主成分音频所属频段的频段权重参数，确定所述主成分音频；基于所述左声道音频、所述右声道音频以及对应于环绕成分音频所属频段的频段权重参数，确定所述环绕成分音频。3.根据权利要求2所述的方法，其特征在于，所述主成分音频包括主成分左声道音频和主成分右声道音频；所述基于所述左声道音频、所述右声道音频以及对应于主成分音频所属频段的频段权重参数，确定所述主成分音频，包括：基于对应于主成分音频所属频段的用于对所述左声道音频进行处理的第一频段权重参数、以及用于对所述右声道音频进行处理的第二频段权重参数，对所述左声道音频和所述右声道音频进行加权求和，得到所述主成分左声道音频；基于对应于主成分音频所属频段的用于对所述左声道音频进行处理的第三频段权重参数、以及用于对所述右声道音频进行处理的第四频段权重参数，对所述左声道音频和所述右声道音频进行加权求和，得到所述主成分右声道音频。4.根据权利要求2所述的方法，其特征在于，所述环绕成分音频包括环绕成分左声道音频和环绕成分右声道音频；所述基于所述左声道音频、所述右声道音频以及对应于环绕成分音频所属频段的频段权重参数，确定所述环绕成分音频，包括：基于对应于环绕成分音频所属频段的用于对所述左声道音频进行处理的第五频段权重参数、以及用于对所述右声道音频进行处理的第六频段权重参数，对所述左声道音频和所述右声道音频进行加权求和，得到所述环绕成分左声道音频；基于对应于环绕成分音频所属频段的用于对所述左声道音频进行处理的第七频段权重参数、以及用于对所述右声道音频进行处理的第八频段权重参数，对所述左声道音频和所述右声道音频进行加权求和，得到所述环绕成分左声道音频。5.根据权利要求1所述的方法，其特征在于，所述环绕成分音频包括环绕成分左声道音频和环绕成分右声道音频；所述基于所述环绕成分音频以及目标映射参数，获取渲染音频，包括：
基于所述目标映射参数中用于对所述环绕成分左声道音频进行处理的第一目标映射参数、以及所述目标映射参数中用于对所述环绕成分右声道音频进行处理的第二目标映射参数，对所述环绕...

【专利技术属性】
技术研发人员：赵翔宇，刘华平，曹偲，
申请(专利权)人：杭州网易云音乐科技有限公司，
类型：发明
国别省市：