音频数据的处理方法、服务器及计算机可读存储介质技术

本申请涉及一种音频数据的处理方法、电子设备和计算机可读存储介质。所述方法包括：获取用户演唱目标歌曲时的录制音频数据；录制音频数据包括录制到的目标歌曲的伴声音频数据在经过回采系统后得到的回采数据和用户的干声数据；提取伴声音频数据的音频特征，并将音频特征输入回采预测模型，由回采预测模型预测伴声音频数据在经过回采系统后得到的预测音频特征；基于预测音频特征，确定针对伴声音频数据的预测回采数据；基于预测回采数据对录制音频数据进行回踩消除处理，得到录制音频数据中关于用户的预测干声数据。采用本方法能够减少音频消除过程中消音不准确和消音不充分的问题，以及提高音频消音处理的有效性和准确性。性。性。

【技术实现步骤摘要】
音频数据的处理方法、服务器及计算机可读存储介质


[0001]本申请涉及计算机
，特别是涉及一种音频数据的处理方法、服务器及计算机可读存储介质。

技术介绍

[0002]在用户进行外放录歌过程中，被录制的音频数据除了包括用户的干声数据之外，也包括被播放的歌曲的伴奏数据或者原唱数据，从而在对用户的干声数据进行分析和修改时，需要在录制的音频数据中对回采的音频数据(即录制到的被播放的歌曲的伴奏数据或者原唱数据)进行消音处理。
[0003]在传统的对回采音频数据进行消音处理的过程中，一般是利用预设的声学回声消除模型(WebRTC AEC)将录制音频数据中的回采音频数据进行消除，以得到用户的干声数据。
[0004]然而，目前的声学回声消除模型对一些特殊的音频数据(如关于打击乐强的回采音频)直接进行消音处理的效果不佳，导致消音处理后的录制音频数据中仍具有较多的回采音频数据，以使得到的关于用户的干声数据不准确。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提升音频消音质量的音频数据的处理方法、服务器及计算机可读存储介质。
[0006]根据本公开实施例的第一方面，提供一种音频数据的处理方法，包括：
[0007]获取用户演唱目标歌曲时的录制音频数据，所述录制音频数据包括录制到的目标歌曲的伴声音频数据在经过回采系统后得到的回采数据和所述用户的干声数据，所述伴声音频数据为所述目标歌曲的原唱音频数据或者背景音频数据；
[0008]提取所述伴声音频数据的音频特征，并将所述音频特征输入回采预测模型，由所述回采预测模型预测所述伴声音频数据在经过回采系统后得到的预测音频特征；
[0009]基于所述预测音频特征，确定针对所述伴声音频数据的预测回采数据；
[0010]基于所述预测回采数据对所述录制音频数据进行回踩消除处理，得到所述录制音频数据中关于所述用户的预测干声数据。
[0011]在一示例性实施例中，所述方法还包括：
[0012]获取所述回采系统的样本激励数据和样本录音数据；所述样本录音数据为所述激励数据在经过所述回采系统后得到的回采数据；
[0013]基于所述样本激励数据和所述样本录音数据，确定针对所述回采系统的模拟回采数据；
[0014]提取所述模拟回采数据的音频特征，并将所述模拟回采数据的音频特征输入待训练的回采预测模型进行模型训练，由所述待训练的回采预测模型预测所述模拟回采数据在经过所述回采系统后得到的训练音频特征；
[0015]基于所述模拟回采数据的音频特征与所述训练音频特征之间的差异，确定所述待训练的回采预测模型的模型损失，并根据所述模型损失调整所述待训练的回采预测模型，直到得到训练完成的回采预测模型。
[0016]在一示例性实施例中，所述基于所述样本激励数据和所述样本录音数据，确定针对所述回采系统的模拟回采数据，包括：
[0017]对所述样本激励数据进行频谱调整处理，得到调整后的激励数据；所述频谱调整处理用于模拟所述样本激励数据在经过所述回采系统后的频谱损失，并基于所述频谱损失调整所述样本激励数据；以及
[0018]基于所述样本激励数据和所述样本录音数据，确定所述回采系统的脉冲响应；
[0019]对所述调整后的激励数据和所述脉冲响应进行卷积处理，得到所述回采系统的初始回采数据；
[0020]对所述初始回采数据进行数据增益处理，得到所述回采系统的模拟回采数据。
[0021]在一示例性实施例中，所述样本激励数据基于第一信号值序列表征，所述样本录音数据基于第二信号值序列表征；所述基于所述样本激励数据和所述样本录音数据，确定所述回采系统的脉冲响应，包括：
[0022]基于互相关函数确定所述第一信号值序列和所述第二信号值序列之间的互相关值，并将所述互相关值作为所述回采系统的脉冲响应。
[0023]在一示例性实施例中，所述获取所述回采系统的样本激励数据，包括：
[0024]获取样本音频数据，并基于所述样本音频数据得到针对所述回采系统的最大长度序列、格雷码和扫频信号中的任意一种作为所述样本激励数据。
[0025]在一示例性实施例中，所述模拟回采数据的音频特征包括第一幅频特征和第一相频特征；在所述将所述模拟回采数据的音频特征输入待训练的回采预测模型进行模型训练之前，还包括：
[0026]对所述模拟回采数据依次进行傅里叶变换处理和特征提取处理，得到所述第一幅频特征和所述第一相频特征。
[0027]在一示例性实施例中，所述伴声音频数据的音频特征包括第二幅频特征和第二相频特征；在所述将所述音频特征输入回采预测模型之前，还包括：
[0028]对所述伴声音频数据进行音调调整处理，得到音调调整后的第一处理音频数据；
[0029]对所述第一处理音频数据进行分帧加窗处理，得到分帧加窗后的第二处理音频数据；
[0030]对所述第二处理音频数据进行傅里叶变换处理，得到针对所述伴声音频数据的复数频谱；
[0031]基于所述复数频谱，得到所述第二相频特征和所述第二幅频特征。
[0032]在一示例性实施例中，所述预测音频特征包括对应于所述第二相频特征的预测相频特征和对应于所述第二幅频特征的预测幅频特征；所述基于所述预测音频特征，确定针对所述伴声音频数据的预测回采数据，包括：
[0033]对所述预测幅频特征和所述预测相频特征进行特征融合，得到对应的融合特征；
[0034]对所述融合特征进行傅里叶逆变换处理，得到所述预测回采数据。
[0035]在一示例性实施例中，所述基于所述预测回采数据对所述录制音频数据进行回踩
消除处理，得到所述录制音频数据中关于所述用户的预测干声数据，包括：
[0036]对所述录制音频数据和所述预测回采数据进行线性相关处理，得到线性相关的录制音频数据和预测回采数据；
[0037]对所述线性相关的录制音频数据和预测回采数据进行线性相减处理，得到所述预测干声数据。
[0038]根据本公开实施例的第二方面，提供一种音频数据的处理装置，包括：
[0039]数据获取单元，被配置为执行获取用户演唱目标歌曲时的录制音频数据，所述录制音频数据包括录制到的目标歌曲的伴声音频数据在经过回采系统后得到的回采数据和所述用户的干声数据，所述伴声音频数据包括所述目标歌曲的原唱音频数据或者背景音频数据；
[0040]特征预测单元，被配置为执行提取所述伴声音频数据的音频特征，并将所述音频特征输入回采预测模型，由所述回采预测模型预测所述伴声音频数据在经过回采系统后得到的预测音频特征；
[0041]回采预测单元，被配置为执行基于所述预测音频特征，确定针对所述伴声音频数据的预测回采数据；
[0042]音频消音单元，被配置为执行基于所述预测回采数据对所述录制音频数据进行回踩消除处理，得到所述录制音频数据中关于所述用户的预测干声数据。
[0043]根据本公开实施例的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频数据的处理方法，其特征在于，所述方法包括：获取用户演唱目标歌曲时的录制音频数据，所述录制音频数据包括录制到的目标歌曲的伴声音频数据在经过回采系统后得到的回采数据和所述用户的干声数据，所述伴声音频数据为所述目标歌曲的原唱音频数据或者背景音频数据；提取所述伴声音频数据的音频特征，并将所述音频特征输入回采预测模型，由所述回采预测模型预测所述伴声音频数据在经过回采系统后得到的预测音频特征；基于所述预测音频特征，确定针对所述伴声音频数据的预测回采数据；基于所述预测回采数据对所述录制音频数据进行回踩消除处理，得到所述录制音频数据中关于所述用户的预测干声数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述回采系统的样本激励数据和样本录音数据；所述样本录音数据为所述激励数据在经过所述回采系统后得到的回采数据；基于所述样本激励数据和所述样本录音数据，确定针对所述回采系统的模拟回采数据；提取所述模拟回采数据的音频特征，并将所述模拟回采数据的音频特征输入待训练的回采预测模型进行模型训练，由所述待训练的回采预测模型预测所述模拟回采数据在经过所述回采系统后得到的训练音频特征；基于所述模拟回采数据的音频特征与所述训练音频特征之间的差异，确定所述待训练的回采预测模型的模型损失，并根据所述模型损失调整所述待训练的回采预测模型，直到得到训练完成的回采预测模型。3.根据权利要求2所述的方法，其特征在于，所述基于所述样本激励数据和所述样本录音数据，确定针对所述回采系统的模拟回采数据，包括：对所述样本激励数据进行频谱调整处理，得到调整后的激励数据；所述频谱调整处理用于模拟所述样本激励数据在经过所述回采系统后的频谱损失，并基于所述频谱损失调整所述样本激励数据；以及基于所述样本激励数据和所述样本录音数据，确定所述回采系统的脉冲响应；对所述调整后的激励数据和所述脉冲响应进行卷积处理，得到所述回采系统的初始回采数据；对所述初始回采数据进行数据增益处理，得到所述回采系统的模拟回采数据。4.根据权利要求3所述的方法，其特征在于，所述样本激励数据基于第一信号值序列表征，所述样本录音数据基于第二信号值序列表征；所述基于所述样本激励数据和所述样本录音数据，确定所述回采系统的脉冲响应，包括：基于互相关函数确定所述第一信号值序列和所述第二信号值序列之间的互相关值，并将所述互相关值作为所述回采系统的脉冲...

【专利技术属性】
技术研发人员：张超鹏，邓源强，陈凯，宗旋，
申请(专利权)人：腾讯音乐娱乐科技深圳有限公司，
类型：发明
国别省市：