语音数据处理方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:29049364 阅读:17 留言:0更新日期:2021-06-26 06:10
本公开揭示了一种语音数据处理方法、装置、计算机设备及存储介质,属于声音处理技术领域。该方法包括:通过在语音数据样本中添加噪声数据和混响数据得到的加噪语音数据样本对该语音处理模型进行训练的过程中,分别基于语音增强模型部分的输出结果,以及任务处理模型部分的输出结果计算两个损失函数值,再基于两个损失函数值获得一个总损失函数值,并通过这个总损失函数值分别对语音增强模型部分和任务处理模型部分进行参数更新,使得语音增强模型部分能够向着语音处理能力提升的方向进行优化,从而提高了整个语音处理模型对于语音任务处理的准确性。任务处理的准确性。任务处理的准确性。

【技术实现步骤摘要】
语音数据处理方法、装置、计算机设备及存储介质


[0001]本公开涉及声音处理
,特别涉及一种语音数据处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]在语音处理技术中,对待处理的语音数据进行噪声消除,是提高语音处理效果的终端技术手段。
[0003]在相关技术中,可以通过机器学习模型实现对语音数据的去噪和语音处理。例如,对语音中添加噪声,得到带噪声的语音,然后通过带噪声的语音来训练语音增强模型;在语音增强模型训练完成后,通过语音增强模型对带噪声的语音进行处理,得到去噪的语音,然后通过去噪的语音训练语音处理模型。在应用时,将待处理的语音数据输入语音增强模型,并将语音增强模型的输出结果再输入到语音处理模型,得到语音处理结果。
[0004]然而,上述方案训练得到的语音增强模型对输入的语音数据进行处理时,会降低语音质量,导致后续语音处理模型进行语音处理的准确性较低。

技术实现思路

[0005]本公开提供一种语音数据处理方法、装置、计算机设备及存储介质。所述技术方案包括以下内容。
[0006]根据本公开实施例的一个方面,提供了一种语音数据处理方法,所述方法包括:
[0007]获取第一训练数据;所述第一训练数据包括第一语音数据样本、第一噪声数据和第一混响数据;
[0008]根据所述第一语音数据样本、所述第一噪声数据和所述第一混响数据,生成第一加噪语音数据样本;
[0009]通过语音处理模型中的语音增强模型部分,对所述第一加噪语音数据样本进行去噪处理,获得第一去噪结果,所述第一去噪结果中包含第一去噪语音数据样本;
[0010]通过所述语音处理模型中的任务处理模型部分,对所述第一去噪语音数据样本执行指定的语音处理任务,获得预测处理结果;
[0011]根据所述第一去噪结果,获取第一损失函数值;所述第一损失函数值用于指示所述语音增强模型部分对所述第一加噪语音数据样本进行去噪处理时产生的损失;
[0012]根据所述预测处理结果,获取第二损失函数值;所述第二损失函数值用于指示所述语音处理模型对所述第一加噪语音数据样本进行去噪处理和执行所述指定的语音处理任务时产生的损失;
[0013]根据所述第一损失函数值和所述第二损失函数值获取总损失函数值;
[0014]通过所述总损失函数值,分别对所述语音增强模型部分和所述任务处理模型部分进行参数更新,获得训练后的所述语音处理模型。
[0015]在一种可能的实现方式中,所述第一去噪结果中还包含预测变换矩阵;所述第一
去噪语音数据样本是所述第一加噪语音数据样本与所述预测变换矩阵相乘得到的;
[0016]所述根据所述第一去噪结果,获取第一损失函数值,包括:
[0017]根据所述第一语音数据样本、所述第一噪声数据和所述第一混响数据,获取实际变换矩阵;
[0018]将所述实际变换矩阵与所述预测变换矩阵输入第一损失函数,获得所述第一损失函数值。
[0019]在一种可能的实现方式中,所述第一损失函数为均方误差损失函数。
[0020]在一种可能的实现方式中,所述根据所述第一去噪结果,获取第一损失函数值,包括:
[0021]将所述第一去噪语音数据样本以及所述第一语音数据样本输入第一损失函数,获得所述第一损失函数值。
[0022]在一种可能的实现方式中,所述第一训练数据对应有任务标签;所述任务标签是所述第一语音数据样本对应所述指定的语音处理任务的实际结果;
[0023]所述根据所述预测处理结果,获取第二损失函数值,包括:
[0024]将所述预测处理结果,以及所述任务标签输入第二损失函数,获得所述第二损失函数输出的所述第二损失函数值。
[0025]在一种可能的实现方式中,所述根据所述第一损失函数值和所述第二损失函数值获取总损失函数值,包括:
[0026]对所述第一损失函数值和所述第二损失函数值取和,获得所述总损失函数值;
[0027]或者,对所述第一损失函数值和所述第二损失函数值进行加权取和,获得所述总损失函数值;
[0028]或者,对所述第一损失函数值和所述第二损失函数值取平均值,获得所述总损失函数值;
[0029]或者,对所述第一损失函数值和所述第二损失函数值进行加权平均,获得所述总损失函数值。
[0030]在一种可能的实现方式中,所述获取第一训练数据之前,还包括:
[0031]获取第二训练数据;所述第二训练数据包括第二语音数据样本、第二噪声数据和第二混响数据;
[0032]通过所述语音增强模型部分,对第二加噪语音数据样本进行去噪处理,获得第二去噪结果,所述第二去噪结果中包含第二去噪语音数据样本;所述第二加噪语音数据样本是根据所述第二语音数据样本、所述第二噪声数据和所述第二混响数据生成的;
[0033]根据所述第二去噪结果,获取第三损失函数值;所述第三损失函数值用于指示所述语音增强模型部分对所述第二加噪语音数据样本进行去噪处理时产生的损失;
[0034]根据所述第三损失函数值对所述语音增强模型部分进行参数更新。
[0035]在一种可能的实现方式中,所述方法还包括:
[0036]通过所述语音增强模型部分,对目标语音数据进行去噪处理,获得去噪语音数据;
[0037]通过所述任务处理模型部分,对所述去噪语音数据执行所述指定的语音处理任务,获得所述目标语音数据对应所述指定的语音处理任务的处理结果。
[0038]在一种可能的实现方式中,所述指定的语音处理任务包括:声纹识别任务、语音识
别任务以及情感识别任务中的至少一种。
[0039]根据本公开实施例的一个方面,提供了一种语音数据处理装置,所述装置包括:
[0040]训练数据获取模块,用于获取第一训练数据;所述第一训练数据包括第一语音数据样本、第一噪声数据和第一混响数据;
[0041]生成模块,用于根据所述第一语音数据样本、所述第一噪声数据和所述第一混响数据,生成第一加噪语音数据样本;
[0042]语音增强模块,用于通过语音处理模型中的语音增强模型部分,对所述第一加噪语音数据样本进行去噪处理,获得第一去噪结果,所述第一去噪结果中包含第一去噪语音数据样本;
[0043]任务处理模块,用于通过所述语音处理模型中的任务处理模型部分,对所述第一去噪语音数据样本执行指定的语音处理任务,获得预测处理结果;
[0044]第一损失获取模块,用于根据所述第一去噪结果,获取第一损失函数值;所述第一损失函数值用于指示所述语音增强模型部分对所述第一加噪语音数据样本进行去噪处理时产生的损失;
[0045]第二损失获取模块,用于根据所述预测处理结果,获取第二损失函数值;所述第二损失函数值用于指示所述语音处理模型对所述第一加噪语音数据样本进行去噪处理和执行所述指定的语音处理任务时产生的损失;
[0046]总损失获取模块,用于根据所述第一损失函数值和所述第二损本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种语音数据处理方法,其特征在于,所述方法包括:获取第一训练数据;所述第一训练数据包括第一语音数据样本、第一噪声数据和第一混响数据;根据所述第一语音数据样本、所述第一噪声数据和所述第一混响数据,生成第一加噪语音数据样本;通过语音处理模型中的语音增强模型部分,对所述第一加噪语音数据样本进行去噪处理,获得第一去噪结果,所述第一去噪结果中包含第一去噪语音数据样本;通过所述语音处理模型中的任务处理模型部分,对所述第一去噪语音数据样本执行指定的语音处理任务,获得预测处理结果;根据所述第一去噪结果,获取第一损失函数值;所述第一损失函数值用于指示所述语音增强模型部分对所述第一加噪语音数据样本进行去噪处理时产生的损失;根据所述预测处理结果,获取第二损失函数值;所述第二损失函数值用于指示所述语音处理模型对所述第一加噪语音数据样本进行去噪处理和执行所述指定的语音处理任务时产生的损失;根据所述第一损失函数值和所述第二损失函数值获取总损失函数值;通过所述总损失函数值,分别对所述语音增强模型部分和所述任务处理模型部分进行参数更新,获得训练后的所述语音处理模型。2.根据权利要求1所述的方法,其特征在于,所述第一去噪结果中还包含预测变换矩阵;所述第一去噪语音数据样本是所述第一加噪语音数据样本与所述预测变换矩阵相乘得到的;所述根据所述第一去噪结果,获取第一损失函数值,包括:根据所述第一语音数据样本、所述第一噪声数据和所述第一混响数据,获取实际变换矩阵;将所述实际变换矩阵与所述预测变换矩阵输入第一损失函数,获得所述第一损失函数值。3.根据权利要求1所述的方法,其特征在于,所述根据所述第一去噪结果,获取第一损失函数值,包括:将所述第一去噪语音数据样本以及所述第一语音数据样本输入第一损失函数,获得所述第一损失函数值。4.根据权利要求1所述的方法,其特征在于,所述第一训练数据对应有任务标签;所述任务标签是所述第一语音数据样本对应所述指定的语音处理任务的实际结果;所述根据所述预测处理结果,获取第二损失函数值,包括:将所述预测处理结果,以及所述任务标签输入第二损失函数,获得所述第二损失函数输出的所述第二损失函数值。5.根据权利要求1所述的方法,其特征在于,所述根据所述第一损失函数值和所述第二损失函数值获取总损失函数值,包括:对所述第一损失函数值和所述第二损失函数值取和,获得所述总损失函数值;或者,对所述第一损失函数值和所述第二损失函数值进行加权取和,获得所述总损失函数值;
或者,对所述第一损失函数值和所述第二损失函数值取平均值,获得所述总损失函数值;或者,对所述第一损失函数值和所述第二损失函数值进行加权平均,获得所述总损失函数值。6.根据权利要求1所述的方法,其特征在于...

【专利技术属性】
技术研发人员:陈孝良冯大航
申请(专利权)人:北京声智科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1