用于语音处理的模型训练方法、设备、介质及程序产品技术

技术编号:40010106 阅读:23 留言:0更新日期:2024-01-16 15:08
本申请公开了一种用于语音处理的模型训练方法、设备、介质及程序产品,涉及人工智能技术领域。该方法包括:将第一语音样本和第二语音样本输入语音处理模型进行处理,获得第二生成语音,第二生成语音由语音处理模型对第一生成语音中的语音内容的特征以及第一语音样本中的音色的特征进行提取并解码得到,第一生成语音由所述语音处理模型对第一语音样本中的语音内容的特征以及第二语音样本中的音色的特征进行提取并解码得到;通过第一语音样本和第二生成语音之间的差异,对语音处理模型的模型参数进行更新。

【技术实现步骤摘要】

本申请涉及人工智能,特别涉及一种用于语音处理的模型训练方法、设备、介质及程序产品


技术介绍

1、随着人工智能ai技术的不断发展,目前很多应用提供基于ai的音色转换功能,具体来说,就是将一个用户的语音,通过语音处理模型转换成某个特定的对象发出的语音。

2、在相关技术中,上述语音处理模型可以包含语音内容编码器、说话人编码器以及一个解码器;在训练过程中,将语音样本分别输入语音内容编码器和说话人编码器,得到语音内容编码器输出的语音内容的表示,以及说话人编码器输出的音色的表示,然后,通过解码器对上述语音内容的表示和音色的表示进行解码处理,得到合成语音,再根据合成语音和语音样本之间的差异对语音处理模型进行参数更新。


技术实现思路

1、本申请实施例提供了一种用于语音处理的模型训练方法、设备、介质及程序产品,能够提高用于进行音色转换的语音处理模型的准确性。所述技术方案如下:

2、一方面,提供了一种用于语音处理的模型训练方法,所述方法包括:

3、获取第一语音样本和第二语音样本,所述第一语音本文档来自技高网...

【技术保护点】

1.一种用于语音处理的模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述语音处理模型包括语音内容编码器、说话人编码器以及解码器;

3.根据权利要求1或2所述的方法,其特征在于,所述通过所述第一语音样本和所述第二生成语音之间的差异,对所述语音处理模型的模型参数进行更新,以对所述语音处理模型进行训练,包括:

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,在所述感知损失函数值包括第二损失函数值的情况下,所述获取感知损失函数值,包括:</p>

6.根据...

【技术特征摘要】

1.一种用于语音处理的模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述语音处理模型包括语音内容编码器、说话人编码器以及解码器;

3.根据权利要求1或2所述的方法,其特征在于,所述通过所述第一语音样本和所述第二生成语音之间的差异,对所述语音处理模型的模型参数进行更新,以对所述语音处理模型进行训练,包括:

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,在所述感知损失函数值包括第二损失函数值的情况下,所述获取感知损失函数值,包括:

6.根据权利要求4或5所述的方法,其特征在于,在所述感知损失函数值包括第三损失函数值的情况下,所述获取感知损失函数值,包括:

7.根据权利要求2、4至6任一所述的方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的方法,其特征在于,在所述标注信息用于指示所述第三语音样本和所述第四语音样本是同一个说话人的语音的情况下,所述第四函数包括第一函数项和第二函数项,所述第一函数项用于计算所述第四说话人表示的停止梯度操作的操作结果与所述第五说话人表示之间的差值,所述第二函数项用于计算所述第五说话人表示的停止梯度操作的操作结果与所述第四说话人表示之间的差值。

<...

【专利技术属性】
技术研发人员:杨培基
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1