语音合成方法、模型训练方法、装置和计算机设备制造方法及图纸

本申请涉及一种语音合成方法、模型训练方法、装置和计算机设备，所述方法包括：获取待处理的语言学数据；对所述语言学数据编码，得到语言学编码数据；获取用于语音特征转换的嵌入向量；所述嵌入向量，根据对应相同参考语言学数据的参考合成语音数据和参考语音数据之间的残差生成；根据所述嵌入向量对所述语言学编码数据进行解码，获得经过语音特征转换的目标合成语音数据。本申请提供的方案可以避免因对数梅尔频谱中的语义特征影响合成语音的质量的问题。

【技术实现步骤摘要】
语音合成方法、模型训练方法、装置和计算机设备
本申请涉及语音合成
，特别是涉及一种语音合成方法、模型训练方法、装置和计算机设备。
技术介绍
随着语音合成技术和计算机技术的不断发展，语音交互的应用场景越来越广泛，用户可以很方便地通过数字产品获得各种语音相关的服务，如用户通过手机中的电子地图进行语音导航，通过阅读软件收听有声小说等。对于合成的语音而言，若语音具有人的语音特征时，无疑会提高用户体验。使合成的语音具有人的语音特征，通常的做法是：以处理语音数据所得的对数梅尔频谱作为特征模型的输入变量，获得说话人的语音特征，然后端到端模型(Tacotron)根据所获得的语音特征和对应的文本特征合成语音数据，从而使合成的语音数据具有说话人的语音特征。然而，上述方案中，由于对数梅尔频谱中既包含话人的语音特征又包含语义特征，从而影响从对数梅尔频谱中提取语音特征，进而影响合成语音的质量。
技术实现思路
基于此，有必要针对因对数梅尔频谱中的语义特征影响合成语音的质量的技术问题，提供一种语音合成方法、模型训练方法、装置和计算机设备。一种语音合成方法，包括：获取待处理的语言学数据；对所述语言学数据编码，得到本文档来自技高网...

【技术保护点】
1.一种语音合成方法，包括：获取待处理的语言学数据；对所述语言学数据编码，得到语言学编码数据；获取用于语音特征转换的嵌入向量；所述嵌入向量，根据对应相同参考语言学数据的参考合成语音数据和参考语音数据之间的残差生成；根据所述嵌入向量对所述语言学编码数据进行解码，获得经过语音特征转换的目标合成语音数据。

【技术特征摘要】
1.一种语音合成方法，包括：获取待处理的语言学数据；对所述语言学数据编码，得到语言学编码数据；获取用于语音特征转换的嵌入向量；所述嵌入向量，根据对应相同参考语言学数据的参考合成语音数据和参考语音数据之间的残差生成；根据所述嵌入向量对所述语言学编码数据进行解码，获得经过语音特征转换的目标合成语音数据。2.根据权利要求1所述的方法，其特征在于，还包括：获取参考语言学数据和相应的参考语音数据；对所述参考语言学数据编码，得到参考语言学编码数据；解码所述参考语言学编码数据，得到参考合成语音数据；根据所述参考语音数据和所述参考合成语音数据间的残差，确定用于语音特征转换的嵌入向量。3.根据权利要求2所述的方法，其特征在于，所述根据所述参考语音数据和所述参考合成语音数据间的残差，确定用于语音特征转换的嵌入向量包括：确定所述参考语音数据和所述参考合成语音数据间的残差；通过残差模型处理所述残差；根据所述残差模型中前向运算的结果和后向运算的结果，生成用于语音特征转换的嵌入向量。4.根据权利要求3所述的方法，其特征在于，所述根据所述残差模型中前向运算的结果和后向运算的结果，生成用于语音特征转换的嵌入向量包括：获取所述残差模型中前向门循环单元层进行前向运算时在最后一个时间步输出的第一向量；获取所述残差模型中后向门循环单元层进行后向运算时在第一个时间步输出的第二向量；将所述第一向量和所述第二向量叠加，获得用于语音特征转换的嵌入向量。5.根据权利要求3所述的方法，其特征在于，所述通过残差模型处理所述残差包括：通过残差模型处理所述残差中的全连接层，依次通过所述全连接层、前向门循环单元层和后向门循环单元层进行处理。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述语言学编码数据通过第一编码器进行编码得到；所述目标合成语音数据通过第一解码器进行解码得到；还包括：获取训练语言学数据和相应的训练语音数据；通过第一编码器对训练语言学数据编码，得到第一训练语言学编码数据；获取用于语音特征转换的训练嵌入向量；所述训练嵌入向量，根据对应相同训练语言学数据的训练合成语音数据和训练语音数据之间的残差生成；通过第一解码器，根据所述训练嵌入向量对所述第一训练语言学编码数据进行解码，获得经过语音特征转换的预测目标合成语音数据；根据所述预测目标合成语音数据和训练语音数据间的差异，调整所述第一编码器和所述第一解码器，并继续训练，直至满足训练停止条件。7.根据权利要求2至5任一项所述的方法，其特征在于，所述语言学编码数据通过第一编码器进行编码得到；所述目标合成语音数据通过第一解码器进行解码得到；所述参考语言学编码数据通过第二编码器进行编码得到；所述参考合成语音数据通过第二解码器进行解码得到；所述嵌入向量通过残差模型得到。8.根据权利要求7所述的方法，其特征在于，还包括：获取训练语言学数据和相应的训练语音数据；通过第二编码器将训练语言学数据编码，得到第二训练语言学编码数据；通过第二解码器对第二训练语言学编码数据解码，得到训练合成语音数据；通过残差模型，并根据训练合成语音数据和所述训练语音数据之间的残差生成训练嵌入向量；根据所述训练嵌入向量对第一训练语言学编码数据进行解码，获得经过语音特征转换的预测目标合成语音数据；根据所述预测目标合成语音数据和训练语音数据间的差异，调整所述第二编码器、所述...

【专利技术属性】
技术研发人员：吴锡欣，王木，康世胤，苏丹，俞栋，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44