基于虚拟人物的语音合成方法、装置、介质及设备制造方法及图纸

本公开涉及一种基于虚拟人物的语音合成方法、装置、介质及设备，所述方法包括：获取待合成文本对应的语音特征信息以及获取用于对所述待合成文本进行语音合成的乐理特征信息；将所述语音特征信息和所述乐理特征信息输入语音合成模型，获得与所述待合成文本对应的声学特征和面部图像特征，所述声学特征和所述面部图像特征的序列对齐；根据所述声学特征，获得与所述待合成文本对应的音频信息；在所述虚拟人物上输出所述音频信息，并根据所述面部图像特征控制所述虚拟人物的面部状态显示。因此，可以有效避免虚拟人物的语音输出状态和面部状态显示不一致的问题，提高语音合成的准确度，进而提升用户使用体验。

Speech synthesis method, device, medium and equipment based on virtual character

【技术实现步骤摘要】
基于虚拟人物的语音合成方法、装置、介质及设备
本公开涉及计算机
，具体地，涉及一种基于虚拟人物的语音合成方法、装置、介质及设备。
技术介绍
现今，随着计算机技术的迅速发展，虚拟人物应用逐渐增多。在驱动虚拟人物进行歌唱数据合成时，通常是直接通过虚拟人物形象直接输出语音合成数据，并控制虚拟人物形象循环展现不同的面部表情。然而在上述技术方案中，可能会出现在有唱字输出时，面部表情中嘴处于闭合的状态，造成面部表情状态与语音输出状态不一致。目前并没有很好的解决方案能够解决上述问题。
技术实现思路
提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。第一方面，本公开提供一种基于虚拟人物的语音合成方法，所述方法包括：获取待合成文本对应的语音特征信息以及获取用于对所述待合成文本进行语音合成的乐理特征信息；将所述语音特征信息和所述乐理特征信息输入语音合本文档来自技高网...

【技术保护点】
1.一种基于虚拟人物的语音合成方法，其特征在于，所述方法包括：/n获取待合成文本对应的语音特征信息以及获取用于对所述待合成文本进行语音合成的乐理特征信息；/n将所述语音特征信息和所述乐理特征信息输入语音合成模型，获得与所述待合成文本对应的声学特征和面部图像特征，所述声学特征和所述面部图像特征的序列对齐；/n根据所述声学特征，获得与所述待合成文本对应的音频信息；/n在所述虚拟人物上输出所述音频信息，并根据所述面部图像特征控制所述虚拟人物的面部状态显示。/n

【技术特征摘要】
1.一种基于虚拟人物的语音合成方法，其特征在于，所述方法包括：
获取待合成文本对应的语音特征信息以及获取用于对所述待合成文本进行语音合成的乐理特征信息；
将所述语音特征信息和所述乐理特征信息输入语音合成模型，获得与所述待合成文本对应的声学特征和面部图像特征，所述声学特征和所述面部图像特征的序列对齐；
根据所述声学特征，获得与所述待合成文本对应的音频信息；
在所述虚拟人物上输出所述音频信息，并根据所述面部图像特征控制所述虚拟人物的面部状态显示。


2.根据权利要求1所述的方法，其特征在于，所述语音合成模型是由图像子模型和声学子模型联合训练获得的，以使所述声学特征和所述面部图像特征的序列对齐。


3.根据权利要求2所述的方法，其特征在于，所述声学子模型用于对所述语音特征信息和所述乐理特征信息进行联合处理，以获得清唱和伴奏分别对应的声学特征。


4.根据权利要求2所述的方法，其特征在于，所述语音合成模型是通过如下方式获得的：
获取输入样本集和输出样本集，其中，所述输入样本集包括文本样本和音乐样本，所述输出样本集包括录制的与所述文本样本和所述音乐样本对应音频数据和图像数据；
将文本样本和音乐样本输入信息提取模型，以获得所述文本样本对应的语音特征信息和所述音乐样本对应的乐理特征信息；
将所述文本样本对应的语音特征信息和所述音乐样本对应的乐理特征信息输入至所述语音合成模型，获得训练声学特征和训练面部图像特征以及停止标识，其中，所述停止标识用于指示所述训练声学特征和所述训练面部图像特征对应的序列停止；
根据所述训练声学特征、目标声学特征、训练面部图像特征、目标面部图像特征以及停止标识确定所述语音合成模型的目标损失，在所述目标损失小于预设阈值时结束训练，其中，所述目标声学特征是基于所述音频数据获得的，所述目标面部图像特征是基于所述图像数据获得的。


5.根据权利要求4所述的方法，其特征在于，所述根据所述训练声学特征、目标声学特征、训练面部图像特征、目标面部图像特征以及停止标识确定所述...

【专利技术属性】
技术研发人员：殷翔，顾宇，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11