【技术实现步骤摘要】
语音合成系统的训练方法、装置及语音合成方法、装置
[0001]本专利技术属于语音人机交互领域，尤其涉及一种语音合成系统的训练方法、装置及语音合成方法、装置。
技术介绍
[0002]语音交互因其自然友好的交互方式，逐渐被人们所认可并广泛应用于各个生活场景，如智能机器人、车载语音、智能电视与音响智能玩具、虚拟人等。语音合成技术即TTS技术，代表的是智能设备的说话能力、表达能力，是语音交互领域的一项重要技术。
[0003]随着TTS技术的发展，使用高质量的训练语料已经可以实现和真人无差别的语音合成效果，但目前语音合成服务商仅提供的几个固定的发音人。虽然也有部分厂商提供了发音人定制服务，但价格昂贵。发音人定制服务价格昂贵的一个原因是，目前语音合成需要较多的语料，一般需要专业的播音人员到专业的录音环境录制几十小时的语料，再进行新发音人的训练，其定制周期也非常长。
[0004]目前TTS技术的主流技术是，采用序列到序列的声学模型和神经网络声码器，并且声学模型和声码器是独立训练的。其中，由声学模型实现文本信息到声学特征的转...
【技术保护点】
【技术特征摘要】
1.一种语音合成系统的训练方法，其特征在于，所述训练方法包括：采集目标发音人的训练语音形成训练音频，并对所述训练音频进行文本标注；将获得的文本标注转化为发音单元标注，所述发音单元标注包括对应的声母和带声调的韵母；将所述发音单元标注拆解并转化为不带音调的发音单元向量和音调向量；基于所述训练音频、所述发音单元向量和所述音调向量，形成训练所述语音合成系统的训练样本。2.根据权利要求1所述的训练方法，其特征在于，在将文本标注转化为发音单元标注之后，且在将所述发音单元标注拆解并转化为不带音调的发音单元向量和音调向量之前，还包括：使用基于语音识别的对齐技术检测所述训练音频中的标准字间停顿，并根据检测出的所述标准字间停顿，修改所述发音单元标注，以使修改后的所述发音单元标注包含所述标准字间停顿的信息。3.根据权利要求1所述的训练方法，其特征在于，形成训练所述语音合成系统的训练样本之前，所述训练方法还包括：基于所述发音单元标注，计算所述发音单元标注对应的各字的音频能量，并基于重读字的所述音频能量大于句子中各字的平均音频能量，得到句子中存在的重读字的信息，然后转化为对应的重读向量；所述训练样本还包括所述重读向量。4.根据权利要求1所述的训练方法，其特征在于，形成训练所述语音合成系统的训练样本之前，所述训练方法还包括：根据所述文本标注中标注句子的结束符号，获得对应的句式标识；所述训练样本还包括所述句式标识。5.根据权利要求1所述的训练方法，其特征在于，形成训练所述语音合成系统的训练样本之前，还包括：筛选所述训练音频中的浊音段；使用声纹提取技术，提取所述浊音段的声纹进行平均作为发音人编码；所述训练样本还包括所述发音人编码。6.根据权利要求1所述的训练方法，其特征在于，所述发音单元向量与所述音调向量一一对应。7.根据权利要求6所述的训练方法，其特征在于，所述发音单元向量包括与拼音字母对应的字母向量单元和不发音单元，所述不发音单元用于表示起始和结束的静音以及停顿的标点符号。8.根据权利要求7所述的训练方法，其特征在于，所述音调向量定义6个音调标识，分别对应不发音单元及声母的没声调，韵母的一声、二声、三声、四声、轻声，其中，所述不发音单元及声母的没声调对应同一个所述音调标识。9.根据权利要求1
‑
8任一项所述的训练方法，其特征在于，所述语音合成系统为基于VITS的语音合成系统。10.根据权利要求9所述的训练方法，其特征在于，所述训练样本包括所述发音单元向
量和所述音调向量，所述训练方法还包括：对所述训练样本的所述发音单元向量和所述音调向量，分别采用不同的嵌入网络层进行编码；将所述音调向量编码后得到的第二特征向量叠加到所述发音单元向量编码后得到的第一特征向量上，输入所述语音合成系统的神经网络；所述神经网络经过训练后，所述语音合成系统学习发音单元依据音调进行变调的规律。11.根据权利要求10所述的训练方法，其特征在于，所述训练样本包括所述训练音频和重读向量，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。