语音时长预测方法、装置、设备及可读存储介质制造方法及图纸

本申请实施例公开了一种语音时长预测方法、装置、设备及可读存储介质，在获取文本数据后，利用预先训练好的时长预测模型对文本数据进行至少两个韵律层级的编码，得到至少两个韵律层级的编码特征序列；利用上述时长预测模型，根据上述至少两个韵律层级的编码特征序列，生成文本数据对应的语音时长序列，该方案在对文本数据进行编码时，进行了至少两个韵律层级的编码，从而可以对语音时长进行不同韵律层级的控制，基于该方法预测的语音时长进行语音合成时，降低了一字一顿现象出现的概率，使得合成语音的连续性更好。得合成语音的连续性更好。得合成语音的连续性更好。

Speech duration prediction method, device, device and readable storage medium

【技术实现步骤摘要】
语音时长预测方法、装置、设备及可读存储介质


[0001]本申请涉及语音处理
，更具体地说，涉及一种语音时长预测方法、装置、设备及可读存储介质。

技术介绍

[0002]随着人工智能相关技术应用的发展，语音合成技术的应用领域不断拓展，例如，从广播式应用(如车站、银行、机场广播等)到人机交互式应用(如人工智能助理、客服等)等领域都会应用到语音合成技术，这对合成语音的表现力、音质等有了更高的要求。
[0003]时长预测是语音合成技术的一个重要环节，然而，本申请的专利技术人研究发现，基于目前的时长预测方法预测的语音时长进行语音合成时，易出现一字一顿现象，连续感差。

技术实现思路

[0004]有鉴于此，本申请提供了一种语音时长预测方法、装置、设备及可读存储介质，以提高合成语音的连续性。
[0005]为了实现上述目的，现提出的方案如下：
[0006]一种语音时长预测方法，包括：
[0007]获取文本数据；
[0008]利用预先训练好的时长预测模型对所述文本数据进行至少两个韵律层级的编码，得到至少两个韵律层级的编码特征序列；
[0009]利用所述时长预测模型，根据所述至少两个韵律层级的编码特征序列，生成所述文本数据对应的语音时长序列。
[0010]上述方法，优选的，利用所述时长预测模型得到至少两个韵律层级的编码特征序列；根据所述至少两个韵律层级的编码特征序列，生成所述文本数据对应的语音时长序列的过程，包括：
[0011]利用所述时长预测模型的编码模块，对所述文本数据进行至少两个韵律层级的编码，得到至少两个韵律层级的编码特征序列；
[0012]利用所述时长预测模型的时长生成模块，根据所述至少两个韵律层级的编码特征序列，生成所述文本数据对应的语音时长序列。
[0013]上述方法，优选的，利用所述时长预测模型的编码模块，对所述文本数据进行至少两个韵律层级的编码，得到至少两个层级的编码特征序列，包括：
[0014]利用所述时长预测模型的特征提取模块，提取所述文本数据的特征，得到文本特征序列，作为最低韵律层级的编码特征序列；
[0015]利用所述时长预测模型的韵律特征获取模块，对所述文本特征序列进行至少一个非最低韵律层级的编码，得到至少一个非最低韵律层级的韵律特征序列，作为所述至少两个韵律层级的编码特征序列中其它韵律层级的编码特征序列。
[0016]上述方法，优选的，所述利用所述时长预测模型的时长生成模块，根据所述至少两
个韵律层级的编码特征序列，生成所述文本数据对应的语音时长序列，包括：
[0017]利用所述时长预测模型的第一时长生成模块，根据所述至少两个韵律层级的编码特征序列，生成所述文本特征序列对应的语音时长序列，作为所述文本数据对应的语音时长序列；其中，所述语音时长序列中的语音时长与所述文本特征序列中的文本特征一一对应；
[0018]或者，
[0019]利用所述时长预测模型的第一时长生成模块，根据所述至少两个韵律层级的编码特征序列，生成所述文本特征序列对应的语音时长序列；
[0020]利用所述时长预测模型的第二时长生成模块，根据每个韵律特征序列，生成该韵律特征序列对应的语音时长序列；该语音时长序列中的语音时长与该韵律特征序列中的韵律特征一一对应；
[0021]对所述文本特征序列对应的语音时长序列以及各个韵律特征序列对应的语音时长序列进行处理，得到所述文本数据对应的语音时长序列。
[0022]上述方法，优选的，利用所述第一时长生成模块，根据所述至少两个韵律层级的编码特征序列，生成所述文本特征序列对应的语音时长序列的过程，包括：
[0023]利用所述时长预测模型的拼接模块，对应每一个文本特征，将该文本特征，以及基于该文本特征生成的各个韵律层级的韵律特征进行拼接，得到该文本特征对应拼接特征；
[0024]利用所述时长预测模型的采样模块，在预先设定好的符合预设分布的变量中进行采样，得到与各个拼接特征对应的目标值；
[0025]利用所述时长预测模型的变换模块，根据由各个文本特征对应的拼接特征构成的拼接特征序列，对由各个目标值构成的目标值序列进行第一变换，得到所述文本特征序列对应的语音时长序列；其中，所述变换模块具有：根据所述拼接特征序列，对所述文本特征序列对应的语音时长序列进行所述第一变换的逆变换，得到所述目标值序列的能力。
[0026]上述方法，优选的，利用所述采样模块在所述符合预设分布的变量中进行采样的过程，包括：
[0027]对应每一个拼接特征，利用所述采样模块在所述符合预设分布的变量中进行随机采样，得到该拼接特征对应的目标值；
[0028]或者，
[0029]对应每一个拼接特征，利用所述采样模块对所述符合预设分布的变量的参数进行调整，以确定与该拼接特征对应的目标采样范围；在该拼接特征对应的目标采样范围内进行随机采样，得到该拼接特征对应的目标值；
[0030]或者，
[0031]对应部分拼接特征，利用所述采样模块在所述符合预设分布的变量中进行随机采样，得到该部分拼接特征中的各个拼接特征对应的目标值；
[0032]对应另一部分拼接特征，利用所述采样模块对所述符合预设分布的变量的参数进行调整，以确定与各个拼接特征对应的目标采样范围；在各个拼接特征对应的目标采样范围内进行随机采样，得到该另一部分拼接特征中各个拼接特征对应的目标值。
[0033]上述方法，优选的，所述预设分布为高斯分布，所述对应每一个拼接特征，利用所述采样模块对所述符合预设分布的变量的参数进行调整，以确定与该拼接特征对应的目标
采样范围，包括：
[0034]对应每一个拼接特征，利用所述采样模块调节所述高斯分布的方差的大小，将符合调节方差后的高斯分布的变量的取值范围作为该拼接特征对应的目标采样范围。
[0035]上述方法，优选的，所述对所述文本特征序列对应的语音时长序列以及各个韵律特征序列对应的语音时长序列进行处理，得到所述文本数据对应的语音时长序列的过程，包括：
[0036]按照韵律层级由高到低的顺序，对于任意两个相邻韵律层级的语音时长序列，根据该两个相邻韵律层级的语音时长序列中较高韵律层级的语音时长序列，对该两个相邻韵律层级的语音时长序列中较低韵律层级的语音时长序列的语音时长进行调整，使得较低韵律层级的语音时长序列中语音时长的总和等于较高韵律层级的语音时长序列中语音时长的总和。
[0037]上述方法，优选的，所述语音时长预测模型的训练过程包括：
[0038]利用所述特征提取模块，提取文本样本的特征，得到所述文本样本的文本特征序列；
[0039]利用所韵律特征获取模块，对所述文本样本的文本特征序列进行至少一个韵律层级的编码，得到所述文本样本的至少一个韵律层级的韵律特征序列；
[0040]利用所述第一时长生成模块，根据所述文本样本的文本特征序列以及各个韵律特征序列，生成所述文本特征序列对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音时长预测方法，其特征在于，包括：获取文本数据；利用预先训练好的时长预测模型对所述文本数据进行至少两个韵律层级的编码，得到至少两个韵律层级的编码特征序列；利用所述时长预测模型，根据所述至少两个韵律层级的编码特征序列，生成所述文本数据对应的语音时长序列。2.根据权利要求1所述的方法，其特征在于，利用所述时长预测模型得到至少两个韵律层级的编码特征序列；根据所述至少两个韵律层级的编码特征序列，生成所述文本数据对应的语音时长序列的过程，包括：利用所述时长预测模型的编码模块，对所述文本数据进行至少两个韵律层级的编码，得到至少两个韵律层级的编码特征序列；利用所述时长预测模型的时长生成模块，根据所述至少两个韵律层级的编码特征序列，生成所述文本数据对应的语音时长序列。3.根据权利要求2所述的方法，其特征在于，利用所述时长预测模型的编码模块，对所述文本数据进行至少两个韵律层级的编码，得到至少两个层级的编码特征序列，包括：利用所述时长预测模型的特征提取模块，提取所述文本数据的特征，得到文本特征序列，作为最低韵律层级的编码特征序列；利用所述时长预测模型的韵律特征获取模块，对所述文本特征序列进行至少一个非最低韵律层级的编码，得到至少一个非最低韵律层级的韵律特征序列，作为所述至少两个韵律层级的编码特征序列中其它韵律层级的编码特征序列。4.根据权利要求3所述的方法，其特征在于，所述利用所述时长预测模型的时长生成模块，根据所述至少两个韵律层级的编码特征序列，生成所述文本数据对应的语音时长序列，包括：利用所述时长预测模型的第一时长生成模块，根据所述至少两个韵律层级的编码特征序列，生成所述文本特征序列对应的语音时长序列，作为所述文本数据对应的语音时长序列；其中，所述语音时长序列中的语音时长与所述文本特征序列中的文本特征一一对应。5.根据权利要求3所述的方法，其特征在于，所述利用所述时长预测模型的时长生成模块，根据所述至少两个韵律层级的编码特征序列，生成所述文本数据对应的语音时长序列，包括：利用所述时长预测模型的第一时长生成模块，根据所述至少两个韵律层级的编码特征序列，生成所述文本特征序列对应的语音时长序列；利用所述时长预测模型的第二时长生成模块，根据每个韵律特征序列，生成该韵律特征序列对应的语音时长序列；该语音时长序列中的语音时长与该韵律特征序列中的韵律特征一一对应；对所述文本特征序列对应的语音时长序列以及各个韵律特征序列对应的语音时长序列进行处理，得到所述文本数据对应的语音时长序列。6.根据权利要求4或5所述的方法，其特征在于，利用所述第一时长生成模块，根据所述至少两个韵律层级的编码特征序列，生成所述文本特征序列对应的语音时长序列的过程，包括：
利用所述时长预测模型的拼接模块，对应每一个文本特征，将该文本特征，以及基于该文本特征生成的各个韵律层级的韵律特征进行拼接，得到该文本特征对应拼接特征；利用所述时长预测模型...

【专利技术属性】
技术研发人员：胡亚军，江源，胡国平，胡郁，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：