韵律预测模型训练方法、韵律预测方法及相关装置制造方法及图纸

本发明专利技术实施例提供了一种韵律预测模型训练方法、韵律预测方法及相关装置，训练方法包括：利用待训练的韵律预测模型确定当前文本单元和前一文本单元；获取当前文本单元的训练当前文本预测向量，获取前一文本单元的前一韵律预测向量，对二者进行融合，得到训练韵律融合预测向量；根据训练当前文本预测向量获取第一训练预测韵律向量，根据训练韵律融合预测向量获取第二训练预测韵律向量；根据第一训练预测韵律向量、第二训练预测韵律向量和当前基准韵律向量获取当前文本单元预测损失，调整模型的参数，得到训练完成的韵律预测模型。本发明专利技术实施例所提供的韵律预测模型训练方法、韵律预测方法及相关装置，可以提高韵律预测的准确性。

【技术实现步骤摘要】
韵律预测模型训练方法、韵律预测方法及相关装置
本专利技术实施例涉及计算机领域，尤其涉及一种韵律预测模型训练方法、韵律预测方法及相关装置。
技术介绍
随着计算机技术和深度学习技术的发展，语音合成技术成为一个重要的研究方向，并得到广泛以用，比如：语音播报、语音导航以及智能音箱等。在语音合成中，需要对文本韵律进行预测，并且韵律预测质量的好坏直接影响合成语音的自然度和文本语义层面上意思表达的准确性。在进行韵律预测时，需要从文本信息中提取特征信息，包括浅层特征信息和深层特征信息，其中浅层特征信息包括词长、词性、标点符号等特征信息，这类信息虽然经过文本分析后，能够直观地从文本分析结果中提取出来，但由于其涵盖的语言信息较表面化，不能体现句子中各文本之间的语义关系，容易造成所预测的韵律不准确，且不能保证韵律单元的语义完整性；而对于深层特征信息，每种深层特征信息所涵盖的信息都是单一的，导致使用任何一种深层特征信息进行韵律预测的能力有限，将多种深层特征信息进行组合时，不同的深层特征信息之间又会产生副作用，影响韵律预测的准确性。为此，如何提高韵律预测的准确性本文档来自技高网...

【技术保护点】
1.一种韵律预测模型训练方法，其特征在于，包括：/n利用待训练的韵律预测模型确定当前文本单元和前一文本单元，其中，所述当前文本单元为当前训练文本的文本单元，所述前一文本单元为按照当前训练文本的各个文本单元的位置排列，邻近且位于所述当前文本单元前的文本单元，或者用于表示所述当前训练文本开始的文本初始单元，各个所述文本单元均标注有基准韵律；/n获取所述当前文本单元的训练当前文本预测向量，获取所述前一文本单元的前一韵律预测向量，对所述训练当前文本预测向量和所述前一韵律预测向量进行融合，得到所述当前文本单元的训练韵律融合预测向量；/n根据所述训练当前文本预测向量对所述当前文本单元的韵律进行预测，得到第...

【技术特征摘要】
1.一种韵律预测模型训练方法，其特征在于，包括：
利用待训练的韵律预测模型确定当前文本单元和前一文本单元，其中，所述当前文本单元为当前训练文本的文本单元，所述前一文本单元为按照当前训练文本的各个文本单元的位置排列，邻近且位于所述当前文本单元前的文本单元，或者用于表示所述当前训练文本开始的文本初始单元，各个所述文本单元均标注有基准韵律；
获取所述当前文本单元的训练当前文本预测向量，获取所述前一文本单元的前一韵律预测向量，对所述训练当前文本预测向量和所述前一韵律预测向量进行融合，得到所述当前文本单元的训练韵律融合预测向量；
根据所述训练当前文本预测向量对所述当前文本单元的韵律进行预测，得到第一训练预测韵律向量，根据所述训练韵律融合预测向量对所述当前文本单元的韵律进行预测，得到第二训练预测韵律向量；
根据所述第一训练预测韵律向量和所述当前文本单元的当前基准韵律向量获取第一损失，根据所述第二训练预测韵律向量和所述当前基准韵律向量获取第二损失，根据所述第一损失和所述第二损失获取当前文本单元预测损失，根据所述当前文本单元预测损失调整所述韵律预测模型的参数，直至所述当前文本单元预测损失满足文本单元损失阈值，得到训练完成的所述韵律预测模型。


2.如权利要求1所述的韵律预测模型训练方法，其特征在于，所述获取所述当前文本单元的训练当前文本预测向量的步骤包括：
获取所述当前文本单元的当前文本向量；
根据所述当前文本向量和所述当前文本在所述当前文本数据的位置，获取当前文本位置向量；
根据所述当前文本向量和所述当前文本位置向量，获取所述训练当前文本预测向量。


3.如权利要求2所述的韵律预测模型训练方法，其特征在于，所述根据所述当前文本向量和所述当前文本位置向量，获取所述训练当前文本预测向量的步骤包括：
将所述当前文本向量和所述当前文本位置向量进行融合，得到当前文本位置融合向量；
对所述当前文本位置融合向量进行编码，得到所述训练当前文本预测向量。


4.如权利要求3所述的韵律预测模型训练方法，其特征在于，所述对所述当前文本位置融合向量进行编码，得到所述训练当前文本预测向量的步骤包括：
利用多头-自注意力机制模块对所述当前文本位置融合向量进行特征提取，得到文本自注意力向量；
对所述文本自注意力向量和所述当前文本位置融合向量进行融合和归一化处理，得到文本归一化向量；
对所述文本归一化向量进行非线性变换，得到所述训练当前文本预测向量。


5.如权利要求1所述的韵律预测模型训练方法，其特征在于，所述获取所述前一文本单元的前一韵律预测向量的步骤包括：获取所述前一文本单元的基准韵律的前一韵律预测向量。


6.如权利要求5所述的韵律预测模型训练方法，其特征在于，所述获取所述前一文本单元的基准韵律的前一韵律预测向量的步骤包括：
获取所述前一文本单元的基准韵律的前一基准韵律向量；
根据所述前一基准韵律向量和所述前一文本单元在所述当前文本数据的位置，获取所述前一文本单元的韵律位置向量；
根据所述前一基准韵律向量和所述韵律位置向量，获取所述前一韵律预测向量。


7.如权利要求6所述的韵律预测模型训练方法，其特征在于，所述根据所述前一基准韵律向量和所述韵律位置向量，获取所述前一韵律预测向量的步骤包括：
将所述前一基准韵律向量和所述韵律位置向量进行融合，得到前一文本韵律位置融合向量；
对所述前一文本韵律位置融合向量进行解码，得到所述前一韵律预测向量。


8.如权利要求7所述的韵律预测模型训练方法，其特征在于，所述对所述前一文本韵律位置融合向量进行解码，得到所述前一韵律预测向量的步骤包括：
利用多头-自注意力机制模块对所述前一文本韵律位置融合向量进行特征提取，得到韵律自注意力向量；
对所述韵律自注意力向量和所述前一文本韵律位置融合向量进行融合和归一化处理，得到韵律归一化向量；
对所述韵律归一化向量进行非线性变换，得到所述前一韵律预测向量。


9.如权利要求1-8任一项所述的韵律预测模型训练方法，其特征在于，所述根据所述当前文本单元预测损失调整所述韵律预测模型的参数，直至所述当前文本单元预测损失满足文本单元损失阈值，得到训练完成的所述韵律预测模型的步骤之前还包括：
确定所述当前训练文本中未完成韵律预测的文本单元为新的当前文本单元，根据新的所述当前文本单元确定新的前一文本单元，直至已完成所述当前训练文本的各个文本单元的韵律预测时，根据各个所述文本单元预测损失获取文本预测损失；
所述根据所述当前文本单元预测损失调整所述韵律预测模型的参数，直至所述当前文本单元预测损失满足文本单元损失阈值，得到训练完成的所述韵律预测模型的步骤包括：
根据所述文本预测损失调整所述韵律预测模型的参数，直至所述文本预测损失满足文本预...

【专利技术属性】
技术研发人员：李成飞，袁军峰，杨嵩，
申请(专利权)人：北京世纪好未来教育科技有限公司，
类型：发明
国别省市：北京;11