一种韵律预测的方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种韵律预测的方法、装置、设备及存储介质，涉及自然语言理解技术领域。从文本语义和文本标点两方面分析文本语义，再综合文本语义和文本标点对文本语义的影响，预测该文本的韵律信息，保证在文本本身出现歧义的情况下，能够准确地预测文本的韵律信息。所述方法包括：获得待合成文本的语义向量；对所述待合成文本的每个停顿标记进行向量转换，得到所述待合成文本的标记向量；合并所述语义向量和所述标记向量，得到第一特征向量；将所述第一特征向量输入预设的韵律预测模型，得到所述待合成文本的韵律信息。

【技术实现步骤摘要】
一种韵律预测的方法、装置、设备及存储介质
本申请涉及自然语言处理
，特别是涉及一种韵律预测的方法、装置、设备及存储介质。
技术介绍
自然语言处理是指用计算机理解、处理以及运用人类语言(如中文、英文)等，它属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。语音合成，又称(texttospeech)是指利用自然语言处理将文字转换为能够合成语音的模拟信号的技术。语音合成包括文本分析、文本规范化、语音分析、韵律分析等流程。现有技术下，由于韵律预测模型预测发音的韵律的依据较为模糊，导致预测的韵律信息不能准确地反应文本真实表达的意思。
技术实现思路
本申请实施例提供一种韵律预测的方法、装置、设备及存储介质，从文本语义和文本标点两方面分析文本语义，再综合文本语义和文本标点对文本语义的影响，预测该文本的韵律信息，保证在文本本身出现歧义的情况下，能够准确地预测文本的韵律信息。本申请实施例第一方面提供一种韵律预测的方法，所述方法包括：获得待合成文本的语义向量；对所述待合成文本的每个停顿标记进行向量转换，得到所述待合成文本的标记向量；合并所述语义向量和所述标记向量，得到第一特征向量；将所述第一特征向量输入预设的韵律预测模型，得到所述待合成文本的韵律信息。可选地，所述语义向量包括字向量和词向量；获得待合成文本的语义向量，包括：清除所述待合成文本的标点；对清除标点后的待合成文本的每个文字进行向量转换，得到所述字向量；对清除标点后的待合成文本进行分词，得到多个词语；根据每个词语的组成文字，对所述多个词语进行向量转换，得到所述词向量。可选地，所述方法还包括：获得具有正确标点的文本样本；利用第一占位标记替换所述文本样本中的文字，得到停顿标记样本；对所述停顿标记样本进行向量转换，得到标记样本向量；对所述文本样本进行韵律标注，得到韵律标记；清除所述文本样本中的标点，得到文字样本；对所述文字样本进行向量转换，得到语义向量样本；将所述语义向量样本输入第一预设模型，得到中间向量；将所述中间向量和所述标记样本向量输入第二预设模型，得到预测韵律信息；根据所述预测韵律信息和所述韵律标记的损失函数的取值，对所述第一预设模型和所述第二预设模型分别进行修正；将修正后的所述第一预设模型和修正后的所述第二预设模型结合，得到所述预设的韵律预测模型。可选地，所述方法还包括：删除或替换所述文本样本中的部分标点，得到所述文本样本的对照样本；利用第二占位标记替换所述对照样本中的文字，得到对照停顿标记样本；对所述对照停顿标记样本进行向量转换，得到对照标记样本向量；分别将所述标记样本向量和所述对照标记样本向量，与所述语义向量样本合并，得到第二特征向量和第三特征向量；将所述语义向量样本输入第一预设模型，得到中间向量，包括：分别将所述第二特征向量和所述第三特征向量输入所述第一预设模型，得到对应所述第二特征向量的第一中间向量和对应所述第三特征向量的第二中间向量。可选地，将所述中间向量和所述标记样本向量输入第二预设模型，得到预测韵律信息，包括：所述中间向量和所述标记样本向量按照各自在所述第二预设模型的权重参数，参与所述第二预设模型的计算，得到所述预测韵律信息；在得到预测韵律信息后，所述方法还包括：将所述预测韵律信息输入韵律条件随机场模型，得到调整后的预测韵律信息；根据所述预测韵律信息和所述韵律标记的损失函数的取值，对所述第一预设模型和所述第二预设模型分别进行修正，包括：根据所述调整后的预测韵律信息和所述韵律标记的损失函数的取值，调整所述第一预设模型的参数；根据所述调整后的预测韵律信息和所述韵律标记的损失函数的取值，调整所述权重参数。本申请实施例第二方面提供一种韵律预测的装置，所述装置包括：语义向量获得模块，用于获得待合成文本的语义向量；第一标记向量转换模块，用于对所述待合成文本的每个停顿标记进行向量转换，得到所述待合成文本的标记向量；第一合并模块，用于合并所述语义向量和所述标记向量，得到第一特征向量；第一韵律预测模块，用于将所述第一特征向量输入预设的韵律预测模型，得到所述待合成文本的韵律信息。本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。本申请实施例在使用预设的韵律预测模型对待合成文本进行韵律标记之前，先分别获得待合成文本的语义向量和标记向量，语义向量专注待合成文本文字表达的语义，标记向量专注待合成文本文字的停顿意义。再将由语义向量和标记向量合并得到的第一特征向量输入预设的韵律预测模型，以使预设的韵律预测模型能够区分文字对语义的影响和标点对文字的影响，又能根据语义特征预测韵律信息，又能结合标点特征对待合成文本停顿的影响，优化预测的停顿信息，保证预设的韵律预测模型对待合成文本标记的韵律标记，能够使最终合成的语音准确地表达出该待合成文本准确的语义。本申请将文本的语义特征，即文字特征和词语特征作为影响文本韵律的主要特征，先以文字特征和词语特征，或者对文字特征和词语特征叠加标点特征训练第一预设模型，使第一预设模型学习具有分析文本语义，基于文本语义初步预测文本韵律信息的功能，最大化保留语义对韵律的影响。再利用文本的标点特征调整第二预设模型的注意力机制，根据标点在文本中的停顿意义调整根据语义初步预测的韵律信息，保证在文本语义出现歧义时，利用标点特征选择表达正确的语义的韵律，以保证韵律预测的准确性附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提出的韵律预测的步骤流程图；图2是本申请实施例训练韵律预测模型的步骤流程图；图3是本申请实施例训练韵律预测模型的流程图；图4是本申请另一个实施例训练韵律预测模型的流程图；图5是本申请实施例的韵律预测模型的结构示意图；图6是本申请实施例提出的韵律预测的装置的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。...

【技术保护点】
1.一种韵律预测的方法，其特征在于，所述方法包括：/n获得待合成文本的语义向量；/n对所述待合成文本的每个停顿标记进行向量转换，得到所述待合成文本的标记向量；/n合并所述语义向量和所述标记向量，得到第一特征向量；/n将所述第一特征向量输入预设的韵律预测模型，得到所述待合成文本的韵律信息。/n

【技术特征摘要】
1.一种韵律预测的方法，其特征在于，所述方法包括：
获得待合成文本的语义向量；
对所述待合成文本的每个停顿标记进行向量转换，得到所述待合成文本的标记向量；
合并所述语义向量和所述标记向量，得到第一特征向量；
将所述第一特征向量输入预设的韵律预测模型，得到所述待合成文本的韵律信息。


2.根据权利要求1所述的方法，其特征在于，所述语义向量包括字向量和词向量；获得待合成文本的语义向量，包括：
清除所述待合成文本的标点；
对清除标点后的待合成文本的每个文字进行向量转换，得到所述字向量；
对清除标点后的待合成文本进行分词，得到多个词语；
根据每个词语的组成文字，对所述多个词语进行向量转换，得到所述词向量。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获得具有正确标点的文本样本；
利用第一占位标记替换所述文本样本中的文字，得到停顿标记样本；
对所述停顿标记样本进行向量转换，得到标记样本向量；
对所述文本样本进行韵律标注，得到韵律标记；
清除所述文本样本中的标点，得到文字样本；
对所述文字样本进行向量转换，得到语义向量样本；
将所述语义向量样本输入第一预设模型，得到中间向量；
将所述中间向量和所述标记样本向量输入第二预设模型，得到预测韵律信息；
根据所述预测韵律信息和所述韵律标记的损失函数的取值，对所述第一预设模型和所述第二预设模型分别进行修正；
将修正后的所述第一预设模型和修正后的所述第二预设模型结合，得到所述预设的韵律预测模型。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
删除或替换所述文本样本中的部分标点，得到所述文本样本的对照样本；
利用第二占位标记替换所述对照样本中的文字，得到对照停顿标记样本；
对所述对照停顿标记样本进行向量转换，得到对照标记样本向量；
分别将所述标记样本向量和所述对照标记样本向量，与所述语义向量样本合并，得到第二特征向量和第三特征向量；
将所述语义向量样本输入第一预设模型，得到中间向量，包括：
分别将所述第二特征向量和所述第三特征向量输入所述第一预设模型，得到对应所述第二特征向量的第一中间向量和对应所述第三特征向量的第二中间向量。


5.根据权利要求3所述的方法，其特征在于，将所述中间向量和所述标记样本向量输入第二预设模型，得到预测韵律信息，包括：
所述中间向量和所述标记样本向量按照各自在所述第二预设模型的权重参数，参与所述第二预设模型的计算，得到所述预测韵律信息；
在得到预测韵律信息后，所述方法还包括：
将所述预测韵律信息输入韵律条件随机场模型，得到调整后的...

【专利技术属性】
技术研发人员：吴帅，李健，武卫东，陈明，
申请(专利权)人：北京捷通华声科技股份有限公司，
类型：发明
国别省市：北京;11