一种融合句法语义语用信息的汉语韵律结构预测方法技术

本发明专利技术属于语音合成领域，具体涉及一种融合句法语义语用信息的汉语韵律结构预测方法。目的是通过对影响韵律结构的多维特征及其相关作用模式的分析，将句法语义语用信息融合到韵律结构预测模型中，进而提升语音合成的自然度。该方法包括根据语义角色标注进行句块划分；对句块进行语法分析，并标记语法结构关系松紧度；对韵律结构进行初步切分；对句子中的名词性成分的信息结构进行标记；对语用信息进行标注；根据语用信息对初步切分的韵律结构进行调整。本发明专利技术在文本标注体系中引入了深层句法、语义角色标注以及语用信息，并通过统计与规则相结合的方式实现文本标注、特征提取以及韵律结构预测，使韵律预测模型准确性得到有效提高。

A Chinese prosody structure prediction method based on syntactic and semantic pragmatic information

The invention belongs to the field of speech synthesis, in particular to a Chinese prosodic structure prediction method which fuses syntactic, semantic and pragmatic information. The purpose is to fuse the syntactic and semantic pragmatic information into the prosodic structure prediction model by analyzing the multi-dimensional features and their related modes of action, so as to enhance the naturalness of speech synthesis. This method includes sentence block division according to semantic role tagging, sentence block grammatical analysis, and marked grammatical structural looseness, preliminary segmentation of prosodic structure, tagging of information structure of nominal components in sentences, tagging of pragmatic information, and preliminary segmentation of prosodic according to pragmatic information. The structure is adjusted. In the text annotation system, the deep syntax, semantic role annotation and pragmatic information are introduced, and text annotation, feature extraction and prosody structure prediction are realized by combining statistics with rules, so that the accuracy of prosody prediction model is effectively improved.

【技术实现步骤摘要】
一种融合句法语义语用信息的汉语韵律结构预测方法
本专利技术属于语音合成领域，具体涉及一种融合句法语义语用信息的汉语韵律结构预测方法。
技术介绍
从文本信息中预测韵律层级结构是语音合成的关键，对于提升合成语音的自然度与表现力、构建智能人机对话系统具有重要作用。韵律层级预测至今还有许多问题没有得到很好解决。首先，对于影响韵律结构的文本特征以及因素之间关系的描述不够确切，其次，单一模型的准确度难以达到理想状态。从汉语韵律结构预测的现有研究来看，关于韵律建模方法的技术研究较多，而关于影响韵律结构的因素以及因素之间关系的研究较少。目前韵律结构的预测主要有基于规则的方法、基于统计机器学习的方法、规则和统计相结合的方法。从所使用的信息源来看，多为语句中的词性、词长信息以及浅层语法信息，较少利用深层语法和语义信息。专利CN104867490B将词向量的聚类特征加入从标注数据提取的特征集合之中，专利CN104867491B基于同义词词林对训练语料文本中的分词进行泛化，引入语义信息后提升了模型预测准确性。然而这些语义分析都是以词为单位的，对韵律结构的作用有限，没有将更高层次的句法组块的语义角色考虑进来，也没有分析语用因素。语言学研究发现普通话韵律边界和韵律模式是句法、语义、语用综合作用的结果。基于语义角色的句法组块的分类影响韵律结构的层级，而韵律边界处的语用信息和长度信息则影响韵律成分跨界与否。因此在韵律结构预测过程中需要引入更多句法语义和语用相关的信息，使模型准确性得到提升。
技术实现思路
本专利技术提供一种融合句法语义语用信息的汉语韵律结构预测方法。除了利用传统预测线索之外，专利技术中引入了深层句法、语义角色标注以及语用信息，基于这些多维特征对韵律结构的作用模式，并通过统计与规则相结合的方式实现文本标注、特征提取以及韵律结构预测，从而更好提升语音合成的自然度。一种融合句法语义语用信息的汉语韵律结构预测方法，包括如下步骤：步骤一、对已经分词和词性标注的文本进行语义角色的句块划分；步骤二、对句块进行语法分析，并对语法结构关系松紧度进行标记；步骤三、根据句块以及句块的语法结构关系对韵律结构进行初步切分；步骤四、对句子中的名词性成分的信息结构进行标记；步骤五、根据语法结构、初步划分的韵律结构以及信息结构进行语用信息的标注；步骤六、根据语用信息对初步切分的韵律结构进行调整。如上所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其中：步骤一中，所述语义角色指谓语根据其与相关的名词短语之间的语义关系而指派给这些名词短语的角色；所述名词短语语义角色包括核心语义角色和附加语义角色。语义角色的句块划分依据CPB语料库运用统计方法实现。如上所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其中：步骤二中，所述语法结构关系松紧度包括黏合类、组合类、等立类；松紧度根据语法结构形式判定。语法结构形式根据统计建模句法分析得到。如上所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其中：步骤三中对韵律结构进行初步划分的规则包括：跨界规则：如果前一韵律单位中只有一个音步，且本韵律单位除可跨界音步外大于等于两个音步，则可跨界音步与前一音步合并；韵律单位归并规则：如果本韵律单位中只有一个音步且后续同级单位中也只有一个音步，则本单位与后续同级单位合并为一个韵律单元；允一规则：如果本韵律单位中只有一个音步且后续同级韵律单位中有两个音步，则本韵律单位以一个音步独立，不与后续同级单位合并。如上所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其中：步骤四中，所述信息结构为指称范畴和词汇范畴；所述指称范畴用来区分限定词短语与介词短语；所述词汇范畴用来区分实词与非指称性短语的信息结构，并考虑不同层次的词义上下位关系和整体部分关系以及同一层次的同义反义关系。信息结构根据词性标注和语义知识库自动实现。如上所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其中：步骤五中，所述语用信息包括重音和话题，所述语用的调整的规则包括：重音前设界规则：将语义重音调整回其原有的语法结构中；有标记话题后等同于韵律短语边界规则：与主语相同的话题是无标记的，其他情况的话题是有标记的，在有标记的话题后设置韵律短语边界。如上所述的一种融合句法语义语用线索的汉语韵律结构预测方法，其中：步骤二中，在判断不同句块之间的松紧度时，附加语义角色句块的右边界为等立类，其余为组合关系。如上所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其中：步骤五中，所述话题为句首非焦点名词性成分；所述重音分为节奏重音和语义重音；语调短语最末一个词语标记为节奏重音，所述语义重音在语法形式上为对举式关联词。语用信息标注依据步骤二、三、四的信息自动实现。与现有语音合成的韵律预测方式相比，本专利技术具有以下优点：本专利技术在文本标注体系中引入相关的语义、语用线索，并根据影响方式转换为包含多维特征的标注流程，对影响韵律结构预测的文本信息的描述更为充分确切。本专利技术从语法、语义、语用多个层面分析影响韵律结构的因素，并分析不同层面特征的相互作用模式，据此形成标注流程，用于韵律结构的预测。经过测试，用本专利技术标注体系进行韵律结构预测的效果较之前有显著提升。本专利技术在韵律结构初分时，将音节长度约束和语法约束同时考虑进来。语法分析在语义角色句块划分基础上进行，比单纯依靠语法结构分析韵律结构更为有效。本专利技术提供的韵律结构初步切分规则和调整规则作为统计建模方法的补充，可以弥补单纯依靠统计分析的不足。本专利技术通过话题和重音的分析，利用语用信息对初步划分的韵律结构进一步调整。由于重音的确定受到多种因素的影响，因而采用一种迭代的方法，先通过初步切分的韵律结构和语法语义信息确定重音，再通过重音对韵律结构进行调整。考虑重音后预测的韵律边界更符合听觉感知，可以使得人机对话系统中语音合成自然度提升。附图说明图1为本专利技术提供的一种融合句法语义语用线索的汉语韵律结构预测方法流程图；图2为语音标注样例；图3为与韵律结构相关的文本标注样例；具体实施方式下面描述方法中所运用的文本是为了具体阐述标注细节，但是本专利技术适用的文本范围可以涵盖各种类型的朗读与对话文本。本专利技术的初衷是为提高韵律结构预测的准确度，提升语音合成自然度，但对于文本句法语义语用多维特征的标注以及汉语韵律模式的预测也可以应用于其他领域，不受下面公开的具体实施的限制。本专利技术相关的专业术语：1、音步音步是语言中最小的能够自由运用的韵律单位。汉语最基本的标准音步是两个音节。单音节音步即“蜕化音步”，三音节音步即“超音步”。音步可以通过分词和词长得到，音步及音步的组合可以实现为韵律结构。2、韵律结构韵律结构主要指话语停延结构的层级组织，包括韵律词的构成以及各韵律成分边界的界定等，通常叫做韵律切分。韵律结构的划分沿用语音学主流的“韵律词-韵律短语-语调短语”的层级结构模式，用B1-B3表示，大致为说话人可感知的句中三级韵律边界。表1：心理感知的三级韵律边界韵律边界韵律结构特征B1韵律词感觉上为一个整体，自然音步的结束处，但无停顿。B2韵律短语感觉有少许停顿，但语图上不一定表现出停顿。B3语调短语感觉有较长停顿，有明显无声段且有基频重设现象。针对现有韵律结构分析技术对语义、语用相关特征运用不充分的情况，本专利技术以本文档来自技高网...

【技术保护点】
1.一种融合句法语义语用信息的汉语韵律结构预测方法，包括如下步骤：步骤一、对已经分词和词性标注的文本进行语义角色的句块划分；步骤二、对句块进行语法分析，并对语法结构关系松紧度进行标记；步骤三、根据句块以及句块的语法结构关系对韵律结构进行初步切分；步骤四、对句子中的名词性成分的信息结构进行标记；步骤五、根据语法结构、初步划分的韵律结构以及信息结构进行语用信息的标注；步骤六、根据语用信息对初步切分的韵律结构进行调整。

【技术特征摘要】
1.一种融合句法语义语用信息的汉语韵律结构预测方法，包括如下步骤：步骤一、对已经分词和词性标注的文本进行语义角色的句块划分；步骤二、对句块进行语法分析，并对语法结构关系松紧度进行标记；步骤三、根据句块以及句块的语法结构关系对韵律结构进行初步切分；步骤四、对句子中的名词性成分的信息结构进行标记；步骤五、根据语法结构、初步划分的韵律结构以及信息结构进行语用信息的标注；步骤六、根据语用信息对初步切分的韵律结构进行调整。2.如权利要求1所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其特征在于：步骤一中，所述语义角色指谓语根据其与相关的名词短语之间的语义关系而指派给这些名词短语的角色；所述名词短语语义角色包括核心语义角色和附加语义角色，义角色的句块划分依据CPB语料库运用统计方法实现。3.如权利要求1所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其特征在于：步骤二中，所述语法结构关系松紧度包括黏合类、组合类、等立类；松紧度根据语法结构形式判定，语法结构形式根据统计建模句法分析得到。4.如权利要求1所述的一种融合句法语义语用信息的汉语韵律结构预测方法，其特征在于：步骤三中对韵律结构进行初步划分的规则包括：跨界规则：如果前一韵律单位中只有一个音步，且本韵律单位除可跨界音步外大于等于两个音步，则可跨界音步与前一音步合并；韵律单位归并规则：如果本韵律单位中只有一个音步且后续同级单位中也只有一个音步，则本单位与后续同级单位合...

【专利技术属性】
技术研发人员：高懿，季竞，张志平，陈博，
申请(专利权)人：北京灵伴即时智能科技有限公司，
类型：发明
国别省市：北京,11