一种跨语言情感语音合成方法及系统技术方案
【技术实现步骤摘要】
一种跨语言情感语音合成方法及系统
本专利技术涉及多语种情感语音合成
，特别是涉及一种跨语言情感语音合成方法及系统。
技术介绍
目前的语音合成技术，已经能够合成出较自然的中性语音，但当遇到机器人、虚拟助手等这些需要模仿人类行为的人机交互任务时，简单的中性语音合成则不能满足人们的需求。能够模拟表现出人类情感和说话风格的情感语音合成已经成为未来语音合成的发展趋势。对于使用人数众多的大语种汉语、英语等的情感语音合成来说，其研究投入较多，发展水平较高；但对于使用人数较少的小语种如藏语、俄语、西班牙语等情感语音合成来说，其发展却较缓慢，目前还没有一个公认的面向语音合成的高标准、高质量的小语种情感语料库，从而使得小语种情感语音的合成成为了语音合成领域的空白。目前，国内外对情感语音合成的研究技术包括波形拼接方法、韵律单元选择方法和统计参数方法。波形拼接方法需要给情感语音合成系统建立一个庞大的包含每一种情感的情感语料库库，之后对输入的文本进行文本和韵律分析，获得合成语音基本的单元信息，最后根据此单元信息在先前标注好的语料库库中选取合适的语音基元，并进行修改和调整拼接获得目标情...
【技术保护点】
一种跨语言情感语音合成方法，其特征在于，包括以下步骤：建立上下文相关标注格式和上下文相关聚类问题集，分别对多说话人的中性第一语言训练语料库、单说话人的中性第二语言训练语料库进行上下文相关文本标注，获得所述中性第一语言训练语料库对应的第一语言标注文件、所述中性第二语言训练语料库对应的第二语言标注文件；分别对所述中性第一语言训练语料库和所述中性第二语言训练语料库进行声学参数提取，获得所述中性第一语言训练语料库对应的第一语言声学参数、所述中性第二语言训练语料库对应的第二语言声学参数；根据所述上下文相关标注格式和所述上下文相关聚类问题集对多说话人的目标情感普通话训练语料库进行上下文...
【技术特征摘要】
1.一种跨语言情感语音合成方法，其特征在于，包括以下步骤：建立上下文相关标注格式和上下文相关聚类问题集，分别对多说话人的中性第一语言训练语料库、单说话人的中性第二语言训练语料库进行上下文相关文本标注，获得所述中性第一语言训练语料库对应的第一语言标注文件、所述中性第二语言训练语料库对应的第二语言标注文件；分别对所述中性第一语言训练语料库和所述中性第二语言训练语料库进行声学参数提取，获得所述中性第一语言训练语料库对应的第一语言声学参数、所述中性第二语言训练语料库对应的第二语言声学参数；根据所述上下文相关标注格式和所述上下文相关聚类问题集对多说话人的目标情感普通话训练语料库进行上下文相关文本标注，获得目标情感普通话标注文件；对所述目标情感普通话训练语料库进行声学参数提取，获得目标情感声学参数；根据所述第一语言标注文件、所述第二语言标注文件、所述目标情感普通话标注文件、所述第一语言声学参数、所述第二语言声学参数和所述目标情感声学参数确定多说话人目标情感平均声学模型；对第一语言或/和第二语言的待合成文件进行上下文相关文本标注获得待合成标注文件；将所述待合成标注文件输入所述多说话人目标情感平均声学模型获得第一语言或/和第二语言目标情感语音合成文件。2.根据权利要求1所述的跨语言情感语音合成方法，其特征在于，所述建立上下文相关标注格式和上下文相关聚类问题集，分别对多说话人的中性第一语言训练语料库、单说话人的中性第二语言训练语料库进行上下文相关文本标注，获得所述中性第一语言训练语料库对应的第一语言标注文件、所述中性第二语言训练语料库对应的第二语言标注文件，具体步骤包括：建立第一语言标注规则和第二语言标注规则；根据第一语言标注规则和第二语言标注规则确定上下文相关标注格式，分别对多说话人的中性第一语言训练语料库、单说话人的中性第二语言训练语料库进行上下文相关文本标注，获得所述中性第一语言训练语料库对应的第一语言标注文件、所述中性第二语言训练语料库对应的第二语言标注文件；根据第一语言和第二语言的相似性，建立上下文相关聚类问题集。3.根据权利要求2所述的跨语言情感语音合成方法，其特征在于，所述建立第一语言标注规则和第二语言标注规则，具体步骤包括：所述建立第一语言标注规则，具体步骤包括：将SAMPA-SC普通话机读音标作为所述第一语言标注规则；所述建立第二语言标注规则，具体步骤包括：以国际音标为参考，基于SAMPA-SC普通话机读音标，获得输入第二语言拼音的国际音标；判断所述第二语言拼音的国际音标与第一语言拼音的国际音标是否一致；若一致，则直接采用SAMPA-SC普通话机读音标来标记第二语言拼音；否，则按照简单化原则，利用自定义的未使用的键盘符号标记。4.根据权利要求3所述的跨语言情感语音合成方法，其特征在于，所述根据第一语言标注规则和第二语言标注规则确定上下文相关标注格式，具体步骤包括：根据第一语言和第二语言的语法规则知识库和语法词典，对输入的第一语言和第二语言不规范的文本进行文本规范化、语法分析和韵律结构分析获得规范文本，韵律词、短语的长度信息，韵律边界信息，词语相关信息，声调信息；将所述规范文本带入所述第一语言标注规则获得第一语言的单音素标注文件；或将所述规范文本带入所述第二语言标注规则获得第二语言的单音素标注文件；根据韵律词、短语的长度信息，韵律边界信息，词语相关信息，声调信息和单音素标注文件确定上下文相关标注格式。5.根据权利要求1所述的跨语言情感语音合成方法，其特征在于，所述根据第一语言标注文件、第二语言标注文件、目标情感普通话标注文件、第一语言声学参数、第二语言声学参数和目标情感声学参数确定多说话人目标情感平均声学模型，具体步骤包括：将第一语言标注文件、第二语言标注文件、第一语言声学参数、第二语言声学参数作为训练集，基于自适应模型，通过说话人自适应训练，获得混合语言的中性平均声学模型；根据混合语言的中性平均声学模型，将目标情感普通话标注文件、目标情感声学参数作为测试集，通过说话人自适应变换，获得多说话人目标情感平均声学模型。6.根据权利要求5所述的跨语言情感语音合成方法，其特征在于，所述根据混合语言的中性平均声学模型，将目标情感普通话标注文件、目标情感声学参数作为测试集，通过说话人自适应变换，获得多说话人目标情感普通话说话人目标情感平均声学模型的具体步骤为：采用约束最大似然线性回归算法，计算说话人的状态时长概率分布和状态输出概率分布的协方差矩阵和均值向量，用一组状态时长分布和状态输出分布的变换矩阵将中性平均声学模型的协方差矩阵和均值向量变换为目标说话人模型，具体公式为:pi(...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。