藏语声学特征模型的构建方法及系统技术方案

本发明专利技术实施例提供一种藏语声学特征模型的构建方法。该方法包括：将与多个发音人分别对应的藏语语音训练音频转换成与多个发音人对应的音素序列；构建注意力机制编解码框架的藏语声学特征模型；将多个发音人对应的音素序列作为编码层的输入，得到各发音人身份属性的拟藏语语音特征；通过注意力机制层确定各发音人身份属性的拟藏语语音特征的注意力概率；将各发音人身份属性的拟藏语语音特征以及对应的注意力概率作为解码层的输入，输出处理后的多个发音人身份属性的藏语语音特征。本发明专利技术实施例还提供一种藏语声学特征模型的构建系统。本发明专利技术实施例基于注意力机制的编解码设计，可以同时训练多个发音人，实现一个模型合成多种声音。

【技术实现步骤摘要】
藏语声学特征模型的构建方法及系统
本专利技术涉及语音合成领域，尤其涉及一种藏语声学特征模型的构建方法及系统。
技术介绍
语音合成是将文本转换成语音的技术，是人工智能的重要研究领域，是人际语音交互中的重要组成部分。在新闻播报、电台、站台报站以及导航中有着越来越重要的应用。藏语的总使用人数约为800万，广泛分布于国内的西藏、青海、甘肃以及云南等地，另外不丹、印度、尼泊尔和巴基斯坦等国也分布有使用藏语的人群。因此，藏语合成有着广泛的应用前景，对促进藏语地区的人经济建设、基础服务、自动化教育等均有着非常重要的意义。在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：现有的藏语语音合成系统往往采用一个藏语音库训练一个合成系统，且局限于参与训练的藏语音频必须具有非常高的音质，一个模型只能合成一个发音人的音频。当新增新的发音人时，需要重复之前相同的操作，费时费力不说，更要大量的财力支持。
技术实现思路
为了至少解决现有技术中模型需要高音质，且只能合成一个发音人的音频，对于处理多发音人需要费时费财力的问题。第一方面，本专利技术实施例提供一种藏语声学特征模型的构建方法，包括：将与多个发音人分别对应的藏语语音训练音频转换成与所述多个发音人对应的音素序列；构建注意力机制编解码框架的藏语声学特征模型，其中，所述藏语声学特征模型包括：编码层、注意力机制层以及解码层；将所述多个发音人对应的音素序列作为所述编码层的输入，得到各发音人身份属性的拟藏语语音特征；通过注意力机制层确定所述各发音人身份属性的拟藏语语音特征的注意力概率；将所述各发音人身份属性的拟藏语语音特征以及对应的注意力概率作为解码层的输入，输出处理后的多个发音人身份属性的藏语语音特征。第二方面，本专利技术实施例提供一种藏语语音合成方法，包括：将待合成语音的藏语文本以及待合成发音人，输入至所述权利要求1训练的藏语声学特征模型，输出与所述待合成发音人对应的藏语文本的语音特征，其中，所述待合成发音人从所述多个发音人中选取；将所述待合成发音人对应的藏语文本的语音特征转换成藏语语音。第三方面，本专利技术实施例提供一种藏语声学特征模型的构建系统，包括：音素序列确定程序模块，用于将与多个发音人分别对应的藏语语音训练音频转换成与所述多个发音人对应的音素序列；模型构建程序模块，用于构建注意力机制编解码框架的藏语声学特征模型，其中，所述藏语声学特征模型包括：编码层、注意力机制层以及解码层；拟藏语语音特征确定程序模块，用于将所述多个发音人对应的音素序列作为所述编码层的输入，得到各发音人身份属性的拟藏语语音特征；注意力概率确定程序模块，用于通过注意力机制层确定所述各发音人身份属性的拟藏语语音特征的注意力概率；语音特征确定程序模块，用于将所述各发音人身份属性的拟藏语语音特征以及对应的注意力概率作为解码层的输入，输出处理后的多个发音人身份属性的藏语语音特征。第四方面，本专利技术实施例提供一种藏语语音合成系统，包括：语音特征确定程序模块，用于将待合成语音的藏语文本以及待合成发音人，输入至所述权利要求1训练的藏语声学特征模型，输出与所述待合成发音人对应的藏语文本的语音特征，其中，所述待合成发音人从所述多个发音人中选取；语音合成程序模块，用于将所述待合成发音人对应的藏语文本的语音特征转换成藏语语音。第五方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的藏语声学特征模型的构建方法以及藏语语音合成方法的步骤。第六方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的藏语声学特征模型的构建方法以及藏语语音合成方法的步骤。本专利技术实施例的有益效果在于：将藏文单词按照罗马音转写规则，转写成罗马音格式的单词，再将每个单词拆分成音色列表，标点符号也按韵律等级表示成为特殊的符号，这样一句话就可以用一个音素序列表示。每个发音人拥有一个独立的编号，并将发音人信息作为条件参与藏语模型的训练，基于注意力机制的编解码设计，既可以同时训练多个发音人的小规模数据，又可以充分利用不同发音人音频中所涉及的不同的上下文信息。实现了一个藏语声学特征模型，可以生成多种不同的发音人的藏语语音。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种藏语声学特征模型的构建方法的流程图；图2是本专利技术一实施例提供的一种藏语声学特征模型的seq2seq流程图；图3是本专利技术一实施例提供的一种藏语声学特征模型的藏语合成系统流程图；图4是本专利技术一实施例提供的一种藏语语音合成方法的流程图；图5是本专利技术一实施例提供的一种藏语声学特征模型的构建系统的结构示意图；图6是本专利技术一实施例提供的一种藏语语音合成系统的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示为本专利技术一实施例提供的一种藏语声学特征模型的构建方法的流程图，包括如下步骤：S11：将与多个发音人分别对应的藏语语音训练音频转换成与所述多个发音人对应的音素序列；S12：构建注意力机制编解码框架的藏语声学特征模型，其中，所述藏语声学特征模型包括：编码层、注意力机制层以及解码层；S13：将所述多个发音人对应的音素序列作为所述编码层的输入，得到各发音人身份属性的拟藏语语音特征；S14：通过注意力机制层确定所述各发音人身份属性的拟藏语语音特征的注意力概率；S15：将所述各发音人身份属性的拟藏语语音特征以及对应的注意力概率作为解码层的输入，输出处理后的多个发音人身份属性的藏语语音特征。在本实施方式中，藏语语音训练音频来自40个藏语母语者，每个发音人均采用极其自然极其放松的状态下进行录音，每个人录音时长均在一个小时左右，录音质量要求并没有传统中那么严格，对录音人的专业要求并没有那么高，因此在录音收集中可使用素人，从而降低数据收集的成本。对于步骤S11，为了区分这40个藏语发音人，可以对这40个藏语发音人使用ID进行标记，通过不同的ID号码来对应不同发音人的藏语语音。例如，男生的藏语本文档来自技高网...

【技术保护点】
1.一种藏语声学特征模型的构建方法，包括：/n将与多个发音人分别对应的藏语语音训练音频转换成与所述多个发音人对应的音素序列；/n构建注意力机制编解码框架的藏语声学特征模型，其中，所述藏语声学特征模型包括：编码层、注意力机制层以及解码层；/n将所述多个发音人对应的音素序列作为所述编码层的输入，得到各发音人身份属性的拟藏语语音特征；/n通过注意力机制层确定所述各发音人身份属性的拟藏语语音特征的注意力概率；/n将所述各发音人身份属性的拟藏语语音特征以及对应的注意力概率作为解码层的输入，输出处理后的多个发音人身份属性的藏语语音特征。/n

【技术特征摘要】
1.一种藏语声学特征模型的构建方法，包括：
将与多个发音人分别对应的藏语语音训练音频转换成与所述多个发音人对应的音素序列；
构建注意力机制编解码框架的藏语声学特征模型，其中，所述藏语声学特征模型包括：编码层、注意力机制层以及解码层；
将所述多个发音人对应的音素序列作为所述编码层的输入，得到各发音人身份属性的拟藏语语音特征；
通过注意力机制层确定所述各发音人身份属性的拟藏语语音特征的注意力概率；
将所述各发音人身份属性的拟藏语语音特征以及对应的注意力概率作为解码层的输入，输出处理后的多个发音人身份属性的藏语语音特征。


2.根据权利要求1所述的方法，其中，所述将所述多个发音人对应的音素序列作为所述编码层的输入包括：
通过双向长短时记忆网络以及卷积层对所述音素序列附加上下文信息，以获得藏语语音特征；
对所述多个发音人的身份属性进行词嵌入处理，得到各发音人身份特征；
将所述藏语语音特征与各自对应的发音人身份特征拼接，得到各发音人身份属性的拟藏语语音特征。


3.根据权利要求1所述的方法，其中，所述将所述各发音人身份属性的拟藏语语音特征以及对应的注意力概率作为解码层的输入，输出处理后的多个发音人身份属性的藏语语音特征包括：
将所述各发音人身份属性的拟藏语语音特征以及对应的注意力概率加权求和后输入至Postnet模块和残差网络，得到发音人身份属性的藏语语音特征。


4.根据权利要求1所述的方法，其中，所述将与多个发音人分别对应的藏语语音训练音频转换成与所述多个发音人对应的音素序列包括：
对所述多个发音人分别对应的藏语语音训练音频进行音节点划分，确定所述藏语语音训练音频的音节；
将所述音节转换成罗马音格式，其中，所述音节包括：基字、上加字、下加字、前加字、后加字以及后后加字；
基于所述罗马音格式内的空格作为分隔符，确定多个发音人对应的音素序列。


5.根据权利要求1所述的方法，其中，在所述将与多个发音人分别对应的藏语语音训练音频转换成与所述多个发音人对应的音素序列之前，所述方法...

【专利技术属性】
技术研发人员：刘亚祝，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32