语音合成方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例提供一种语音合成方法、装置、设备和存储介质，该方法包括：响应于用户触发的交互行为，获取与该交互行为对应的文本内容和目标用户的标识信息；确定文本内容对应的语言学特征；将语言学特征和目标用户的标识信息输入到语音合成模型中，以通过语音合成模型获得目标用户与文本内容对应的声学特征；根据该声学特征生成目标用户与该文本内容对应的语音信号并输出。通过该方案，可以实现以特定某人的声音与某用户进行个性化的语音交互的目的。

【技术实现步骤摘要】
语音合成方法、装置、设备和存储介质
本专利技术涉及人工智能
，尤其涉及一种语音合成方法、装置、设备和存储介质。
技术介绍
随着人工智能技术的发展，各种支持语音交互的应用程序层出不穷，比如各种问答机器人、智能音箱，等等。以问答机器人为例，响应于用户的问题语音，问答机器人可以向用户输出应答语音。目前，问答机器人输出的各种应答语音往往都是具有统一的声学特征的，互动性较差。
技术实现思路
本专利技术实施例提供一种语音合成方法、装置、设备和存储介质，可以实现个性化的语音交互目的。第一方面，本专利技术实施例提供一种语音合成方法，该方法包括：响应于用户触发的交互行为，获取与所述交互行为对应的文本内容和目标用户的标识信息；确定所述文本内容对应的语言学特征；将所述语言学特征和所述目标用户的标识信息输入到语音合成模型中，以通过所述语音合成模型获得所述目标用户与所述文本内容对应的声学特征；根据所述声学特征，生成与所述文本内容对应的语音信号，以输出所述语音信号。第二方面，本专利技术实施例提供一种语音合成装置，该装置包括：第一获取模块，用于响应于用户触发的交互行为，获取与所述交互行为对应的文本内容和目标用户的标识信息；确定模块，用于确定所述文本内容对应的语言学特征；第二获取模块，用于将所述语言学特征和所述目标用户的标识信息输入到语音合成模型中，以通过所述语音合成模型获得所述目标用户与所述文本内容对应的声学特征；生成模块，用于根据所述声学特征，生成与所述文本内容对应的语音信号，以输出所述语音信号。第三方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第一方面所述的语音合成方法。本专利技术实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的语音合成方法。在本专利技术实施例中，当希望以目标用户(如用户B)的声音向某用户(如用户A)输出对应于某文本内容的语音信号时，先确定该文本内容对应的语言学特征，进而，将该语言学特征和目标用户的标识信息输入到语音合成模型中，以通过语音合成模型获得目标用户与该文本内容对应的声学特征。其中，该语音合成模型已经学习到了目标用户的声学特征。最终，语音合成模型输出的根据声学特征，通过声码器(vocoder)生成与文本内容对应的语音信号。通过该方案，可以实现以特定某人的声音与某用户进行个性化的语音交互的目的。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种语音合成方法的流程图；图2为本专利技术实施例提供的一种使用语音合成模型进行语音合成过程的示意图；图3为本专利技术实施例提供的一种语音合成方法的使用场景的示意图；图4为本专利技术实施例提供的一种语音合成模型的第一训练阶段的流程示意图；图5为本专利技术实施例提供的一种语音合成模型的第一训练阶段的训练原理示意图；图6为本专利技术实施例提供的一种语音合成模型的第二训练阶段的流程示意图；图7为本专利技术实施例提供的一种语音合成模型的第二训练阶段的训练原理示意图；图8为本专利技术实施例提供的一种语音合成装置的结构示意图；图9为与图8所示实施例提供的语音合成装置对应的电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。本专利技术实施例提供的语音合成方法可以由一电子设备来执行，该电子设备可以是诸如PC机、笔记本电脑、智能手机、智能机器人等终端设备，也可以是服务器。该服务器可以是包含一独立主机的物理服务器，或者也可以为虚拟服务器，或者也可以为云端服务器或服务器集群。本专利技术实施例提供的语音合成方法可以适用于任何需要向用户输出语音信号的场景中，比如用户使用智能机器人进行人机对话的场景中，再比如用户使用语音助手的语音交互场景中，等等。基于此，上述电子设备中可以具有支持语音交互功能的一种或多种应用程序，以供广大用户使用。下面结合以下实施例对本文提供的语音合成方法的执行过程进行示例性说明。图1为本专利技术实施例提供的一种语音合成方法的流程图，如图1所示，该方法包括如下步骤：101、响应于用户触发的交互行为，获取与该交互行为对应的文本内容和目标用户的标识信息。102、确定文本内容对应的语言学特征。103、将语言学特征和目标用户的标识信息输入到语音合成模型中，以通过语音合成模型获得目标用户与文本内容对应的声学特征。104、根据所述声学特征，生成与文本内容对应的语音信号，以输出该语音信号。概括来说，本专利技术实施例提供的语音合成方法的目的是：将某文本内容以特定用户(即上述目标用户)的声音输出。实际应用中，上述步骤101中所述的用户触发的交互行为，可以理解为用户在使用支持语音交互功能的APP或智能设备的过程中向该APP或智能设备输入语音指令等行为。以人机对话场景为例，上述文本内容可以是诸如智能机器人等终端设备基于用户A触发的交互行为，确定出的需要向该用户A输出的文本内容。假设目标用户为用户B，则需要以用户B的声音向用户A输出该文本内容。比如，用户A说出“明天北京天气怎么样”的语音，假设基于对该语音进行语音识别和语义理解后确定出需要响应的文本内容为：明天北京天气晴朗，气温在-5℃至3℃，东北风1级。则最终会以用户B的声音输出该文本内容。以支持语音交互功能的某应用程序为例来说，假设用户A为使用该应用程序的普通用户，可选地，用户A可以定本文档来自技高网...

【技术保护点】
1.一种语音合成方法，其特征在于，包括：/n响应于用户触发的交互行为，获取与所述交互行为对应的文本内容和目标用户的标识信息；/n确定所述文本内容对应的语言学特征；/n将所述语言学特征和所述目标用户的标识信息输入到语音合成模型中，以通过所述语音合成模型获得所述目标用户与所述文本内容对应的声学特征；/n根据所述声学特征，生成与所述文本内容对应的语音信号，以输出所述语音信号。/n

【技术特征摘要】
1.一种语音合成方法，其特征在于，包括：
响应于用户触发的交互行为，获取与所述交互行为对应的文本内容和目标用户的标识信息；
确定所述文本内容对应的语言学特征；
将所述语言学特征和所述目标用户的标识信息输入到语音合成模型中，以通过所述语音合成模型获得所述目标用户与所述文本内容对应的声学特征；
根据所述声学特征，生成与所述文本内容对应的语音信号，以输出所述语音信号。


2.根据权利要求1所述的方法，其特征在于，所述语音合成模型中包括第一编码器和解码器；
所述通过所述语音合成模型获得所述目标用户与所述文本内容对应的声学特征，包括：
通过所述第一编码器对所述语言学特征进行编码，以得到与所述语言学特征对应的第一编码向量；
确定与所述目标用户的标识信息对应的第二编码向量；
拼接所述第一编码向量与所述第二编码向量；
通过所述解码器对拼接后的编码向量进行解码，以得到所述声学特征。


3.根据权利要求2所述的方法，其特征在于，所述语音合成模型中还包括第二编码器，所述第二编码器与所述第一编码器共用所述解码器；
所述方法还包括：
获取与所述目标用户对应的语音信号样本，所述语音信号样本不对应于所述文本内容；
确定所述语音信号样本对应的音素后验概率特征和声学特征；
以所述语音信号样本对应的声学特征作为监督信息，将所述语音信号样本对应的音素后验概率特征和所述目标用户的标识信息输入到语音合成模型中，以训练所述第二解码器和所述解码器。


4.根据权利要求3所述的方法，其特征在于，所述将所述语音信号样本对应的音素后验概率特征和所述目标用户的标识信息输入到语音合成模型中，以训练所述第二解码器和所述解码器，包括：
通过所述第二编码器对所述音素后验概率特征进行编码，以得到与所述音素后验概率特征对应的第三编码向量；
拼接对应于所述目标用户的标识信息的所述第二编码向量和所述第三编码向量；
通过所述解码器对拼接后的编码向量进行解码，以得到所述解码器输出的声学特征。


5.根据权利要求3所述的方法，其特征在于，所述获取与所述目标用户对应的语音信号样本，包括：
获取多个用户对应的标识信息和语音信号样本，所述多个用户中包括所述目标用户，所述多个用户的语音信号样本用于训练所述第二解码器和所述解码器；
从所述多个用户对应的语音信号样本中获取所述目标用户对应的语音信号样本。


6.根据权利要求3所述的方法，其特征在于，所述确定所述语音信号样本对应的音素后验概率特征和声学特征，包括：
对所述语音信号样本进行分帧处理，以得到多帧语音信号；
提取所述多帧语音信号各自对应的声学特征；
将所述多帧语音信号各自对应的声学特征输入到声学模型中，以通过所述声学...

【专利技术属性】
技术研发人员：黄智颖，雷鸣，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY