语音合成方法、装置、可读介质及电子设备制造方法及图纸

技术编号:35142840 阅读:14 留言:0更新日期:2022-10-05 10:19
本公开涉及一种语音合成方法、装置、可读介质及电子设备。所述方法包括:确定待处理的目标文本的声调标注信息,其中,所述声调标注信息包括所述目标文本中各文本单元的连读变调类型,其中,所述文本单元由至少一个单位文本构成,文本单元的连读变调类型用于指示该文本单元的音高变化趋势;确定所述目标文本的韵律标注信息和所述目标文本对应的音素序列;根据所述声调标注信息、所述韵律标注信息和所述音素序列,生成与所述目标文本对应的合成音频。由此,在针对目标文本进行语音合成时,引入了连读变调特征,从而,能够在语音合成时对连读变调方式进行直接控制,提升了语音合成中对于连读变调现象可控性,进而合成语音的自然度。度。度。

【技术实现步骤摘要】
语音合成方法、装置、可读介质及电子设备


[0001]本公开涉及计算机
,具体地,涉及一种语音合成方法、装置、可读介质及电子设备。

技术介绍

[0002]语音合成技术能够将任意文本转换成对应的音频,通常包括两个部分,一部分是对文本进行分析,得到语言学相关的信息,另一部分则是基于分析得出的结果生成声音波形。在相关技术中,通常缺乏对连读变调这一特征的学习,使得合成语音的声调无法得到有效控制,导致合成后的音频不够自然。

技术实现思路

[0003]提供该部分内容以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
[0004]第一方面,本公开提供一种语音合成方法,所述方法包括:
[0005]确定待处理的目标文本的声调标注信息,其中,所述声调标注信息包括所述目标文本中各文本单元的连读变调类型,其中,所述文本单元由至少一个单位文本构成,文本单元的连读变调类型用于指示该文本单元的音高变化趋势;
[0006]确定所述目标文本的韵律标注信息和所述目标文本对应的音素序列;
[0007]根据所述声调标注信息、所述韵律标注信息和所述音素序列,生成与所述目标文本对应的合成音频。
[0008]第二方面,本公开提供一种语音合成装置,所述装置包括:
[0009]第一确定模块,用于确定待处理的目标文本的声调标注信息,其中,所述声调标注信息包括所述目标文本中各文本单元的连读变调类型,其中,所述文本单元由至少一个单位文本构成,文本单元的连读变调类型用于指示该文本单元的音高变化趋势;
[0010]第二确定模块,用于确定所述目标文本的韵律标注信息和所述目标文本对应的音素序列;
[0011]生成模块,用于根据所述声调标注信息、所述韵律标注信息和所述音素序列,生成与所述目标文本对应的合成音频。
[0012]第三方面,本公开提供一种计算机可读介质,其上存储有计算机程序,该程序被处理装置执行时实现本公开第一方面所述方法的步骤。
[0013]第四方面,本公开提供一种电子设备,包括:
[0014]存储装置,其上存储有至少一个计算机程序;
[0015]至少一个处理装置,用于执行所述存储装置中的所述至少一个计算机程序,以实现本公开第一方面所述方法的步骤。
[0016]通过上述技术方案,确定待处理的目标文本的声调标注信息,其中,声调标注信息
包括目标文本中各文本单元的连读变调类型,其中,文本单元由至少一个单位文本构成,文本单元的连读变调类型用于指示该文本单元的音高变化趋势,确定目标文本的韵律标注信息和目标文本对应的音素序列,根据声调标注信息、韵律标注信息和音素序列,生成与目标文本对应的合成音频。由此,在针对目标文本进行语音合成时,除了使用韵律特征之外,还进一步引入了连读变调特征,从而,能够在语音合成时对连读变调方式进行直接控制,提升了语音合成中对于连读变调现象可控性,进而合成语音的自然度。
[0017]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0018]结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。在附图中:
[0019]图1是根据本公开的一种实施方式提供的语音合成方法的流程图;
[0020]图2是根据本公开的一种实施方式提供的语音合成装置的框图;
[0021]图3示出了适于用来实现本公开实施例的电子设备的结构示意图。
具体实施方式
[0022]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
[0023]应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0024]本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0025]需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0026]需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
[0027]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
[0028]本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
[0029]可以理解的是,在使用本公开各实施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
[0030]例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
[0031]作为一种可选的但非限定性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
[0032]可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本公开的实现方式构成限定,其它满足相关法律法规的方式也可应用于本公开的实现方式中。
[0033]同时,可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
[0034]图1是根据本公开的一种实施方式提供的语音合成方法的流程图,如图1所示,本公开提供的方法可以包括步骤11~步骤13。
[0035]在步骤11中,确定待处理的目标文本的声调标注信息。
[0036]在本公开中本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种语音合成方法,其特征在于,所述方法包括:确定待处理的目标文本的声调标注信息,其中,所述声调标注信息包括所述目标文本中各文本单元的连读变调类型,其中,所述文本单元由至少一个单位文本构成,文本单元的连读变调类型用于指示该文本单元的音高变化趋势;确定所述目标文本的韵律标注信息和所述目标文本对应的音素序列;根据所述声调标注信息、所述韵律标注信息和所述音素序列,生成与所述目标文本对应的合成音频。2.根据权利要求1所述的方法,其特征在于,所述根据所述声调标注信息、所述韵律标注信息和所述音素序列,生成与所述目标文本对应的合成音频,包括:根据所述声调标注信息,确定所述目标文本对应的连读变调标签序列;根据所述韵律标注信息,确定所述目标文本对应的韵律标签序列;根据所述连读变调标签序列、所述韵律标签序列和所述音素序列,利用预先训练的语音合成模型,生成与所述目标文本对应的声学特征信息;利用声码器对所述声学特征信息进行语音合成,以生成与所述目标文本对应的合成音频。3.根据权利要求2所述的方法,其特征在于,所述语音合成模型包括编码网络、注意力网络和解码网络;其中:所述编码网络用于根据与所述连读变调标签序列、所述韵律标签序列和所述音素序列对应的拼接向量,生成文本表征序列;所述注意力网络用于根据所述文本表征序列,生成语义表征;所述解码网络用于根据所述语义表征,输出与所述目标文本对应的声学特征信息。4.根据权利要求2所述的方法,其特征在于,所述语音合成模型通过以下方式获得:获取第一训练样本,其中,每一所述第一训练样本包括第一训练文本对应的训练音素序列、训练连读变调标签序列、训练韵律标签序列,以及所述第一训练文本对应的训练声学特征信息;通过将与所述训练音素序列、所述训练连读变调标签序列和所述训练韵律标签序列对应的拼接向量作为模型的输入,并将所述训练声学特征信息作为模型的目标输出的方式进行模型训练,以得到训练完成的所述语音合成模型。5.根据权利要求1所述的方法,其特征在于,所述确定待处理的目标文本的声调标注信息,包括:将所述目标文本输入至声调标注模型,获得所述声调标注模型的输出结果,其中,所述声调标注模型基于带有声调标注信息的第二训练文本训练得到,所述输出结果包括用于将所述目标文本划分为多个文本单元的边界信息和每一文本单元各自对应的连读变调类型;根据所述输出结果,确定所述目标文本的声调标注信息。6.根据权利要求5所述的方法,其特征在于,所述根据所述输出...

【专利技术属性】
技术研发人员:王奕桦梅晓马泽君
申请(专利权)人:北京有竹居网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1