语音转换方法、装置、介质及设备制造方法及图纸

技术编号:46564564 阅读:1 留言:0更新日期:2025-10-10 21:15
本发明专利技术公开了一种语音转换方法、装置、介质及设备,所述语音转换方法包括:根据语音转换类型确定输入至语音转换模型中不同编码器的任务数据,并通过所述语音转换模型中的编码器对输入的任务数据进行编码,得到每一所述编码器输出的编码特征;获取公共分类器输出的所述编码特征对应的公共特征,获取对抗分类器输出的所述编码特征对应的对抗特征;进行解码处理,得到目标梅尔频谱和目标音高等值线;基于所述目标梅尔频谱图以及所述目标音高等值线通过声码器合成得到目标音频。本发明专利技术在一次性语音转换中分别传输不同的表示风格,即根据所述语音转换类型,分别实现音色或音色+音高的语音转换,使得转换后的语音保持了源语音的自然度和表现力。

【技术实现步骤摘要】

本专利技术涉及语音转换,尤其涉及一种语音转换方法、装置、介质及设备


技术介绍

1、语音信息可以分解为四个部分:内容、音色、音高和节奏。语音的语言内容包括语音中的主要信息,也可以转录为文本。音色包含有关说话人语音特征的信息,这些信息与说话人的身份密切相关。音高和节奏是韵律的两个主要组成部分,它表达了说话者的情感。音高变化传达了说话人语气的各个方面,而节奏则表征了说话人说出每个单词或音节的速度。

2、目前的语音转换方法只考虑了内容和音色表征的解耦,而没有考虑与语音韵律相关的节奏和音高表示,从而导致与音高和节奏相关的信息泄漏到音色中。这种泄露可能会影响语音转换后的结构,使得转换后的语音失去了源语音的自然度和表现力。

3、因此,当前亟需出现一种新的语音转换方法,实现在语音转换中,对音色、节奏和/或音高的语音转换。


技术实现思路

1、鉴于上述问题,提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种语音转换方法、装置、介质及设备。

2、本专利技术的其他特性和优点本文档来自技高网...

【技术保护点】

1.一种语音转换方法,其特征在于,所述语音转换方法包括:

2.根据权利要求1所述的语音转换方法,其特征在于,所述根据所述语音转换类型确定输入至所述语音转换模型中不同编码器的任务数据包括:

3.根据权利要求2所述的语音转换方法,其特征在于,所述通过所述语音转换模型中的编码器对输入的任务数据进行编码,得到每一所述编码器输出的编码特征包括:

4.根据权利要求1所述的语音转换方法,其特征在于,在接收语音转换指令之前,所述方法包括:

5.根据权利要求4所述的语音转换方法,其特征在于,所述获取所述公共分类器对应的分类损失值以及所述对抗分类器输出的对抗损...

【技术特征摘要】

1.一种语音转换方法,其特征在于,所述语音转换方法包括:

2.根据权利要求1所述的语音转换方法,其特征在于,所述根据所述语音转换类型确定输入至所述语音转换模型中不同编码器的任务数据包括:

3.根据权利要求2所述的语音转换方法,其特征在于,所述通过所述语音转换模型中的编码器对输入的任务数据进行编码,得到每一所述编码器输出的编码特征包括:

4.根据权利要求1所述的语音转换方法,其特征在于,在接收语音转换指令之前,所述方法包括:

5.根据权利要求4所述的语音转换方法,其特征在于,所述获取所述公共分类器对应的分类损失值以及所述对抗分类器输出的对抗损失值包括:

6.根据权利要求5所述的语音转换方法,其特征在于...

【专利技术属性】
技术研发人员:谭春黄石磊廖晨陈诚
申请(专利权)人:深圳市北科瑞声科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1