语音音色转换中的节奏控制方法、电子设备和存储介质技术

技术编号:43088110 阅读:20 留言:0更新日期:2024-10-26 09:36
本发明专利技术公开了一种语音音色转换中的节奏控制方法,包括,获取源语音的源语音语义向量和源语音梅尔谱;对源语音进行扰动后,获取源语音的源语音节奏向量;获取参考语音的参考语音语义向量、参考语音节奏向量和参考语音梅尔谱;掩盖部分语音的梅尔谱;建立输出语音梅尔谱,将源语音语义向量和源语音节奏向量补充到输出语音梅尔谱中,通过参考语音的梅尔谱获取音色信息,输出输出语音梅尔谱,完成音色转换。本发明专利技术使用掩码并重建的方式进行训练,可以避免对配对数据和干净数据的需求。同时可以使用很简单的方式实现音色转换。

【技术实现步骤摘要】

本专利技术主要涉及音色转换领域,尤其涉及一种语音音色转换中的节奏控制方法、电子设备和存储介质


技术介绍

1、对于零样本语音转换任务,通常直接使用一句目标人的语音作为参考,来生成关于这个人音色的语音。然而,很多语音转换任务只关注音色的转换是否够好,并没有考虑到转换后的语音是否保持了原来的节奏。保持语音原来的节奏在很多场景是非常重要的。比如在线直播或者是视频场景,我们是需要保持转换后的语音与说话人嘴部的动作和身体的动作是要同步的。也就是要保持原本说话人的节奏。


技术实现思路

1、有鉴于现有技术不关注转换后的语音是否保持了原来的节奏,本专利技术所要解决的技术问题包括:

2、如何设计一种语音音色转换中的节奏控制方法,从而保持原本说话人的节奏。

3、为实现上述目的,本专利技术提供了一种语音音色转换中的节奏控制方法,包括,获取源语音的源语音语义向量和源语音梅尔谱;

4、对源语音进行扰动后,获取源语音的源语音节奏向量;

5、获取参考语音的参考语音语义向量、参考语音节奏向量和本文档来自技高网...

【技术保护点】

1.一种语音音色转换中的节奏控制方法,其特征在于:包括,

2.根据权利要求1所述的语音音色转换中的节奏控制方法,其特征在于:所述获取源语音的源语音语义向量,具体为:

3.根据权利要求1所述的语音音色转换中的节奏控制方法,其特征在于,所述对源语音进行扰动,具体为:

4.根据权利要求1所述的语音音色转换中的节奏控制方法,其特征在于,所述获取扰动后的源语音的节奏向量,具体为:

5.根据权利要求1所述的语音音色转换中的节奏控制方法,其特征在于,所述获取源语音的源语音梅尔谱,具体为:

6.根据权利要求1所述的语音音色转换中的节奏控制方法,...

【技术特征摘要】

1.一种语音音色转换中的节奏控制方法,其特征在于:包括,

2.根据权利要求1所述的语音音色转换中的节奏控制方法,其特征在于:所述获取源语音的源语音语义向量,具体为:

3.根据权利要求1所述的语音音色转换中的节奏控制方法,其特征在于,所述对源语音进行扰动,具体为:

4.根据权利要求1所述的语音音色转换中的节奏控制方法,其特征在于,所述获取扰动后的源语音的节奏向量,具体为:

5.根据权利要求1所述的语音音色转换中的节奏控制方法,其特征在于,所述获取源语音的源语音梅尔谱,具体为:

6.根据权利要求1所述的语音音色转换中的节奏控制方法,其特征在于,所述获取参考语音的源语音梅尔谱,具体为:

7.根据权利...

【专利技术属性】
技术研发人员:钱彦旻陈正阳
申请(专利权)人:上海交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1