音色混合方法和装置、音频处理方法和装置、电子设备、存储介质制造方法及图纸

技术编号:41246022 阅读:19 留言:0更新日期:2024-05-09 23:56
本申请公开一种音色混合方法及装置、音频处理方法及装置、电子设备、存储介质。本申请实施例的音色混合方法包括:获取多个音色特征序列;对所述多个音色特征序列进行降维,得到多个降维音色序列;对所述多个降维音色序列进行融合,得到融合降维音色序列;以及对所述融合降维音色序列进行升维,得到用于控制声学神经网络输出的音频音色的混合音色序列。本申请的音色混合和音频处理方法能够在混合音色时保留关键音色特征并有效剔除背景噪声和其他干扰信息,解决传统粗暴线性混音的缺陷,实现了具有混合音色的更清晰、自然,稳定和逼真的音频输出。

【技术实现步骤摘要】

本申请涉及音频处理,具体地涉及音色混合方法和装置、音频处理方法和装置以及相关的电子设备和存储介质。


技术介绍

1、在相关领域,多种音频处理技术正在发展之中,涉及包括但不限于语音合成(text-to-speech,tts)和语音转换(voice conversion,vc)。这些技术的应用范围广泛,例如在语音合成、语音助手以及有声图书等方面均有所涉及。在这些音频处理技术中,特别是在语音合成领域,希望在创造多样化的声音效果和提供个性化的音频输出。

2、此
技术介绍
的说明旨在帮助理解相关领域内的相关技术,并不代表承认
技术介绍
内容属于现有技术。


技术实现思路

1、因此,本申请实施例旨在提供一种音色混合方法和装置、音频处理方法和装置、电子设备、存储介质,从而针对音频处理技术,包括但不限于语音合成、语音转换、歌声合成等,提出了优良的混合音色控制解决方案,并且可选地至少解决或改善混合音频、例如语音或歌声的音色不稳定、音色不自然、音质较差以及背景噪声较大等问题之一。

2、第一方面,本申请实施例提供了一种本文档来自技高网...

【技术保护点】

1.一种音色混合方法,其特征在于,所述音色混合方法包括:

2.根据权利要求1所述的音色混合方法,其特征在于,所述对所述多个音色特征序列进行降维,得到多个降维音色序列,包括:

3.根据权利要求1或2所述的音色混合方法,其特征在于,所述对所述多个降维音色序列进行融合,得到融合降维音色序列,包括:

4.根据权利要求1所述的音色混合方法,其特征在于,所述获取多个音色特征序列,包括:

5.根据权利要求4所述的音色混合方法,其特征在于,对所述多个音色特征序列进行降维,得到多个降维音色序列,包括:

6.一种音频处理方法,其特征在于,所述音频处...

【技术特征摘要】

1.一种音色混合方法,其特征在于,所述音色混合方法包括:

2.根据权利要求1所述的音色混合方法,其特征在于,所述对所述多个音色特征序列进行降维,得到多个降维音色序列,包括:

3.根据权利要求1或2所述的音色混合方法,其特征在于,所述对所述多个降维音色序列进行融合,得到融合降维音色序列,包括:

4.根据权利要求1所述的音色混合方法,其特征在于,所述获取多个音色特征序列,包括:

5.根据权利要求4所述的音色混合方法,其特征在于,对所述多个音色特征序列进行降维,得到多个降维音色序列,包括:

6.一种音频处理方法,其特征在于,所述音频处理方法包括:

7.根据权利要求6所述的音频处理方法,其特征在于,所述对所述多个音色特征序列进行降维,得到多个降维音色序列,包括:利用pca变换对所述多个音色特征序列进行降维,并确定所述主成分分析法降维对应的主成分系数和均值;

8.根据权利要求6或7所述的音频处理方法,其特征在于,所述对所述多个降维音色序列进行融合,得到融合降维音色序列,包括:

9.根据权利要求6所述的音频处理方法,其特征在于,所述获取多个音色特征序列,包括:

10.根据权利要求9所述的音频处理方法,其特征在于,对所述多个音色特征序列进行降维,得到多个降维音色序列,包括:

11.根据权利要求6至10中任一项所述的音频处理方法,其特征在于,所述音频处理方法为语音合成(tts)方法,其中,所述第一控制序列为用于合成目标语音的文本序列,所述声学神经网络为语音合成模型。

12.根据权利要求6至10中任一项所述的音频处理方法,其特征在于,所述音频处理方法为语音转换(vc)方法,所述第一控制序列为用于转换成目标语音的待转换语音序列,所述声学神经网络为...

【专利技术属性】
技术研发人员:张博闻李亚伟杨明祺
申请(专利权)人:北京稀宇极智科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1