基于人工智能的语音处理方法、装置、计算机设备及介质制造方法及图纸

技术编号:43986520 阅读:13 留言:0更新日期:2025-01-10 20:09
本申请属于人工智能技术领域,涉及一种基于人工智能的语音处理方法、装置、计算机设备及存储介质,包括:基于语言转换模型的内容编码器,节奏编码器与音高编码器对待处理语音进行特征提取,得到内容特征、节奏特征与音高特征;基于瓶颈适配器对内容特征、节奏特征与音高特征进行调整,得到指定内容特征、指定节奏特征与指定音高特征;基于一致性模块对指定内容特征进行优化得到目标内容特征;基于目标内容特征、指定节奏特征、指定音高特征及说话人嵌入向量生成目标特征向量;基于扩散模型对目标特征向量进行处理得到目标频谱特征;基于声码器将目标频谱特征转换为合成语音。本申请提高了语音解耦的效率和精度,提升了合成语音的音质。

【技术实现步骤摘要】

本申请涉及人工智能开发与金融科技领域,尤其涉及基于人工智能的语音处理方法、装置、计算机设备及存储介质。


技术介绍

1、在语音处理
,特别是在金融及其他需要高度个性化和安全认证的领域,语音转换技术因其能够模拟不同说话人的声音特征而备受关注。语音转换的目标在于保持原始语音的内容(即语义信息)不变,同时调整其声音特征,如音色、音高和节奏,以适应不同的应用场景或用户偏好。近年来,随着无监督学习方法的兴起,研究人员开始探索如何利用这些先进技术来实现更加精细和自然的语音特征解耦与转换。

2、然而,现有的语音特征解耦方法包括但不限于设计特定的瓶颈特征来强制模型学习解耦的表示,以及利用数据增强和随机重采样等信号处理技术来模拟不同的音高和节奏变化。然而,这些方法往往存在局限性。人工设计的瓶颈特征可能无法全面捕捉音高和节奏的复杂关系,而基于信号处理的方法则可能引入额外的噪声或失真,导致生成的合成语音的质量较差。


技术实现思路

1、本申请实施例的目的在于提出一种基于人工智能的语音处理方法、装置、计算机设备及存储介本文档来自技高网...

【技术保护点】

1.一种基于人工智能的语音处理方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的基于人工智能的语音处理方法,其特征在于,所述获取待处理语音的步骤,具体包括:

3.根据权利要求1所述的基于人工智能的语音处理方法,其特征在于,所述基于所述目标内容特征、所述指定节奏特征、所述指定音高特征以及所述说话人嵌入向量生成对应的目标特征向量的步骤,具体包括:

4.根据权利要求1所述的基于人工智能的语音处理方法,其特征在于,在所述基于预设的语言转换模型中的内容编码器,节奏编码器与音高编码器分别对所述待处理语音进行特征提取处理,得到对应的内容特征、节奏特征与音高特...

【技术特征摘要】

1.一种基于人工智能的语音处理方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的基于人工智能的语音处理方法,其特征在于,所述获取待处理语音的步骤,具体包括:

3.根据权利要求1所述的基于人工智能的语音处理方法,其特征在于,所述基于所述目标内容特征、所述指定节奏特征、所述指定音高特征以及所述说话人嵌入向量生成对应的目标特征向量的步骤,具体包括:

4.根据权利要求1所述的基于人工智能的语音处理方法,其特征在于,在所述基于预设的语言转换模型中的内容编码器,节奏编码器与音高编码器分别对所述待处理语音进行特征提取处理,得到对应的内容特征、节奏特征与音高特征的步骤之前,还包括:

5.根据权利要求4所述的基于人工智能的语音处理方法,其特征在于,所述构建与所述初始编码器对应的目标损失函数的步骤,具体包括:

6.根据权利要求1所...

【专利技术属性】
技术研发人员:张旭龙王健宗梁子琪
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1