一种语音情感转换方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种语音情感转换方法、装置、设备及存储介质。该方法包括：获取待转换语音数据和目标情感，确定待转换语音数据的声学特征，并确定与目标情感匹配的情感特征；根据情感特征以及预先建立的强度特征值集合，确定强度特征矩阵，并根据情感特征，确定时长特征；基于强度特征矩阵和时长特征确定强度特征，并根据声学特征、情感特征以及强度特征，确定转换后语音数据。本技术方案解决了语音情感转换情感表现力差的问题，可以在生成明确的具有情感表达强度区分的语音同时，增强情感表达节奏的区分。的区分。的区分。

【技术实现步骤摘要】
一种语音情感转换方法、装置、设备及存储介质


[0001]本专利技术涉及语音数据处理
，尤其涉及一种语音情感转换方法、装置、设备及存储介质。

技术介绍

[0002]随着用户与汽车交互的方式越来越多元化，语音交互成为车辆驾驶过程中最方便快捷的交互形式。合成语音越接近真人，且表达越自然，那么用户的交互意愿也会越强。语音合成技术逐渐成熟，人们对计算机所生成语音的要求已经不再局限于高清晰度和高可懂度，而希望具有更丰富的感情因素。
[0003]目前，语音情感转换主要基于生成对抗网络，以音频帧为单位对语音数据的基频特征、梅尔谱参数以及韵律参数等进行情感建模。模型在训练过程中学习的是平均的情感模式，没有对语音数据中的细粒度情感进行深入研究，难以在交互过程中呈现出丰富的强度变化。另外，现有的语音情感转换方式转换后的语音长度与转换前的语音长度相同，并不符合人类真实的表达习惯。

技术实现思路

[0004]本专利技术提供了一种语音情感转换方法、装置、设备及存储介质，以解决语音情感转换情感表现力差的问题，可以在生成明确的具有情感表达强度区分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音情感转换方法，其特征在于，所述方法包括：获取待转换语音数据和目标情感，确定待转换语音数据的声学特征，并确定与目标情感匹配的情感特征；根据情感特征以及预先建立的强度特征值集合，确定强度特征矩阵，并根据情感特征，确定时长特征；基于强度特征矩阵和时长特征确定强度特征，并根据声学特征、情感特征以及强度特征，确定转换后语音数据。2.根据权利要求1所述的方法，其特征在于，所述确定待转换语音数据的声学特征，包括：对待转换语音数据依次进行预加重、分帧、加窗、离散傅里叶变换、梅尔滤波器组滤波、对数计算以及离散余弦变换操作，得到梅尔频率倒谱系数特征；根据梅尔频率倒谱系数特征，基于第一卷积神经网络和双向长短时记忆循环神经网络，确定声学特征。3.根据权利要求1所述的方法，其特征在于，所述确定与目标情感匹配的情感特征，包括：在预设情感语音数据集合中，确定与目标情感匹配的情感语音数据；根据情感语音数据，基于第二卷积神经网络，确定情感特征。4.根据权利要求1所述的方法，其特征在于，所述强度特征值是利用中性语音数据和情感语音数据，基于强度控制器中的情感强度排序的训练结果确定的。5.根据权利要求4所述的方法，其特征在于，所述强度特征值的确定过程，包括：将中性语音数据作为强度控制器的第一输入，同时，依次将至少一种类型的情感语音数据作为强度控制器的第二输入；基于同一特征提取单元，提取第一输入的第一特征，并依次提取与各第二输入匹配的第二特征；确定第一特征和各第二特征的作差结果，并根据与各第二特征匹配的作差结果，基于激活函数，确定情感强度排序；根据情感强度排序与排序标签的损失，进行至少一次迭代训练，输出与各类型情感语音数据匹配的强度特征值；其中，所述排序标签与第一输入和第二输入关联。6.根据权利要求5所述的方法，其特征在于，所述根据情感特征以及预先建立的强度特征值集合，确定强度特征矩阵，包...

【专利技术属性】
技术研发人员：姜彦吉，刘宗泽，郑四发，
申请(专利权)人：清华大学苏州汽车研究院相城，
类型：发明
国别省市：