一种基于时空频谱特征与软标签纠正的语音情感识别方法技术

本发明专利技术涉及一种基于时空频谱特征与软标签纠正的语音情感识别方法，属于语音情感识别领域。该方法为：1)划分样本为清晰样本(即有情感主标签的语音样本)与模糊样本(即无情感主标签的样本)；2)构建时空主干网络提取语音的时空特征；3)确定软标签纠正策略，为模糊语音样本的使用提供有效方案；4)设计用于连续变量的类间差异损失函数以便用于模型训练参数更新；5)通过与多种不同方法进行对比，验证所提方法的有效性。本发明专利技术专利考虑在模型训练过程同时进行软标签纠正，实现语音的动态情感特征提取，缓解情感表达存在的模糊性与情感认知存在的主观性对语音情感识别的误导。该方法能够实时对模糊语音的软标签进行纠正，增加语音情感识别模型的泛化能力。

【技术实现步骤摘要】

本专利技术属于语音情感识别领域，涉及一种基于时空频谱特征与软标签纠正的语音情感识别方法。

技术介绍

1、随着计算机技术和人工智能的飞速发展，语音情感识别已经成为人机交互领域的热门话题。语音作为人类自然交流的核心媒介，不仅仅传递信息，更承载着说话者的情感、情绪和沟通背景。语音信号蕴含着丰富的信息，包括说话者的身份、情感以及语言强调的线索。语音中的情感信息在人类的决策、交流和认知过程中起着至关重要的作用。为更好通过语音服务人类，目前市面上已经诞生了一系列基于语音的智能应用。比如智能客服系统和语音助手、对话系统等，这极大地促进了人机交互发展。

2、然而，目前拥有语音识别能力的智能应用并不具备识别语音中丰富情感信息的能力，对于复杂的情感表达和语境理解仍存在局限性。实际上，语音是人类交流主要媒介，理解语音中情感是良好社会互动的关键。在人机互动中，机器不仅需要理解说话人的目的，还需要识别并响应说话人的情感。因此，将语音情感识别作为语音科研项目内容有助于人机交流的智能化以及个性化。现阶段，随着人机交互、自动驾驶等领域的发展，语音情感识别逐渐成为各国语音研究者本文档来自技高网...

【技术保护点】

1.一种基于时空频谱特征与软标签纠正的语音情感识别方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的一种基于时空频谱特征与软标签纠正的语音情感识别方法，其特征在于：所述步骤一中，考虑到确定标签样本，具有清晰的情感倾向，并不会为标注者带来认知偏差。而无确定标签的样本，情感表达模糊，这使得标注者们对同一个语音有不同的看法。为此，我们对数据集中样本进行划分，以便区这两类数据样本。首先，根据每个语音样本的标签，可将数据集中所有样本归纳为两种类型的并集：设语音数据集合为S，具有确定标签(单标签)的样本为清晰样本SA，无确定标签(多标签)的样本为模糊样本SB，其中N1为清晰...

【技术特征摘要】

1.一种基于时空频谱特征与软标签纠正的语音情感识别方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的一种基于时空频谱特征与软标签纠正的语音情感识别方法，其特征在于：所述步骤一中，考虑到确定标签样本，具有清晰的情感倾向，并不会为标注者带来认知偏差。而无确定标签的样本，情感表达模糊，这使得标注者们对同一个语音有不同的看法。为此，我们对数据集中样本进行划分，以便区这两类数据样本。首先，根据每个语音样本的标签，可将数据集中所有样本归纳为两种类型的并集：设语音数据集合为s，具有确定标签(单标签)的样本为清晰样本sa，无确定标签(多标签)的样本为模糊样本sb，其中n1为清晰样本sa大小，n2为模糊样本sb大小，n为样本s大小。

3.根据权利要求2所述的一种基于时空频谱特征与软标签纠正的语音情感识别方法，其特征在于：所述步骤二中，时域模块：首先语音时域波形xi经过连续的一维卷积层得到特征t随着输入语音长度的变化而变化，d1表示特征维度...

【专利技术属性】
技术研发人员：甘臣权，周代桃，祝清意，王喜宾，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：