一种语音情感识别方法、系统、计算机设备和存储介质技术方案

本发明专利技术公开一种语音情感识别方法，首先获取声音数据的相位数据和能量谱，再利用双向循环神经网络将能量谱中的语义与情感进行分离，去除语义部分并将情感部分与相位数据混合获得情感特征，然后利用该情感特征训练支持向量机，该支持向量机用于情感特征类别的识别。本发明专利技术的方法通过将语义与情感分离，并单独取情感部分进行情感识别可有效提高情感识别的准确度。

【技术实现步骤摘要】
一种语音情感识别方法、系统、计算机设备和存储介质
本专利技术涉及语音情感识别
，尤其是一种语音情感识别方法、系统、计算机设备和存储介质。
技术介绍
随着人们对于智能生活的要求不断提高，人机交互已经成为了当今AI研究的趋势之一。如何可以更好地实现人机交互，是一个值得深究的问题，在不断地语音识别研究中，人们发现情感信息对一个人的语义理解有着极大的帮助。为了使计算机可以像人一样与人类“交流”，语音情感识别逐渐成为了智能人机交互领域的研究热点。目前情感识别研究领域中，最主要的途径就是通过对人的生理信息，例如声音信号、脉搏信号、脑电信号、面部表情、身体形态等一种信号分析或多种信号的多模分析，利用识别技术进行训练学习和类型识别判断。所以通过对语音进行情感研究是合理且有效的。现有技术中，在原始数据的预处理过程中，大多数情况下只针对数据的清洗和降噪，对于情感和语义的信息数据并没有做任何的改变，这导致预处理后的效果并没有得到明显的提升。对于情感识别来说，语义部分所携带的大量信息都是对情感识别没有帮助的，甚至会影响情感的准确识别，导致情感识别率低。
技术实现思路
本专利技术提供一种语音情感识别方法、系统、计算机设备和存储介质，用于克服现有技术中情感识别率较低等缺陷。为实现上述目的，本专利技术提出一种语音情感识别方法，包括：构建语音情感数据集；所述语音情感数据集包括被标记的声音数据；获取所述声音数据的相位数据和能量谱，将所述相位数据和能量谱输入预先设置的情感识别模型；所述情感识别模型包括：双向循环神经网络和支持向量机；利用所述能量谱对所述双向循环神经网络进行训练，并利用训练好的双向循环神经网络对所述能量谱中的语义和情感进行分离，获得语义能量谱和情感能量谱；根据所述情感能量谱和所述相位数据，得到情感特征；利用所述情感特征对所述支持向量机进行训练，得到训练好的情感识别模型；将从待识别声音数据中提取的相位数据和能量谱输入训练好的情感识别模型，获得情感类别。为实现上述目的，本专利技术还提出一种语音情感识别系统，包括：数据集构建模块，用于构建语音情感数据集；所述语音情感数据集包括被标记的声音数据；相位数据和能量谱获取模块，用于获取所述声音数据的相位数据和能量谱，将所述相位数据和能量谱输入预先设置的情感识别模型；语义和情感分离模块，用于利用所述能量谱对所述双向循环神经网络进行训练，并利用训练好的双向循环神经网络对所述能量谱中的语义和情感进行分离，获得语义能量谱和情感能量谱；情感特征获取模块，用于根据所述情感能量谱和所述相位数据，得到情感特征；支持向量机训练模块，用于利用所述情感特征对所述支持向量机进行训练，得到训练好的情感识别模型；语音情感识别模块，用于将从待识别声音数据中提取的相位数据和能量谱输入训练好的情感识别模型，获得情感类别。为实现上述目的，本专利技术还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。为实现上述目的，本专利技术还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。与现有技术相比，本专利技术的有益效果有：本专利技术提供的语音情感识别方法，首先获取声音数据的相位数据和能量谱，再利用双向循环神经网络将能量谱中的语义与情感进行分离，去除语义部分并将情感部分与相位数据混合获得情感特征，然后利用该情感特征训练支持向量机，该支持向量机用于情感特征类别的识别。本专利技术的方法通过将语义与情感分离，并单独取情感部分进行情感识别可有效提高情感识别的准确度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术提供的语音情感识别方法流程图；图2为本专利技术中双向循环神经网络的结构图；图3a为直接采用默认核参数的支持向量机对CASIA汉语情感语料库中的声音数据进行情感识别的结果图；图3b为利用双向循环神经网络对CASIA汉语情感语料库中的声音数据进行语义与情感的分离并采用默认核参数的支持向量机对声音数据进行情感识别的结果图；图3c为直接采用最优核参数的支持向量机对CASIA汉语情感语料库中的声音数据进行情感识别的结果图；图3d为利用双向循环神经网络对CASIA汉语情感语料库中的声音数据进行语义与情感的分离并采用最优核参数的支持向量机对声音数据进行情感识别的结果图；图4a为直接采用默认核参数的支持向量机对柏林数据集中的声音数据进行情感识别的结果图；图4b为利用双向循环神经网络对柏林数据集中的声音数据进行语义与情感的分离并采用默认核参数的支持向量机对声音数据进行情感识别的结果图；图4c为直接采用最优核参数的支持向量机对柏林数据集中的声音数据进行情感识别的结果图；图4d为利用双向循环神经网络对柏林数据集中的声音数据进行语义与情感的分离并采用最优核参数的支持向量机对声音数据进行情感识别的结果图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。另外，本专利技术各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。本专利技术提出一种语音情感识别方法，如图1所示，包括：101：构建语音情感数据集；该语音情感数据集包括被标记的声音数据；语音情感数据集为MIR1K数据集，该MIR1K数据集拥有准确地混合音频和有单独的情感和语义的音频，可很好的用于情感识别模型训练。102：获取声音数据的相位数据和能量谱，将相位数据和能量谱输入预先设置的情感识别模型；该情感识别模型包括：双向循环神经网络和支持向量机；声音数据包括相位数据和频率，以频率为能量谱。103：利用能量谱对双向循环神经网络进行训练，并利用训练好的双向循环神经网络对能量谱中的语义和情感进行分离，获得语义能量谱和情感能量谱；可以将步骤102的全部能量谱用于双向循环神经网络训练，并利用训练好的双向循环神经网络对全部的能量谱进行语义和情感分离。也可以为将步骤102的一部分能量谱用于双向循环神经网络训练，另一部分能量谱进行语义和情感分离。...

【技术保护点】
1.一种语音情感识别方法，其特征在于，包括：/n构建语音情感数据集；所述语音情感数据集包括被标记的声音数据；/n获取所述声音数据的相位数据和能量谱，将所述相位数据和能量谱输入预先设置的情感识别模型；所述情感识别模型包括：双向循环神经网络和支持向量机；/n利用所述能量谱对所述双向循环神经网络进行训练，并利用训练好的双向循环神经网络对所述能量谱中的语义和情感进行分离，获得语义能量谱和情感能量谱；/n根据所述情感能量谱和所述相位数据，得到情感特征；/n利用所述情感特征对所述支持向量机进行训练，得到训练好的情感识别模型；/n将从待识别声音数据中提取的相位数据和能量谱输入训练好的情感识别模型，获得情感类别。/n

【技术特征摘要】
1.一种语音情感识别方法，其特征在于，包括：
构建语音情感数据集；所述语音情感数据集包括被标记的声音数据；
获取所述声音数据的相位数据和能量谱，将所述相位数据和能量谱输入预先设置的情感识别模型；所述情感识别模型包括：双向循环神经网络和支持向量机；
利用所述能量谱对所述双向循环神经网络进行训练，并利用训练好的双向循环神经网络对所述能量谱中的语义和情感进行分离，获得语义能量谱和情感能量谱；
根据所述情感能量谱和所述相位数据，得到情感特征；
利用所述情感特征对所述支持向量机进行训练，得到训练好的情感识别模型；
将从待识别声音数据中提取的相位数据和能量谱输入训练好的情感识别模型，获得情感类别。


2.如权利要求1所述的语音情感识别方法，其特征在于，利用所述情感特征对所述支持向量机进行训练，得到训练好的情感识别模型，包括：
利用蛙跳算法确定支持向量机的最优核参数；
利用所述情感特征对设置了所述最优核参数的支持向量机进行训练，得到训练好的情感识别模型。


3.如权利要求2所述的语音情感识别方法，其特征在于，利用蛙跳算法确定支持向量机的最优核参数，包括：
对蛙跳算法初始化；
在可行解空间生成一个初始种群；所述初始种群包含多只青蛙，每只所述青蛙的当前位置对应于支持向量机分类问题中核函数解空间的一个候选解；
对所述青蛙进行等级划分，获得多个子群；
对所述子群执行子群进化，获得所述初始种群中最好的青蛙，所述最好的青蛙对应的支持向量机分类问题中核函数在解空间的解为最优核参数。


4.如权利要求3所述的语音情感识别方法，其特征在于，对所述子群执行子群进化，获得所述初始种群中最好的青蛙，包括：
设定最大进化次数；
计算获得所述子群中第i只青蛙所带的电荷，



式中，qi为第i只青蛙所带的电荷；n为子群数量的一半或者子群数量；xi为当前子群中第i只青蛙的解；xg为当前子群中最优青蛙的解；xk为当前子群中每一只青蛙的解，k为当前子群中第k只青蛙；为初始种群中最优青蛙的解；为各个子群中最优青蛙的解；m为单个子群中青蛙的数量；m′为子群数量；p为初始种群中第p个子群；
根据所述电荷获得作用在所述子群中最差青蛙上的分力，



式中，Fiw为作用在子群中最差青蛙上的分力；为子群最差目标值青蛙所带电荷；Pwt为子群中最差目标值青蛙的当前位置；
根据所述分力调整所述子群中最差目标值青蛙的位置，
Pwt+1＝w*Pwt+Da(Dmax＞＝Da＞＝-Dmax)+Fiw(3)
w＝(ws-we)*(1+a/maxgen)(4)
Da＝rand*(Pwt-Pb)(5)
式中，Pwt+1为调整后子群中最差目标值青蛙的位置；w为惯性参数，由ws和we控制；Da为本次移动的随机步长；Dmax为一次跳跃的最大步长；maxgen为设定的最大进化次数；a为当前的总进化次数；Pb为当前子群中的最优青蛙；rand为(0,1)的随机值；
若调整后子群中最差目标值青蛙的位置优于子群中最差目标值青蛙的原位置，则用调整后子群中最差目标值青蛙的位置取代所述原位置；否则，用初始种群中最好的青蛙的解代替子群最优青蛙的解并重新计算调整后子群中最差目标值青蛙的解，如果优于所述原位置，则用调整后子群中最差目标值青蛙的位置取代所述原位置；若重新调整获得的子群中最差目标值青蛙的位置还是没有优于所述原位置，则在子群中随机生成一个新位置用于取代所述原位置；
若当前的进化次数≥每个子群中...

【专利技术属性】
技术研发人员：戚成杰，叶吉祥，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南;43