【技术实现步骤摘要】
融合多层次声学信息的语音情感识别方法、装置及存储介质
[0001]本专利技术涉及语音情感识别
，尤其涉及一种融合多层次声学信息的语音情感识别方法、装置及存储介质。
技术介绍
[0002]语音作为语言的声学表示，除了能表达说话人的意图，还包含丰富的语言和非语言情感信息。智能语音交互系统使机器具备“听懂”说话人语义信息的能力，但如何让机器“读懂”说话人的情感还存在很大的挑战。
[0003]现有技术中语音情感识别方法通常是先对原始语音进行预处理，再从原始语音中提取某种特征，以识别该特征所属的情感类别，但是该类识别方式的区分能力有限，例如针对特定类别情感的识别精度不高。利用神经网络模型从语谱图中能提取出更高级、更加丰富的特征，从而可以提高识别精度，有效解决上述问题。但是，从语谱图中所能提取的特征是有限的，因而通常需要依赖于多模态的情感识别。例如将声学信息与文本信息相结合，并学习上下文信息，以帮助做出最终的情感预测。而在实际应用中可能难以获取到多模态的情感信息，导致多模态的网络模型并不适用，而只能采用单模态的网络模型，且...
【技术保护点】
【技术特征摘要】
1.一种融合多层次声学信息的语音情感识别方法，其特征在于，步骤包括：S01.预处理：获取待识别语音信号进行预处理，根据预处理后信号得到频谱特征图和梅尔倒谱系数；S02.特征提取：分别从所述频谱特征图、梅尔倒谱系数中提取频谱特征、MFCC特征，以及对待处理语音信号提取W2E特征；S03.跨注意融合：将所述频谱特征、MFCC特征和W2E特征输入到跨层次注意力网络中进行融合，得到融合特征输出，所述跨层次注意力网络包括三组跨层次注意力模块，每组所述跨层次注意力模块用于将所述频谱特征、MFCC特征和W2E特征中两种特征采用自注意力进行融合，得到两种特征的融合特征，将三组跨层次注意力模块得到的融合特征进行拼接后得到最终的融合特征；S04.情感分类：将所述融合特征输入至预先训练好的分类器，得到情感分类结果。2.根据权利要求1所述的融合多层次声学信息的语音情感识别方法，其特征在于，所述步骤S01包括：S101.对待识别语音信号进行分帧、去除首尾静音以及统一语音长度处理，得到预处理后信号；S102.对所述预处理后信号进行加窗处理，并对加窗处理后信号进行短时傅里叶变换得到功率谱，根据所述功率谱经过对数运算得到所述频谱特征图，以及将所述功率谱输入到梅尔滤波器组中，经过对数运算和离散余弦变换得到所述梅尔倒谱系数。3.根据权利要求2所述的融合多层次声学信息的语音情感识别方法，其特征在于，所述步骤S102中，采用如下所示的汉明窗对对所述预处理后信号进行加窗处理：其中，N为帧的数量，n为当前帧数。4.根据权利要求1所述的融合多层次声学信息的语音情感识别方法，其特征在于，所述步骤S02中，使用二维卷积神经网络从所述频谱特征图中来学习频谱特征，使用长短期记忆网络从所述频谱特征图中学习MFCC特征，以及使用预训练模型提取所述W2E特征。5.根据权利要求1所述的融合多层次声学信息的语音情感识别方法，其特征在于，每个所述跨层次注意力模块包括三个LN标准化层、一个多头注意力层和一个位置连接层，由第一LN标准化层、第二LN标准化层分别接入所述频谱特征、MFCC特征和W2E特征中任意两种特质，经过处理后输出给所述多头注意力层，所述多头注意力层的输出以及所述第一LN标准化层的输出相加，得到第一累加结果，输出至第三LN标准化层，所述第三LN标准化层的输出经过所述位置连接层后与所述第一累加结果相加，得到当前输入两种特征之间的融合结果。6.根据...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。