融合多模态的语音情感识别方法及系统技术方案

本发明专利技术提供了一种融合多模态的语音情感识别方法及系统，包括：获取语音信号，对所述语言信号进行语音情感特征值的提取；获取语音信号对应的文本信息，对所述文本信息进行预处理生成文本特征信息；获取预训练的语音情感分类器，所述语音情感分类器包括第一分类模型和第二分类模型；将所述语音情感特征值和所述文本特征信息输入所述语音情感分类器，通过第一分类模型对所述语音情感特征值进行识别生成第一分类信息，通过第二分类模型对文本特征信息进行识别生成第二分类信息，进而通过将所述第一分类信息和所述第二分类信息进行融合生成识别信息。本发明专利技术充分地利用各个分类器的优点，融合多种模态，可以避免单个模态的偶然性，提高识别准确率。提高识别准确率。提高识别准确率。

【技术实现步骤摘要】
融合多模态的语音情感识别方法及系统


[0001]本专利技术涉及语音情感识别，具体地，涉及一种融合多模态的语音情感识别方法及系统。

技术介绍

[0002]语音情感识别是人工智能的一部分，涉及到深度学习和机器学习方面的知识。人的语言里包含着丰富的情感，如何让计算机像人脑从语音中识别人的情感是语音识别的研究热点。语音识别已经应用在人脸识别、手写体数字识别等众多领域。语音情感识别广泛应用于教育行业，服务行业，辅助驾驶行业以及刑事侦查行业。在教育行业中，观察学生们的情感状态，并准确地做出判断，有利于教师们采取有利措施预防学生们地抑郁症倾向。在服务行业里，通过与客户进行语音交流，可以有效地从客户地语音中判断他们是否对这项服务满意，从而及时提醒服务人员调整服务策略。在刑事侦查行业，警察在审问犯罪嫌疑人的时候，通常根据嫌疑人的说话语音语调判断嫌疑人是否说谎。人在说谎的时候会情绪紧张，语音语调会随着情绪变化。不仅国内人们对语音情感识别展开深入的研究，语音情感识别在国外也受到了重视。
[0003]1997年，麻省理工大学的教授提出了“情感计算的概念”，他提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合多模态的语音情感识别方法，其特征在于，包括如下步骤：步骤S1：获取语音信号，对所述语言信号进行语音情感特征值的提取；步骤S2：获取所述语音信号对应的文本信息，对所述文本信息进行预处理生成文本特征信息；步骤S3：获取预训练的语音情感分类器，所述语音情感分类器包括第一分类模型和第二分类模型；步骤S4：将所述语音情感特征值和所述文本特征信息输入所述语音情感分类器，通过第一分类模型对所述语音情感特征值进行识别生成第一分类信息，通过第二分类模型对所述文本特征信息进行识别生成第二分类信息，进而通过将所述第一分类信息和所述第二分类信息进行融合生成识别信息。2.根据权利要求1所述的融合多模态的语音情感识别方法，其特征在于，所述步骤S1包括如下步骤：步骤S101：对所述语音信号依次进行预加重，分帧，加窗，端点检测确定具有情感的语音信号；步骤S102：对所述具有情感的语音信号先进行降维，然后提取对情感识别贡献度最大的特征值生成所述语音情感特征值。3.根据权利要求1所述的融合多模态的语音情感识别方法，其特征在于，所述步骤S2包括如下步骤：步骤S201：对所述文本信息进行分词，并去除所述文本信息中的停用词；步骤S202：根据信息增益方法在所述文本信息中进行特征选择生成多个特征，计算每个特征的信息熵，根据信息熵确定目标特征；步骤S203：构建关键词库、情感副词库以及情感形容词库，根据词库对不同的目标特征赋予不同的权重以生成所述语音情感特征值。4.根据权利要求1所述的融合多模态的语音情感识别方法，其特征在于，步骤S3包括如下步骤步骤S301：设计DNN神经网络和第一BLSTM神经网络，将所述DNN神经网络和所述BLSTM神经网络构建第一分类模型；步骤S302：设计BERT模型、第二BLSTM神经网络以及softmax分类器，将所述BERT模型、所述第二BLSTM神经网络以及所述softmax分类器构建成所述第二分类模型；步骤S303：获取预设置的语音训练集、语音测试集、文本训练集以及文本测试集，通过所述语音训练集和语音测试集对所述第一分类模型进行训练和测试，通过所述文本训练集和文本测试集对所述第二分类模型进行训练和测试，从而生成所...

【专利技术属性】
技术研发人员：刘云翔，张可欣，原鑫鑫，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：