情绪识别方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例属于人工智能领域，涉及一种情绪识别方法、装置、计算机设备及存储介质，其中方法包括：通过获取待识别文件，所述待识别文件为视频片段和/或音频片段；将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征；将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果；根据所述情绪预测结果，确定所述待识别文件的情绪类别。通过身份识别和情绪识别综合训练，学习不同对象不同情绪的特征，提高了情绪识别的准确率。提高了情绪识别的准确率。提高了情绪识别的准确率。

【技术实现步骤摘要】
情绪识别方法、装置、计算机设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及情绪识别方法、装置、计算机设备及存储介质。

技术介绍

[0002]人脸表情识别(FER)是人工智能重要领域，在视觉任务中，应用前景极其广泛；比如在智能教育中，通过载入表情识别分析课堂学生情绪，教育者基于此分析出学生课堂积极性及课堂成效并掌握全局和个别学生状态及时做出应对，从而指导教育者灵活变动教育互动等方式，提升教育成果转化率，同样应用于安防、智慧城市、在线教育、人机互动和犯罪分析等领域。但现有方法通常根据单一特征来预测情绪，误判率高。

技术实现思路

[0003]本申请实施例的目的在于提出一种情绪识别方法、装置、计算机设备及存储介质，以解决根据单一特征预测情绪，误判率高的问题
[0004]为了解决上述技术问题，本申请实施例提供一种情绪识别方法，采用了如下所述的技术方案：
[0005]获取待识别文件，所述待识别文件为视频片段和/或音频片段；
[0006]将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情绪识别方法，其特征在于，包括下述步骤：获取待识别文件，所述待识别文件为视频片段和/或音频片段；将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征；将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果；根据所述情绪预测结果，确定所述待识别文件的情绪类别。2.根据权利要求1所述的情绪识别方法，其特征在于，当所述待识别文件为视频片段时，所述将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征的步骤具体包括：将所述视频片段输入到预先训练的图像特征提取模型，获得所述视频片段的图像特征；所述情绪身份识别模型包含预先训练的第一LSTM网络和情绪预测结果输出层，所述将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果的步骤具体包括：将所述图像特征输入到所述第一LSTM网络，获取所述视频特征的时序图像特征；将所述时序图像特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。3.根据权利要求2所述的情绪识别方法，其特征在于，所述情绪身份识别模型还包括身份预测结果输出层，所述情绪身份识别模型的训练包括下述步骤：获取训练样本，所述训练样本为标注有情绪类别和身份的N个视频片段，N为大于0的正整数；将所述训练样本输入到所述图像特征提取网络，获得所述训练样本的N个图像特征；将所述N个图像特征输入到所述情绪身份识别模型中，获得所述情绪预测结果输出层输出的N个情绪预测结果和所述身份预测结果输出层输出的N个身份预测结果；通过第一损失函数比对所述N个情绪预测结果和所述N个身份预测结果与所述标注的情绪类别和身份识别是否一致，其中所述第一损失函数为：L1＝L1_vEmotion+L1_vFace其中，L1_vEmotion为所述情绪预测结果的损失函数，L1_vEmotion采用arcfaceloss，L1_vFace为所述身份预测结果的损失函数，L1_vFace采用softmaxloss；调整所述情绪身份识别模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。4.根据权利要求1所述的情绪识别方法，其特征在于，当所述待识别文件为音频片段时，所述将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征的步骤具体包括：将所述音频片段输入到预设的音频特征提取模型，获得所述音频片段的音频特征；所述情绪身份识别模型包含预先训练的第一情绪身份特征提取网络和情绪预测结果输出层，所述将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果的步骤具体包括：
将所述音频特征输入到所述第一情绪身份特征提取网络，获取所述音频特征的情绪身份特征；将所述情绪身份特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。5.根据权利要求4所述的情绪识别方法，其特征在于，所述情绪身份识别模型还包括身份预测结果输出层，所述情绪身份识别模型的训练包括下述步骤：获取训练样本，所述训练样本为标注有情绪类别和身份的N个音频片段，N为大于0的正整数；将所述训练样本输入到所述音频特征提取模型，获得所述训练样本的N个音频特征；将所述N个音频特征输入到所述情绪身份识别模型中，获得所述情绪预测结果输出层输出的N个情绪预测结果和所述身份预测结果输出层输出的N个身份预测结果；通过第二损失函数比对所述N个情绪预测结果和所述N个身份预测结果与所述标注的情绪类别和身份是否一致，其中所述第二损失函数为：L2＝L1_aEmotion+L1_aFace其中，L1_aEmotion为所述...

【专利技术属性】
技术研发人员：张展望，周超勇，刘玉宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：