一种多模态紧张情绪识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种多模态紧张情绪识别方法、装置、设备及存储介质，涉及智能识别技术领域。所述方法包括：获取被试人员的面部视频、脑电信号和皮肤电信号；利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；将所述融合特征输入情绪分类模型，得到情绪分类结果。本发明专利技术能够结合面部视频、脑电信号和皮肤电信号进行特征融合，多方面检测被试人员的情绪是否适宜进行危险作业，提前规避风险。提前规避风险。提前规避风险。

【技术实现步骤摘要】
一种多模态紧张情绪识别方法、装置、设备及存储介质


[0001]本专利技术涉及智能识别
，尤其涉及一种多模态紧张情绪识别方法、装置、设备及存储介质。

技术介绍

[0002]紧张情绪检测是判断高空作业人员是否能继续工作的重要指标之一。当工人存在过度的紧张情绪时，会影响工人的工作效率，增加安全风险。通过对工人的紧张情绪进行检测，可以对工人的工作状态进行适度调整，规避潜在风险。因此，提前对需要进行危险作业的人员进行情绪识别是非常有必要的。

技术实现思路

[0003]本专利技术目的在于，提供一种多模态紧张情绪识别方法、装置、设备及存储介质，以提前对需要进行危险作业的人员进行情绪识别。
[0004]为实现上述目的，本专利技术实施例提供一种多模态紧张情绪识别方法，包括：
[0005]获取被试人员的面部视频、脑电信号和皮肤电信号；
[0006]利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；
[0007]将所述融合特征输入情绪分类模型，得到情绪分类结果。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态紧张情绪识别方法，其特征在于，包括：获取被试人员的面部视频、脑电信号和皮肤电信号；利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；将所述融合特征输入情绪分类模型，得到情绪分类结果。2.根据权利要求1所述的多模态紧张情绪识别方法，其特征在于，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。3.根据权利要求1所述的多模态紧张情绪识别方法，其特征在于，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：对所述脑电信号进行滤波处理，得到脑电滤波信号；将脑电滤波信号进行降采样处理，得到若干个频段信号；对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。4.根据权利要求1所述的多模态紧张情绪识别方法，其特征在于，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。5.一种多模态紧张情绪识别装置，其特征在于，包括：信号获取模块，用于获取被试人员的面部视频、脑电信号和皮肤电信号；特征融合模块，用于利用注意力机制的典型相关分析对所述面部视频、所述脑电...

【专利技术属性】
技术研发人员：刘羽中，李华亮，范圣平，沈雅利，王琪如，熊超琳，谢庭军，翟永昌，
申请(专利权)人：广东电网有限责任公司电力科学研究院，
类型：发明
国别省市：