一种多模态紧张情绪识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种多模态紧张情绪识别方法、装置、设备及存储介质，涉及智能识别技术领域。所述方法包括：获取被试人员的面部视频、脑电信号和皮肤电信号；利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；将所述融合特征输入情绪分类模型，得到情绪分类结果。本发明专利技术能够结合面部视频、脑电信号和皮肤电信号进行特征融合，多方面检测被试人员的情绪是否适宜进行危险作业，提前规避风险。提前规避风险。提前规避风险。

【技术实现步骤摘要】
一种多模态紧张情绪识别方法、装置、设备及存储介质


[0001]本专利技术涉及智能识别
，尤其涉及一种多模态紧张情绪识别方法、装置、设备及存储介质。

技术介绍

[0002]紧张情绪检测是判断高空作业人员是否能继续工作的重要指标之一。当工人存在过度的紧张情绪时，会影响工人的工作效率，增加安全风险。通过对工人的紧张情绪进行检测，可以对工人的工作状态进行适度调整，规避潜在风险。因此，提前对需要进行危险作业的人员进行情绪识别是非常有必要的。

技术实现思路

[0003]本专利技术目的在于，提供一种多模态紧张情绪识别方法、装置、设备及存储介质，以提前对需要进行危险作业的人员进行情绪识别。
[0004]为实现上述目的，本专利技术实施例提供一种多模态紧张情绪识别方法，包括：
[0005]获取被试人员的面部视频、脑电信号和皮肤电信号；
[0006]利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；
[0007]将所述融合特征输入情绪分类模型，得到情绪分类结果。
[0008]优选地，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：
[0009]根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。
[0010]优选地，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：
[0011]对所述脑电信号进行滤波处理，得到脑电滤波信号；
[0012]将脑电滤波信号进行降采样处理，得到若干个频段信号；
[0013]对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。
[0014]优选地，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：
[0015]以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。
[0016]本专利技术实施例还提供一种多模态紧张情绪识别装置，包括：
[0017]信号获取模块，用于获取被试人员的面部视频、脑电信号和皮肤电信号；
[0018]特征融合模块，用于利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；
[0019]情绪分类模块，用于将所述融合特征输入情绪分类模型，得到情绪分类结果。
[0020]优选地，所述的多模态紧张情绪识别装置，还包括：
[0021]眼动分析模块，用于根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。
[0022]优选地，所述的多模态紧张情绪识别装置，还包括：
[0023]脑电分析模块，用于对所述脑电信号进行滤波处理，得到脑电滤波信号；将脑电滤波信号进行降采样处理，得到若干个频段信号；对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。
[0024]优选地，所述的多模态紧张情绪识别装置，还包括：
[0025]皮肤电分析模块，用于以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。
[0026]本专利技术实施例还提供一种计算机终端设备，包括一个或多个处理器和存储器。存储器与所述处理器耦接，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的多模态紧张情绪识别方法。
[0027]本专利技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一实施例所述的多模态紧张情绪识别方法。
[0028]与现有技术相比，本专利技术具有以下有益效果：
[0029]本专利技术提供一种多模态紧张情绪识别方法，包括：获取被试人员的面部视频、脑电信号和皮肤电信号；利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；将所述融合特征输入情绪分类模型，得到情绪分类结果。本专利技术能够结合面部视频、脑电信号和皮肤电信号进行特征融合，多方面检测被试人员的情绪是否适宜进行危险作业，提前规避风险。
附图说明
[0030]为了更清楚地说明本专利技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1是本专利技术某一实施例提供的多模态紧张情绪识别方法的流程示意图；
[0032]图2是本专利技术某一实施例提供的DCCA
‑
AM结构图示意图；
[0033]图3是本专利技术某一实施例提供的多模态紧张情绪识别装置的结构示意图；
[0034]图4是本专利技术某一实施例提供的计算机终端设备的结构示意图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]应当理解，文中所使用的步骤编号仅是为了方便描述，不作为对步骤执行先后顺序的限定。
[0037]应当理解，在本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0038]术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0039]术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0040]请参阅图1，图1是本专利技术某一实施例提供的多模态紧张情绪识别方法的流程示意图。在本专利技术实施例中，多模态紧张情绪识别方法，包括以下步骤：
[0041]S110，获取被试人员的面部视频、脑电信号和皮肤电信号；
[0042]S120，利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；
[0043]S130，将所述融合特征输入情绪分类模型，得到情绪分类结果。
[0044]在某一实施例中，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。
[0045]在某一实施例中，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：对所述脑电信号进行滤波处理，得到脑电滤波信号；将脑电滤波信号进行降采样处理，得到若干个频段信号；对所述频段信号进行分段处理以提取微分熵特征，得到脑电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态紧张情绪识别方法，其特征在于，包括：获取被试人员的面部视频、脑电信号和皮肤电信号；利用注意力机制的典型相关分析对所述面部视频、所述脑电信号和所述皮肤电信号进行特征融合，得到融合特征；将所述融合特征输入情绪分类模型，得到情绪分类结果。2.根据权利要求1所述的多模态紧张情绪识别方法，其特征在于，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：根据所述面部视频计算左右眼瞳孔直径的微分熵特征与功率谱密度特征，得到眼动特征。3.根据权利要求1所述的多模态紧张情绪识别方法，其特征在于，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：对所述脑电信号进行滤波处理，得到脑电滤波信号；将脑电滤波信号进行降采样处理，得到若干个频段信号；对所述频段信号进行分段处理以提取微分熵特征，得到脑电特征。4.根据权利要求1所述的多模态紧张情绪识别方法，其特征在于，所述获取被试人员的面部视频、脑电信号和皮肤电信号后，还包括：以预设时间间隔提取1个皮肤电信号的时序值作为皮肤电信号的特征，得到皮肤电特征。5.一种多模态紧张情绪识别装置，其特征在于，包括：信号获取模块，用于获取被试人员的面部视频、脑电信号和皮肤电信号；特征融合模块，用于利用注意力机制的典型相关分析对所述面部视频、所述脑电...

【专利技术属性】
技术研发人员：刘羽中，李华亮，范圣平，沈雅利，王琪如，熊超琳，谢庭军，翟永昌，
申请(专利权)人：广东电网有限责任公司电力科学研究院，
类型：发明
国别省市：