情绪识别方法、系统、电子设备和存储介质技术方案

本发明专利技术实施例提供一种情绪识别方法、系统、电子设备和存储介质。该方法包括：利用脑电采集设备和眼动仪采集被试者在观看情绪诱发绘画素材期间的脑电信号和眼动数据；通过脑电信号在时间域、频率域的频谱确定用于反映脑电信号中不同频带随时间的能量变化的微分熵特征；将微分熵特征输入至情绪识别模型，通过情绪识别模型内的图神经网络模块处理微分熵特征得到脑电拓扑；将脑电拓扑与眼动数据拼接输入至情绪识别模型内的深度自编码模块，输出情绪融合特征；利用情绪识别模型内的多层感知机确定融合特征的情绪分类结果。本发明专利技术实施例使用绘画便于激发被试者的情感。能更好地提取在时间、空间上的信息特征，可以得到更高的情绪分类准确率。分类准确率。分类准确率。

【技术实现步骤摘要】
情绪识别方法、系统、电子设备和存储介质


[0001]本专利技术涉及智能语音
，尤其涉及一种情绪识别方法、系统、电子设备和存储介质。

技术介绍

[0002]在人类的思维与行为中，情绪有着特别重要的作用。虽然可以用大量的词语来描述和区分人类的情绪，比如快乐、恐惧、悲伤、愤怒等情绪，但要准确地辨认出人类的情绪，对于机器，乃至人类而言，仍然是一项具有挑战的工作。许多研究表明，面部表情、语言、脑电信号、眼动追踪信号、心电等都是反映人类情绪状态的重要非生理和生理信号模态。
[0003]近年来，各种情绪诱发素材被用于情绪识别研究，获取用户的情绪来为用户提供针对性的个性化服务。情绪诱发是指在社会心理学实验中，通过情绪诱发素材来激发被试者的对应情绪。
[0004]具体地，情绪诱发素材可分为静态素材(例如，照片、图片等)与动态素材(例如电影，音乐等)。动态素材是现有技术被广泛采用的一类诱因，它具有强烈的、丰富的情绪和明显的诱发效应；静态素材的情绪相对稳定，可以确定出可控的情绪。例如可以在观看电影时记录了被试者的脑电图信号。也可以利用微笑和哭泣的面部表情照片来激发被试者的快乐和悲伤的情绪。
[0005]在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：
[0006]动态素材的缺点是其物理性质的复杂性和不可控制性以及后期采集的生理信号难以追溯。例如，电影中包含大量的场景变化、亮度变化、叙事发展或信息阵列中的其他动态变化，这些变化可能会使对诱发的情感反应的解释复杂化；并且例如电影的动态素材中也会引入噪声，很难用复杂的刺激动态连续准确地注释情绪。静态素材的缺点是静态图片的情感薄弱，很难激发被试者的情感。

技术实现思路

[0007]为了至少解决现有技术中动静态素材在情绪识别中的上述例举缺陷的问题。第一方面，本专利技术实施例提供一种情绪识别方法，包括：
[0008]利用脑电采集设备和眼动仪采集被试者在观看情绪诱发绘画素材期间的脑电信号和眼动数据；
[0009]通过所述脑电信号在时间域、频率域的频谱确定用于反映脑电信号中不同频带随时间的能量变化的微分熵特征；
[0010]将所述微分熵特征输入至情绪识别模型，通过所述情绪识别模型内的图神经网络模块处理所述微分熵特征得到脑电拓扑；
[0011]将所述脑电拓扑与所述眼动数据拼接输入至所述情绪识别模型内的深度自编码模块，输出情绪融合特征；
[0012]利用所述情绪识别模型内的多层感知机确定所述融合特征的情绪分类结果。
[0013]第二方面，本专利技术实施例提供一种情绪识别系统，包括：
[0014]数据采集程序模块，用于利用脑电采集设备和眼动仪采集被试者在观看情绪诱发绘画素材期间的脑电信号和眼动数据；
[0015]特征确定程序模块，用于通过所述脑电信号在时间域、频率域的频谱确定用于反映脑电信号中不同频带随时间的能量变化的微分熵特征；
[0016]脑电拓扑确定程序模块，用于将所述微分熵特征输入至情绪识别模型，通过所述情绪识别模型内的图神经网络模块处理所述微分熵特征得到脑电拓扑；
[0017]融合程序模块，用于将所述脑电拓扑与所述眼动数据拼接输入至所述情绪识别模型内的深度自编码模块，输出情绪融合特征；
[0018]情绪识别程序模块，用于利用所述情绪识别模型内的多层感知机确定所述融合特征的情绪分类结果。
[0019]第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的情绪识别方法的步骤。
[0020]第四方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的情绪识别方法的步骤。
[0021]本专利技术实施例的有益效果在于：选用了特定的绘画作为情绪诱发素材，避免动态素材难以准确注释情绪，也能使静态素材的绘画有足够的情感表示，便于激发被试者的情感。利用图神经网络所提取的特征能更好地提取在时间、空间上的信息特征，利用深度自编码器所学习到的脑电眼动融合特征比单纯的向量拼接更有效。并且可以得到更高的情绪分类准确率。
附图说明
[0022]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本专利技术一实施例提供的一种情绪识别方法的流程图；
[0024]图2是本专利技术一实施例提供的一种情绪识别方法的模型的总体架构图；
[0025]图3是本专利技术一实施例提供的一种情绪识别方法分别标注为正面、中性和负面的绘画示意图；
[0026]图4是本专利技术一实施例提供的一种情绪识别方法的实验步骤示意图；
[0027]图5是本专利技术一实施例提供的一种情绪识别方法的分类准确率和F1评分示意图；
[0028]图6是本专利技术一实施例提供的一种情绪识别系统的结构示意图；
[0029]图7为本专利技术一实施例提供的一种情绪识别的电子设备的实施例的结构示意图。
具体实施方式
[0030]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例
中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]如图1所示为本专利技术一实施例提供的一种情绪识别方法的流程图，包括如下步骤：
[0032]S11：利用脑电采集设备和眼动仪采集被试者在观看情绪诱发绘画素材期间的脑电信号和眼动数据；
[0033]S12：通过所述脑电信号在时间域、频率域的频谱确定用于反映脑电信号中不同频带随时间的能量变化的微分熵特征；
[0034]S13：将所述微分熵特征输入至情绪识别模型，通过所述情绪识别模型内的图神经网络模块处理所述微分熵特征得到脑电拓扑；
[0035]S14：将所述脑电拓扑与所述眼动数据拼接输入至所述情绪识别模型内的深度自编码模块，输出情绪融合特征；
[0036]S15：利用所述情绪识别模型内的多层感知机确定所述融合特征的情绪分类结果。
[0037]在本实施方式中，考虑到动态素材的复杂性和不可控制性，选择了静态素材进行情绪识别，考虑到普通的静态素材，例如人脸表情和动物、物品等，对情绪的诱发效果不明显，进一步地选择了有独特特征的绘画作品：包括西洋画、国画、漫画等。绘画作品作为更高级的艺术表现形式，画家通常会在绘画中注入丰富的情感，这使得绘画的情绪表现力比一般静态素材更大，能够本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情绪识别方法，包括：利用脑电采集设备和眼动仪采集被试者在观看情绪诱发绘画素材期间的脑电信号和眼动数据；通过所述脑电信号在时间域、频率域的频谱确定用于反映脑电信号中不同频带随时间的能量变化的微分熵特征；将所述微分熵特征输入至情绪识别模型，通过所述情绪识别模型内的图神经网络模块处理所述微分熵特征得到脑电拓扑；将所述脑电拓扑与所述眼动数据拼接输入至所述情绪识别模型内的深度自编码模块，输出情绪融合特征；利用所述情绪识别模型内的多层感知机确定所述融合特征的情绪分类结果。2.根据权利要求1所述的方法，其中，所述情绪识别模型的训练方法包括：将带有真实情绪类别结果的观看情绪诱发绘画素材的脑电信号和眼动数据作为所述情绪识别模型的训练数据；将所述训练数据的微分熵特征输入至所述情绪识别模型，得到预测情绪类别结果；基于所述真实情绪类别结果与所述预测情绪类别结果的KL散度损失，以及脑电拓扑与所述眼动数据的拼接特征与情绪融合特征的均值方差损失对所述情绪识别模型内的图神经网络模块、深度自编码模块、多层感知机进行训练，直至所述预测情绪类别结果趋近于所述真实情绪类别结果为止。3.根据权利要求2所述的方法，其中，所述深度自编码模块由互为对称的编码器与解码器构成。4.根据权利要求1所述的方法，其中，在所述利用脑电采集设备和眼动仪采集被试者在观看情绪诱发绘画素材期间的脑电信号和眼动数据之后，对所述脑电信号进行预处理，包括：去除所述脑电信号中的50Hz交流电源噪音；在去噪后，利用1
‑
75Hz带通滤波器去除所述脑电信号中的低频与高频无效信号。5.根据权利要求1所述的方法，其中，所述情绪诱发绘画素材的情绪类型包括：负面情绪、中性情绪、正面情绪；所述情绪诱发绘画素材包括：覆盖多类型语义空间的西洋画、国画，其中，所述语义空间的类型包括：肖像、动物、静物以及风景。6.一种情绪识别系统，包括：数据采集程序模块，用于利用脑电采集设备和眼动仪采集被试者在观看情绪诱发绘画素材期间的脑电信号和眼动数据；特征确定程序模块，用于通过所述脑电信号在时间域、频率域的频谱确定用于反映脑电信号中不同频带随时间...

【专利技术属性】
技术研发人员：吕宝粮，刘伟，罗帅，
申请(专利权)人：上海零唯一思科技有限公司，
类型：发明
国别省市：