一种融合脑电和功能近红外的情感识别方法、系统及介质技术方案

本发明专利技术公开一种融合脑电和功能近红外的情感识别方法、系统及介质，涉及情感识别领域，所述情感识别方法包括：采集受试者的脑电信号和功能近红外光信号，对受试者的脑电信号和所述功能近红外光信号进行特征提取，得到脑电特征数据和功能近红外光特征数据，将脑电特征数据和功能近红外光特征数据输入到基于训练者的脑电信号和功能近红外光信号训练胶囊网络模型得到的情感识别模型中，得到受试者的情感类型；本发明专利技术公开的情感识别模型基于多脑区注意力机制和胶囊融合模块处理关于受试者的相关数据，能够实现提取不丢失脑电信号和功能近红外信号之间空间信息高质量胶囊，而且能够去除重复胶囊、减少胶囊数量，缩短情感识别的时间。

【技术实现步骤摘要】

本专利技术涉及情感识别，特别是涉及一种融合脑电和功能近红外的情感识别方法、系统及介质。

技术介绍

1、情感是人与人交流中非常重要的部分，而随着人工智能技术的发展，情感识别在人机交互领域同样拥有了广阔的应用前景。情感的外在表现主要包括面部表情、身体姿态和语音语调，但它们易受人的主观意识控制，当人的内心感受与外在表现不一致时，人机交互系统就会做出错误判断。与上述外在表现相比，人的生理信号主要受神经系统控制，更能客观反映人的情感状态。已有研究发现，情感是大脑皮层和皮层下神经协同活动的结果，而常用的易采集的与大脑神经活动相关的生理信号主要有脑电(electroencephalogram，eeg)、功能近红外(functional near-infrared spectroscopy，fnirs)等。

2、其中，eeg信号时间分辨率高，fnirs信号空间分辨率高，并且二者同时具有无创采集、使用便捷、成本较低的优点。因此，将eeg和fnirs技术相结合，可以利用二者时间和空间分辨率的互补优势，当前已有相关人员将eeg和fnirs结合用于进行大脑的认知研究。本文档来自技高网...

【技术保护点】

1.一种融合脑电和功能近红外的情感识别方法，其特征在于，包括：

2.根据权利要求1所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述多脑区注意力机制模块，包括：融合子模块和转换子模块；

3.根据权利要求2所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述融合子模块，包括：节点特征确定单元、邻接矩阵构建单元、图卷积单元和最大池化单元；

4.根据权利要求2所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述转换子模块，包括：依次连接的特征拼接层、Reshape函数层、第一全连阶层、ReLU函数层、第二全连阶层、Sigmoid函数层和数...

【技术特征摘要】

1.一种融合脑电和功能近红外的情感识别方法，其特征在于，包括：

2.根据权利要求1所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述多脑区注意力机制模块，包括：融合子模块和转换子模块；

3.根据权利要求2所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述融合子模块，包括：节点特征确定单元、邻接矩阵构建单元、图卷积单元和最大池化单元；

4.根据权利要求2所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述转换子模块，包括：依次连接的特征拼接层、reshape函数层、第一全连阶层、relu函数层、第二全连阶层、sigmoid函数层和数据输出层；

5.根据权利要求1所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述卷积模块，包括：第一卷积层和第二卷积层；所述第一卷积层和所述第二卷积层并联；

...

【专利技术属性】
技术研发人员：陈桂军，张雪英，刘悦，黄丽霞，孙颖，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：