【技术实现步骤摘要】
本专利技术涉及情感识别，特别是涉及一种融合脑电和功能近红外的情感识别方法、系统及介质。
技术介绍
1、情感是人与人交流中非常重要的部分，而随着人工智能技术的发展，情感识别在人机交互领域同样拥有了广阔的应用前景。情感的外在表现主要包括面部表情、身体姿态和语音语调，但它们易受人的主观意识控制，当人的内心感受与外在表现不一致时，人机交互系统就会做出错误判断。与上述外在表现相比，人的生理信号主要受神经系统控制，更能客观反映人的情感状态。已有研究发现，情感是大脑皮层和皮层下神经协同活动的结果，而常用的易采集的与大脑神经活动相关的生理信号主要有脑电(electroencephalogram，eeg)、功能近红外(functional near-infrared spectroscopy，fnirs)等。
2、其中，eeg信号时间分辨率高，fnirs信号空间分辨率高，并且二者同时具有无创采集、使用便捷、成本较低的优点。因此，将eeg和fnirs技术相结合，可以利用二者时间和空间分辨率的互补优势，当前已有相关人员将eeg和fnirs结合用于进行大脑的认知研究。研究表明，双模态eeg和fnirs比单模态能反映更多的脑活动信息，进行特征融合之后能够取得更高的识别率。
3、卷积神经网络(convolutional neural networks，cnn)是目前流行的深度学习模型之一，但是由于cnn采用的池化层操作是以标量的形式存储特征，丢失大量有价值的空间信息，无法完整保留特征之间的空间关系从而影响识别效果。为了解决上述问题，
技术实现思路
1、本专利技术的目的是提供一种融合脑电和功能近红外的情感识别方法、系统及介质，能够提取不丢失脑电信号和功能近红外信号之间空间信息高质量胶囊，而且能够去除重复胶囊、减少胶囊数量，缩短情感识别的时间。
2、为实现上述目的，本专利技术提供了如下方案：
3、一种融合脑电和功能近红外的情感识别方法，包括：
4、采集受试者的脑电信号和功能近红外光信号；
5、对受试者的脑电信号和所述功能近红外光信号进行特征提取，得到受试者的脑电特征数据和功能近红外光特征数据；
6、将受试者脑电特征数据和所述功能近红外光特征数据输入到情感识别模型中，得到受试者的情感类型；
7、其中，所述情感识别模型是基于训练者的脑电信号和功能近红外光信号，对胶囊网络模型进行训练得到的；所述胶囊网络模型，包括：依次连接的多脑区注意力机制模块、卷积模块、初级胶囊模块、胶囊融合模块和分类胶囊模块；
8、所述多脑区注意力机制模块用于根据图卷积方法和全局最大池化方法对输入的脑电特征数据和功能近红外光特征数据进行融合，确定脑区特征向量，并根据所述脑区特征向量确定注意力机制权重系数，根据所述注意力机制权重系数和所述脑区特征向量确定卷积输入数据；所述脑区特征向量，包括：额叶区特征向量、左颞叶区特征向量、右颞叶区特征向量、中央区特征向量、顶叶区特征向量和枕叶区特征向量；
9、所述卷积模块用于对所述卷积输入数据采用两个不同尺寸的卷积核提取视野特征，得到第一特征图和第二特征图；
10、所述初级胶囊模块用于对所述第一特征图和所述第二特征图进行深层特征提取并拼接得到拼接特征图，根据第一卷积核处理所述拼接特征图，得到特征输出图；
11、所述胶囊融合模块用于切分所述特征输出图得到第一胶囊，并对所述第一胶囊进行最大池化和融合拼接，进行分割处理后得到融合胶囊；
12、所述分类胶囊模块用于将所述融合胶囊通过动态路由机制生成分类胶囊，根据所述分类胶囊确定相应的情感类型。
13、可选地，所述多脑区注意力机制模块，包括：融合子模块和转换子模块；
14、所述融合子模块用于根据大脑功能将所述脑电特征数据和所述功能近红外光特征数据划分为六个脑区，根据图卷积方法和全局最大池化方法对各个脑区的所述脑电特征数据和所述功能近红外光特征数据进行融合，得到脑区特征向量；
15、所述转换子模块用于对所述脑区特征向量进行拼接，转换得到特征向量概率值，根据所述特征向量概率值确定注意力机制权重系数，然后根据所述注意力机制权重系数和所述脑区特征向量确定卷积输入数据。
16、进一步地，所述融合子模块，包括：节点特征确定单元、邻接矩阵构建单元、图卷积单元和最大池化单元；
17、所述节点特征确定单元和所述邻接矩阵构建单元并联后与所述图卷积单元连接；所述图卷积单元与所述最大池化单元连接；
18、所述节点特征确定单元用于抽取脑电特征数据的通道特征向量和功能近红外光特征数据的通道特征向量，确定节点特征；
19、所述邻接矩阵构建单元用于计算脑电特征数据和功能近红外光特征数据之间的皮尔森相关系数，并构建邻接矩阵；
20、所述图卷积单元用于将所述节点特征和所述邻接矩阵进行融合处理，确定卷积输出数据；
21、所述最大池化单元用于所述卷积输出数据中电极通道维的最大值，生成脑区特征向量；
22、进一步地，所述转换子模块，包括：依次连接的特征拼接层、reshape函数层、第一全连阶层、relu函数层、第二全连阶层、sigmoid函数层和数据输出层；
23、所述特征拼接层用于根据所述脑区特征向量进行拼接，确定二维矩阵；
24、所述reshape函数层用于根据所述二维矩阵确定一维向量；
25、所述第一全连阶层用于根据所述一维向量确定第一输出矩阵；
26、所述relu函数层用于根据所述第一输出矩阵确定第二输出矩阵；
27、所述第二全连阶层用于根据所述第二输出矩阵确定第三输出矩阵；
28、所述sigmoid函数层用于根据所述第三输出矩阵确定一维向量概率；所述一维向量概率，包括：六个所述脑区的相应的概率值，且和为1；
29、所述数据输出层用于根据所述一维向量概率确定注意力机制权重系数，并根据所述注意力机制权重系数和所述脑区特征向量确定卷积输入数据。
30、可选地，所述卷积模块，包括：第一卷积层和第二卷积层；所述第一卷积层和所述第二卷积层并联；
31、所述第一卷积层根据所述卷积输入数据采用第一卷积核提取视野特征得到第一特征图；所述第一卷积核本文档来自技高网...
【技术保护点】
1.一种融合脑电和功能近红外的情感识别方法，其特征在于，包括：
2.根据权利要求1所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述多脑区注意力机制模块，包括：融合子模块和转换子模块；
3.根据权利要求2所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述融合子模块，包括：节点特征确定单元、邻接矩阵构建单元、图卷积单元和最大池化单元；
4.根据权利要求2所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述转换子模块，包括：依次连接的特征拼接层、Reshape函数层、第一全连阶层、ReLU函数层、第二全连阶层、Sigmoid函数层和数据输出层；
5.根据权利要求1所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述卷积模块，包括：第一卷积层和第二卷积层；所述第一卷积层和所述第二卷积层并联；
6.根据权利要求5所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述初级胶囊模块，包括：第一特征提取层、第二特征提取层、拼接层和分割层；
7.根据权利要求1所述的融合脑电和功能近红外的情感识
8.根据权利要求1所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述分类胶囊模块，包括：依次连接的预测向量计算层、耦合系数计算层、预测胶囊计算层、分类胶囊确定层、情感概率确认层和情感类型确定层；
9.一种融合脑电和功能近红外的情感识别系统，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的融合脑电和功能近红外的情感识别方法。
...【技术特征摘要】
1.一种融合脑电和功能近红外的情感识别方法，其特征在于，包括：
2.根据权利要求1所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述多脑区注意力机制模块，包括：融合子模块和转换子模块；
3.根据权利要求2所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述融合子模块，包括：节点特征确定单元、邻接矩阵构建单元、图卷积单元和最大池化单元；
4.根据权利要求2所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述转换子模块，包括：依次连接的特征拼接层、reshape函数层、第一全连阶层、relu函数层、第二全连阶层、sigmoid函数层和数据输出层；
5.根据权利要求1所述的融合脑电和功能近红外的情感识别方法，其特征在于，所述卷积模块，包括：第一卷积层和第二卷积层；所述第一卷积层和所述第二卷积层并联；
...
【专利技术属性】
技术研发人员：陈桂军，张雪英，刘悦，黄丽霞，孙颖，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。