一种基于多模态融合的情绪分类识别方法技术

本发明专利技术公开一种基于多模态融合的情绪分类识别方法，包括：输入单个数据的脑电信号，并对脑电信号预处理，脑电信号为多通道数字信号；选取M个电极作为脑网络节点，每个节点代表一个脑电信号，并计算各个节点之间的相位锁定值，进而得到脑网络节点对应的连接权重矩阵；根据连接权重计算加权K‑阶传播数，进而得到每个节点的重要性排名；将脑网络拓扑结构和节点的重要性进行融合；计算训练数据集中所有特征的F‑score值，对融合后的特征进行选择，对整个数据集进行情绪分类；本发明专利技术采用合理的特征选择策略从整个特征空间选择最好的子集，将网络拓扑结构和节点重要性两种模式组合导致的冗余信息进行删除，避免了过拟合，减少了时间复杂度，提高分类准确率。

【技术实现步骤摘要】
一种基于多模态融合的情绪分类识别方法
本专利技术涉及脑电信号的情绪识别
，具体涉及一种基于多模态融合的情绪分类识别方法。
技术介绍
有研究表明，网络的拓扑结构和节点重要性在不同情绪下有着明显的差异；这种差异反映了不同情绪下大脑各个区域的活动，而且还涉及不同功能区域之间的信息传递和相互作用。从本质上来说，这种网络的拓扑结构和节点重要性是对情感活动的局部响应，而这种模式则挖掘了相关大脑区域之间的相互作用。因此，现有技术将网络拓扑结构和节点重要性两种模式组合起来，以利用两者之间的信息互补特点。但是简单的将两种模式进行融合的方案可能并不是最好的选择，因为这两种特征中会存在一定的冗余信息影响情绪识别的准确性。因此有必要将这些冗余信息进行删除。在机器学习中，普遍认为冗余信息会对算法的性能产生不利的影响，并且会导致一系列的问题，例如，过拟合和增加时间复杂度。因此，现有根据脑电信号进行情绪分类准确率普遍不高。
技术实现思路
专利技术目的：为了克服现有技术的不足，本专利技术提供一种基于多模态融合的情绪分类识别方法，该方法可以解决本文档来自技高网...

【技术保护点】
1.一种基于多模态融合的情绪分类识别方法，其特征在于，包括：/n(1)输入单个数据的脑电信号，并对脑电信号预处理，所述脑电信号为多通道数字信号；/n(2)选取M个电极作为脑网络节点，每个节点代表一个脑电信号，并计算各个节点之间的相位锁定值，进而得到脑网络节点对应的连接权重矩阵，矩阵维度为M*M；/n(3)根据所述连接权重计算加权K-阶传播数，进而得到每个节点的重要性排名；/n(4)将脑网络拓扑结构和节点的重要性进行融合；/n(5)计算训练数据集中所有特征的F-score值，并利用F-score算法对融合后的特征进行选择，并对整个数据集进行情绪分类。/n

【技术特征摘要】
1.一种基于多模态融合的情绪分类识别方法，其特征在于，包括：
(1)输入单个数据的脑电信号，并对脑电信号预处理，所述脑电信号为多通道数字信号；
(2)选取M个电极作为脑网络节点，每个节点代表一个脑电信号，并计算各个节点之间的相位锁定值，进而得到脑网络节点对应的连接权重矩阵，矩阵维度为M*M；
(3)根据所述连接权重计算加权K-阶传播数，进而得到每个节点的重要性排名；
(4)将脑网络拓扑结构和节点的重要性进行融合；
(5)计算训练数据集中所有特征的F-score值，并利用F-score算法对融合后的特征进行选择，并对整个数据集进行情绪分类。


2.根据权利要求1所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(2)中，相位锁定值PLV表示为：



Δφ(t)＝φx(jΔt)-φy(jΔt)
其中，Δφ(t)表示信号x(t)和y(t)在采样时间Δt内的相位差，φx(jΔt)，φy(jΔt)分别为两个信号x(t)和y(t)第j个样本的瞬时相位，N是每个信号的样本总数，i为虚部。


3.根据权利要求1所述的基于多模态融合的情绪分类识别方法，其特征在于，所述步骤(3)中，根据连接权重计算加权K-阶传播数，包括：
(31)根据连接权重矩阵得到节点之间的最短路径矩阵D，D(vi，vj)表示网络节点vi到节点vj的最短路径；
(32)计算脑网络在不同K值下的传播数，K-阶传播数表示为：



其中，V为脑网络中节点的集合，i≠j，且0≤i，j≤(M*M)；
(33)根据信息论中香农熵理论定义网络的K-阶结构熵：



K∈[0，d]
其中，n为网络中节点的总数，d为脑网络的最大直径；
(34)计算不同K值下的权重：



(35)将传播数与权重相乘进行求和：



其中，S是结构熵归一化后的结果。表示为：

【专利技术属性】
技术研发人员：马捃凯，汤平川，王励烨，黄丽亚，
申请(专利权)人：南京邮电大学，赛尔网络有限公司，
类型：发明
国别省市：江苏;32