【技术实现步骤摘要】
本专利技术属于脑神经科学领域的生理信号情绪分析，是一种基于伪孪生网络的多模态情感分析方法及其系统。
技术介绍
1、情感在人类生活中扮演着重要的角色。通常识别情绪是为了促进适当的互动。然而，在有情绪表达障碍的疾病群体中，个体往往很难通过面部表情准确地表达自己的内心感受。例如，患有焦虑症和行为障碍的人往往难以有效地表达自己的情绪。为了准确地评估患者的情绪表达并帮助医生做出明智的决定，研究人员已经将情绪识别确定为人工智能、医学和计算机科学的一个重要研究领域。
2、目前，情感分析的方法主要分为生理信号和非生理信号两大类。非生理信号是人类情绪的外部显示，通常利用声音特征、面部表情和身体动作来进行情绪识别。然而，这些信号容易被隐藏或干扰，从而影响分析的准确性。为了提高情绪识别的可靠性，许多研究者致力于利用生理信号进行情绪分析的研究。生理信号包括脑电、眼电、肌电、皮肤电等信号，它们源于机体的生理过程和活动，直接反映机体内部的生理状态。它们不受认知因素的影响，具有客观性。因此，利用生理信号准确捕捉个体真实的情绪状态被认为是一种可靠的情感分析方法。
3、脑电由中枢神经系统直接控制，相比于其他生理信号，含有丰富的情感信息，在情绪分析研究中得到了广泛的研究。但是，已有的一些研究方法忽略了对浅层、深层脑电特征的充分利用。此外，人类情感状态是复杂多变的，仅用一种模态信息实现情绪的充分表达具有挑战性。眼睛被视为心灵的窗户，眼电信号在生理上包括凝视跟踪、眼球运动检测和眨眼频率等信号，也与情绪密切相关。相关研究证明，眼球注视状态和用户情
技术实现思路
1、针对上述不足，本专利技术提出一种基于伪孪生网络的多模态情感分析方法及其系统。该方法利用整合深度可分离卷积策略的金字塔网络作为脑电的处理模块，挖掘并融合多个尺度的脑电的时间和空间情感感知特征，提炼更深度更有效的脑电内在本征特征；同时，利用两个全连接网络层作为眼电处理模块提取眼电的行为特征。此外，为了进一步学习模态间的关系，本专利技术使用含有双分支子网的伪孪生网络变换每个模态的情感特征，并在该模块中使用相似性约束将不同模态的特征协调到相似的超空间中。然后采用特征融合，学习不同模态对情感识别的权重参与到模型分类决策，实现多模态情感特征的一致性和互补性，从而提高模型的性能和泛化能力。
2、为了实现上述目的，第一方面，本专利技术提供一种基于伪孪生网络的多模态情感分析方法，详细的技术方案包括如下步骤：
3、步骤一、数据采集；
4、采集被试在观看视频片段时诱发的多模态生理信号，并对生理信号打情感标签；其中所述多模态生理信号包括脑电信号(eeg)和眼电信号(eog)；
5、步骤二、对采集的多模态生理信号分别进行预处理，并提取特征，得到脑电特征和眼电特征；
6、步骤三、多模态样本对生成；
7、遍历每一个脑电特征样本xeeg，选取同一被试同一时间的眼电特征样本xeog(m)，作为多模态正样本对{xeeg，xeog(m)}，对标签y记为1；
8、遍历每一个脑电特征样本xeeg，随机选取同一被试不同情感的眼电特征样本xeog(n)，作为多模态负样本对{xeeg，xeog(n)}，对标签y记为o；
9、为了方便表述，使用多模态样本对{xeeg，xeog}来表示，其中xeog＝xeog(m)或xeog(n)，对标签y＝1或0，1表示xeeg和xeog两个模态样本属于同一情感，0表示xeeg和xeog两个模态样本不属于同一情感；
10、步骤四、构建eeg处理模块：
11、所述eeg处理模块采用整合深度可分离卷积的金字塔网络，用于对多模态样本对中的脑电特征xeeg提取多尺度的综合时空内在模态特征feeg；
12、步骤五、构建eog处理模块；
13、所述eog处理模块包括两个串联的全连接层，用于对多模态样本对中的眼电特征xeog提取眼电信号的外在行为模态特征feog；
14、步骤六、构建伪孪生网络，对其进行训练、验证、测试；
15、所述伪孪生网络包括两个分支子网、加权融合模块，所述两个分支子网分别为eeg处理模块、eog处理模块；
16、所述加权融合模块对eeg处理模块、eog处理模块输出的两个模态特征feeg和feog进行自动学习加权融合，以获取更好的能够结合feeg和feog的融合特征；
17、步骤七：利用训练、验证、测试好的伪孪生网络实现多模态情感分析。
18、作为优选，步骤二中，所述脑电特征采用脑电信号的微分熵特征。
19、作为优选，步骤二中，所述眼电特征采用眼电信号的均值、标准差、一阶和二阶差分的均值和标准差、归一化长度密度(nld)特征和hjorth特征的拼接结果。
20、作为优选，步骤四中，所述eeg处理模块包括三个路径、输出层，分别为自下而上路径、自上而下路径和横向连接；
21、所述自下而上路径包括依次串联的第一至第三卷积块；第一卷积块接受eeg特征xeeg，处理后将结果输出至第二卷积块，同时经横向连接输入至自上而下路径；第二卷积块接受第一卷积块的输出结果，处理后将结果输出至第三卷积块，同时经横向连接输入至自上而下路径；第三卷积块接受第二卷积块的输出结果，经横向连接输入至自上而下路径；
22、所述自上而下路径利用双线性插值法的上采样来调整不同尺寸的关于所述的自下而上路径中第三卷积块输出的特征图，包括依次串联的第一至第三多尺度融合层；
23、所述横向连接包括一个1×1卷积，用于调整所述自下而上路径输出的不同尺度特征图的通道尺寸；
24、所述输出层将第三多尺度融合层输出的含有信息量最丰富的特征df1经过flatten层展平为一维向量；然后，经过两个激活函数为relu的全连接层，提取向量表示feeg；具体是：
25、
26、其中，n(s)表示s层的神经元数量，其中s＝{1，2，3}，分别对应flatten层、神经元分别为32、16的全连接层；p表示输入层中的第p个神经元，df1作为输入，可以分成输入层第p个神经元输入的特征值df1_p，feeg表示输出；wqp表示输入层中第p个神经元与第1个全连接层第q个神经元之间的连接权值；wkq表示第1个全连接层第q个神经元与第2个全连接层第k个神经元之间的连接权值；σ为relu激活函数；
27、作为优选，步骤四所述自下而本文档来自技高网...
【技术保护点】
1.一种基于伪孪生网络的多模态情感分析方法，其特征在于所述方法包括以下步骤：
2.根据权利要求1所述方法，其特征在于步骤二中，所述脑电特征采用脑电信号的微分熵特征。
3.根据权利要求1或2所述方法，其特征在于步骤二中，所述眼电特征采用眼电信号的均值、标准差、一阶和二阶差分的均值和标准差、归一化长度密度特征和Hjorth特征的拼接结果。
4.根据权利要求1所述方法，其特征在于步骤四中，所述EEG处理模块包括三个路径、输出层，分别为自下而上路径、自上而下路径和横向连接；
5.根据权利要求4所述方法，其特征在于步骤四所述自下而上路径中，第一至第三卷积块结构相同均包括依次串联的深度可分离卷积、批量归一化和丢弃层，其中所述深度可分离卷积包括串联的深度卷积和逐点卷积；具体是：
6.根据权利要求4所述方法，其特征在于步骤六中，所述加权融合模块具体表示如下：
7.根据权利要求1所述方法，其特征在于所述伪孪生网络的损失函数L具体是：
8.实现权利要求1-7任一项所述方法的多模态情感分析系统，其特征在于包括：
...【技术特征摘要】
1.一种基于伪孪生网络的多模态情感分析方法，其特征在于所述方法包括以下步骤：
2.根据权利要求1所述方法，其特征在于步骤二中，所述脑电特征采用脑电信号的微分熵特征。
3.根据权利要求1或2所述方法，其特征在于步骤二中，所述眼电特征采用眼电信号的均值、标准差、一阶和二阶差分的均值和标准差、归一化长度密度特征和hjorth特征的拼接结果。
4.根据权利要求1所述方法，其特征在于步骤四中，所述eeg处理模块包括三个路径、输出层，分别为自下而上路径、自上而下路径和横向连接；
5.根据权利要求4所述方法，其特征在于步骤四所述自下而上路径中，第一至第三卷积块结构相同均包括依次串联的深度可分离卷积、批...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。