【技术实现步骤摘要】
本专利技术涉及情绪识别领域，具体为一种基于概率分布标签和脑区特征的fnirs情绪识别方法及系统。
技术介绍
1、情绪识别或预测任务是脑科学、心理学、人机交互、商业等领域的重要研究领域，通过预测或分类人对某对象的情绪，进一步生成能调节人的情绪的反馈，是人工智能领域的高级阶段目标。
2、当前研究情绪活动的生理检测方案主要包括三类，第一类方案基于外部表现信号，例如眼动、语音、面部表情等；第二类方案基于外围生理信号，例如心率、皮肤电、呼吸等；第三类方案基于中枢神经系统信号，例如脑电、功能性近红外（fnirs）等，相较于外部表现信号和外围生理信号，它能更客观、准确地反应人的情绪状态变化。
3、目前，脑电情绪识别领域已经积累了大量研究成果和完整的理论基础，但脑电信号采集繁琐复杂，且空间分辨率低，在探究情绪诱发下脑活动的空间模式方面存在不足。fnirs通过光学吸收变化测量大脑血红蛋白浓度的变化，相较于脑电信号来说，fnirs信号采集安全便携，且空间分辨率高；fnirs信号可以用于探查情绪处理过程中的大脑皮层激活状态和空间模式，为具有高生态情境适用性的非侵入式技术。
4、基于fnirs信号进行情绪活动的生理检测方案，当前还存在一些问题：一方面缺乏公开有效的fnirs情绪数据集和标准的数据采集流程，这提高了研究难度，且情绪诱发素材所诱发的情绪类别复杂而非单一(例如同时存在开心和轻松等情绪类别)，但当前公开的情感数据集一般只有单一情绪类别标签；另一方面，情绪并非由单一的脑区负责，现有研究证实了前额叶、颞叶、顶叶等
技术实现思路
1、为解决现有技术所存在的技术问题，本专利技术提供一种基于概率分布标签和脑区特征的fnirs情绪识别方法及系统，通过设置带有多种情绪类别和相应情绪烈度的fnirs情绪诱发数据集以及联合损失函数，以更好地学习在现实场景下的情绪分布；对不同脑区应用相应的时序卷积模型获得相应的特征向量，通过多头自注意力机制综合考虑各脑区的特征向量，得到最终的情绪识别结果，能更贴合地反应出现实场景中个体所产生的多元性和复杂性的情绪变化。
2、本专利技术识别方法采用以下技术方案来实现：基于概率分布标签和脑区特征的fnirs情绪识别方法，包括以下步骤：
3、s1、构建情绪诱发数据集，用于诱发受试者情绪；同步采集受试者不同脑区的近红外数据，获取受试者的主观情绪评分；
4、s2、进行数据处理，将不同脑区的近红外数据转化为多通道△hbo2数据，将主观情绪评分映射为情绪类别标签和情绪概率分布标签；
5、s3、将多通道△hbo2数据分脑区通过时序卷积模型得到不同脑区特征向量，结合自注意力机制融合不同脑区特征向量，构建初始的脑区注意力情绪识别模型；
6、s4、设计结合情绪概率分布标签和情绪类别标签的联合损失函数，对初始的脑区注意力情绪识别模型进行训练，获得训练后的脑区注意力情绪识别模型；通过训练后的脑区注意力情绪识别模型输出情绪识别分类结果。
7、本专利技术识别系统采用以下技术方案来实现：基于概率分布标签和脑区特征的fnirs情绪识别系统，包括以下模块：
8、数据集构建模块，用于构建情绪诱发数据集，用于诱发受试者情绪；同步采集受试者不同脑区的近红外数据，获取受试者的主观情绪评分；
9、数据处理模块，用于对数据进行处理，将不同脑区的近红外数据转化为多通道△hbo2数据，将主观情绪评分映射为情绪类别标签和情绪概率分布标签；
10、识别模型构建模块，将多通道△hbo2数据分脑区通过时序卷积模型得到不同脑区特征向量，结合自注意力机制融合不同脑区特征向量，构建初始的脑区注意力情绪识别模型；
11、识别模型训练模块，设计结合情绪概率分布标签和情绪类别标签的联合损失函数，对初始的脑区注意力情绪识别模型进行训练，获得训练后的脑区注意力情绪识别模型；通过训练后的脑区注意力情绪识别模型输出情绪识别分类结果。
12、从以上技术方案可知，本专利技术与现有技术相比，具有如下优点和有益效果：
13、本专利技术首先构建情绪诱发数据集以诱发受试者的情绪，同步采集其脑部近红外原始数据，并获取主观情绪评分；然后将近红外原始数据转化为较纯净的多通道△hbo2数据，将主观情绪评分映射为情绪类别标签和情绪概率分布标签；随后将多通道△hbo2数据分脑区通过时序卷积模型，结合多头自注意力机制融合不同脑区特征向量；最后设计了结合情绪概率分布标签和情绪类别标签的联合损失函数，对模型进行训练，最终输出情绪分类结果。
14、目前主流情绪数据集都以单类情绪标签为主，这样会造成模型学习情绪时过于武断，而现实场景中个体主动产生的情绪变化有其多元性和复杂性；本专利技术通过带有多种情绪类别和相应情绪烈度的fnirs情绪数据集以及联合损失函数，能更好地学习在现实场景下的情绪分布，再根据各脑区对情绪的作用机制不同，对不同脑区应用相应的时序卷积模型获得相应的特征向量，最后通过多头自注意力机制综合考虑各脑区的特征向量，得到最终的情绪识别结果。
本文档来自技高网...【技术保护点】
1.一种基于概率分布标签和脑区特征的fNIRS情绪识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的情绪识别方法，其特征在于，步骤S1包括以下步骤：
3.根据权利要求2所述的情绪识别方法，其特征在于，受试者对情绪诱发视频的评分为：
4.根据权利要求3所述的情绪识别方法，其特征在于，步骤S2包括以下步骤：
5.根据权利要求1所述的情绪识别方法，其特征在于，步骤S3包括以下步骤：
6.根据权利要求5所述的情绪识别方法，其特征在于，步骤S4的模型训练过程包括以下步骤：
7.一种基于概率分布标签和脑区特征的fNIRS情绪识别系统，其特征在于，包括以下模块：
8.根据权利要求7所述的情绪识别系统，其特征在于，数据集构建模块的构建过程包括：
9.根据权利要求7所述的情绪识别系统，其特征在于，初始的脑区注意力情绪识别模型的构建过程包括：
10.根据权利要求9所述的情绪识别系统，其特征在于，识别模型的训练过程包括以下步骤：
【技术特征摘要】
1.一种基于概率分布标签和脑区特征的fnirs情绪识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的情绪识别方法，其特征在于，步骤s1包括以下步骤：
3.根据权利要求2所述的情绪识别方法，其特征在于，受试者对情绪诱发视频的评分为：
4.根据权利要求3所述的情绪识别方法，其特征在于，步骤s2包括以下步骤：
5.根据权利要求1所述的情绪识别方法，其特征在于，步骤s3包括以下步骤：
6.根据权利要求5...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。