System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于概率分布标签和脑区特征的fNIRS情绪识别方法及系统技术方案_技高网

基于概率分布标签和脑区特征的fNIRS情绪识别方法及系统技术方案

技术编号:40502437 阅读:17 留言:0更新日期:2024-02-26 19:30
本发明专利技术涉及情绪识别领域,为基于概率分布标签和脑区特征的fNIRS情绪识别方法及系统,其方法包括:构建情绪诱发数据集,采集受试者不同脑区的近红外数据,获取受试者的主观情绪评分;将不同脑区的近红外数据转化为多通道△HbO<subgt;2</subgt;数据,将主观情绪评分映射为情绪类别标签和情绪概率分布标签;将多通道△HbO<subgt;2</subgt;数据分脑区通过时序卷积模型得到不同脑区特征向量,结合自注意力机制融合不同脑区特征向量,构建初始情绪识别模型;设计结合情绪概率分布标签和情绪类别标签的联合损失函数,对初始情绪识别模型进行训练,获得训练后的情绪识别模型,用于输出情绪识别分类结果。本发明专利技术能反应实场景中个体所产生的多元性和复杂性的情绪变化。

【技术实现步骤摘要】

本专利技术涉及情绪识别领域,具体为一种基于概率分布标签和脑区特征的fnirs情绪识别方法及系统。


技术介绍

1、情绪识别或预测任务是脑科学、心理学、人机交互、商业等领域的重要研究领域,通过预测或分类人对某对象的情绪,进一步生成能调节人的情绪的反馈,是人工智能领域的高级阶段目标。

2、当前研究情绪活动的生理检测方案主要包括三类,第一类方案基于外部表现信号,例如眼动、语音、面部表情等;第二类方案基于外围生理信号,例如心率、皮肤电、呼吸等;第三类方案基于中枢神经系统信号,例如脑电、功能性近红外(fnirs)等,相较于外部表现信号和外围生理信号,它能更客观、准确地反应人的情绪状态变化。

3、目前,脑电情绪识别领域已经积累了大量研究成果和完整的理论基础,但脑电信号采集繁琐复杂,且空间分辨率低,在探究情绪诱发下脑活动的空间模式方面存在不足。fnirs通过光学吸收变化测量大脑血红蛋白浓度的变化,相较于脑电信号来说,fnirs信号采集安全便携,且空间分辨率高;fnirs信号可以用于探查情绪处理过程中的大脑皮层激活状态和空间模式,为具有高生态情境适用性的非侵入式技术。

4、基于fnirs信号进行情绪活动的生理检测方案,当前还存在一些问题:一方面缺乏公开有效的fnirs情绪数据集和标准的数据采集流程,这提高了研究难度,且情绪诱发素材所诱发的情绪类别复杂而非单一(例如同时存在开心和轻松等情绪类别),但当前公开的情感数据集一般只有单一情绪类别标签;另一方面,情绪并非由单一的脑区负责,现有研究证实了前额叶、颞叶、顶叶等不同脑区对不同情绪认知和调节均起着重要作用,然而目前在大脑情绪活动机制方面并未形成统一的理论框架,且主流情绪数据集都以单类情绪标签为主,这样会造成模型学习情绪时过于武断,因此挖掘不同脑区的fnirs信号与情绪之间的联系需要进一步研究。


技术实现思路

1、为解决现有技术所存在的技术问题,本专利技术提供一种基于概率分布标签和脑区特征的fnirs情绪识别方法及系统,通过设置带有多种情绪类别和相应情绪烈度的fnirs情绪诱发数据集以及联合损失函数,以更好地学习在现实场景下的情绪分布;对不同脑区应用相应的时序卷积模型获得相应的特征向量,通过多头自注意力机制综合考虑各脑区的特征向量,得到最终的情绪识别结果,能更贴合地反应出现实场景中个体所产生的多元性和复杂性的情绪变化。

2、本专利技术识别方法采用以下技术方案来实现:基于概率分布标签和脑区特征的fnirs情绪识别方法,包括以下步骤:

3、s1、构建情绪诱发数据集,用于诱发受试者情绪;同步采集受试者不同脑区的近红外数据,获取受试者的主观情绪评分;

4、s2、进行数据处理,将不同脑区的近红外数据转化为多通道△hbo2数据,将主观情绪评分映射为情绪类别标签和情绪概率分布标签;

5、s3、将多通道△hbo2数据分脑区通过时序卷积模型得到不同脑区特征向量,结合自注意力机制融合不同脑区特征向量,构建初始的脑区注意力情绪识别模型;

6、s4、设计结合情绪概率分布标签和情绪类别标签的联合损失函数,对初始的脑区注意力情绪识别模型进行训练,获得训练后的脑区注意力情绪识别模型;通过训练后的脑区注意力情绪识别模型输出情绪识别分类结果。

7、本专利技术识别系统采用以下技术方案来实现:基于概率分布标签和脑区特征的fnirs情绪识别系统,包括以下模块:

8、数据集构建模块,用于构建情绪诱发数据集,用于诱发受试者情绪;同步采集受试者不同脑区的近红外数据,获取受试者的主观情绪评分;

9、数据处理模块,用于对数据进行处理,将不同脑区的近红外数据转化为多通道△hbo2数据,将主观情绪评分映射为情绪类别标签和情绪概率分布标签;

10、识别模型构建模块,将多通道△hbo2数据分脑区通过时序卷积模型得到不同脑区特征向量,结合自注意力机制融合不同脑区特征向量,构建初始的脑区注意力情绪识别模型;

11、识别模型训练模块,设计结合情绪概率分布标签和情绪类别标签的联合损失函数,对初始的脑区注意力情绪识别模型进行训练,获得训练后的脑区注意力情绪识别模型;通过训练后的脑区注意力情绪识别模型输出情绪识别分类结果。

12、从以上技术方案可知,本专利技术与现有技术相比,具有如下优点和有益效果:

13、本专利技术首先构建情绪诱发数据集以诱发受试者的情绪,同步采集其脑部近红外原始数据,并获取主观情绪评分;然后将近红外原始数据转化为较纯净的多通道△hbo2数据,将主观情绪评分映射为情绪类别标签和情绪概率分布标签;随后将多通道△hbo2数据分脑区通过时序卷积模型,结合多头自注意力机制融合不同脑区特征向量;最后设计了结合情绪概率分布标签和情绪类别标签的联合损失函数,对模型进行训练,最终输出情绪分类结果。

14、目前主流情绪数据集都以单类情绪标签为主,这样会造成模型学习情绪时过于武断,而现实场景中个体主动产生的情绪变化有其多元性和复杂性;本专利技术通过带有多种情绪类别和相应情绪烈度的fnirs情绪数据集以及联合损失函数,能更好地学习在现实场景下的情绪分布,再根据各脑区对情绪的作用机制不同,对不同脑区应用相应的时序卷积模型获得相应的特征向量,最后通过多头自注意力机制综合考虑各脑区的特征向量,得到最终的情绪识别结果。

本文档来自技高网...

【技术保护点】

1.一种基于概率分布标签和脑区特征的fNIRS情绪识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的情绪识别方法,其特征在于,步骤S1包括以下步骤:

3.根据权利要求2所述的情绪识别方法,其特征在于,受试者对情绪诱发视频的评分为:

4.根据权利要求3所述的情绪识别方法,其特征在于,步骤S2包括以下步骤:

5.根据权利要求1所述的情绪识别方法,其特征在于,步骤S3包括以下步骤:

6.根据权利要求5所述的情绪识别方法,其特征在于,步骤S4的模型训练过程包括以下步骤:

7.一种基于概率分布标签和脑区特征的fNIRS情绪识别系统,其特征在于,包括以下模块:

8.根据权利要求7所述的情绪识别系统,其特征在于,数据集构建模块的构建过程包括:

9.根据权利要求7所述的情绪识别系统,其特征在于,初始的脑区注意力情绪识别模型的构建过程包括:

10.根据权利要求9所述的情绪识别系统,其特征在于,识别模型的训练过程包括以下步骤:

【技术特征摘要】

1.一种基于概率分布标签和脑区特征的fnirs情绪识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的情绪识别方法,其特征在于,步骤s1包括以下步骤:

3.根据权利要求2所述的情绪识别方法,其特征在于,受试者对情绪诱发视频的评分为:

4.根据权利要求3所述的情绪识别方法,其特征在于,步骤s2包括以下步骤:

5.根据权利要求1所述的情绪识别方法,其特征在于,步骤s3包括以下步骤:

6.根据权利要求5...

【专利技术属性】
技术研发人员:晋建秀申巧舒琳帖千枫
申请(专利权)人:华南理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1