System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种fNIRS多模态情感数据集采集方法及系统技术方案_技高网

一种fNIRS多模态情感数据集采集方法及系统技术方案

技术编号:40536131 阅读:27 留言:0更新日期:2024-03-01 13:58
本发明专利技术公开了一种fNIRS多模态情感数据集采集方法及系统,包括刺激源选择;通过大五人格问卷筛选具有情绪稳定且外向性格特质的受试者参与采集实验;实验中每个试验的流程以及作用;将fNIRS设备采集到的发射‑接收前后光强的变化量,进一步得到氧合血红蛋白与脱氧血红蛋白浓度的相对变化量;将相对变化量数据进行基线校准和预处理操作;将预处理之后的数据送入情绪识别模块进行分类。本发明专利技术解决fNIRS多模态数据集在情感领域处于空白和前额叶激活状态在视频诱发态下的情绪缺乏研究的问题。

【技术实现步骤摘要】

本专利技术涉及情感分类识别领域,特别涉及一种fnirs多模态情感数据集采集方法及系统。


技术介绍

1、情感影响着人的认知与行为活动,人类对于情感的研究从未停止,近些年来,随着人工智能的兴起,为了赋予计算机识别、理解、表达和适应人类情感的能力,实现高效、亲切的人机交互,情感计算迅速成为情感研究领域的热点。

2、无论是情感计算研究中的生理信号还是非生理信号,情感数据集的发布都可以促进情感计算的发展,反之情感计算的研究也需要情感数据集的支持。非生理信号情感数据集比如图片情感数据集、文本情感数据集、视频情感数据集等通过近些年的发展已经渐渐完善。而对于脑电、脑磁和功能磁共振等传统的生理信号情感数据集,如seed、deap等脑电数据集虽然取得了一定的影响力,但是此类生理信号检测方法的局限性也逐步显露,比如易受干扰、成本高等。近年来,随着近红外技术的发展及采集设备的技术升级,功能性近红外光谱技(functional near-infrared spectroscopy,fnirs)作为一种新兴的非侵入性的大脑检测手段,具有依从性高、抗干扰能力强、便携易实施和低成本等优点,但是fnirs情感数据集在情感研究领域仍是一片空白。因此,一种fnirs多模态情感数据集采集方法及系统具有广泛的需求及广阔的前景。


技术实现思路

1、为了克服现有技术的上述缺点与不足,本专利技术的目的在于提供一种fnirs多模态情感数据集采集方法及系统。

2、本专利技术的目的通过以下技术方案实现:

3、一种fnirs多模态情感数据集采集方法,包括:

4、刺激源选择:数据集包括五种情绪,分别为悲伤、恐惧、中性、快乐和自豪,其对应的刺激源情绪类型包括五种,所述悲伤、恐惧、中性和快乐的一部分刺激源选自seed数据集,另一部分的刺激源是根据受试者观看视频片段的诱发反应进行选择,所述自豪的刺激源是根据受试者观看视频片段的诱发反应进行选择;

5、受试者佩戴fnirs设备及e4手环,所述fnirs设备由多通道双波长近红外连续波发射-接受源构成,用于收集脑皮层中氧合血红蛋白合脱氧血红蛋白的浓度变化;所述e4手环用于采集bvp模态及eda模态,摄像头用于采集受试者的面部表情,进一步得到面部表情模态;

6、根据脑皮层中氧合血红蛋白合脱氧血红蛋白的浓度变化,进一步得到氧合血红蛋白与脱氧血红蛋白浓度的相对变化量,

7、将上述获得的相对变化量作为fnirs模态数据,将从e4手环获取到的bvp模态、eda模态作为生理数据模态输入knn机器学习模型或者cnn深度学习模型进行五分类,得到情绪识别类型。

8、进一步,根据受试者观看视频片段的诱发反应进行选择,具体包括;

9、获取外部情绪刺激材料,所述外部情绪刺激材料具体分为五个情感标签类型,受试者观看每种情感标签类型的n个视频片段,根据诱发效应对刺激材料进行评价,然后按照视频片段的平均分由高到低,选择视频材料作为刺激源。

10、进一步,所述受试者需要接受受试者筛选,所述受试者筛选具体是通过发布大五人格问卷的方式,选择性格特质为情绪稳定且外向的受试者进行刺激源选择受试。

11、进一步,所述视频片段的数量为30个,视频时长为2分钟到4分钟。

12、进一步,截取每个视频片段的最后30秒的fnirs数据和e4手环的数据以获得最大的情绪反应,每个受试者每次实验得到15个样本,其中每类情绪各三个样本,验证策略为留一验证法:即一个受试者的数据作测试集其余受试者的数据作训练集。

13、进一步,利用比尔-朗伯定律求得吸光度变化与脑组织中的吸光色团浓度变化量的关系方程,通过方程的求解得到氧合血红蛋白与脱氧血红蛋白浓度的相对变化量。

14、进一步,所述将得到的氧合血红蛋白与脱氧血红蛋白浓度的相对变化量还包括预处理,所述预处理包括三阶0.01至0.5hz带通iir巴特沃斯滤波去除仪器、心跳等噪声、利用样条插值法移除与实验无关的运动伪迹。

15、进一步,预处理后的相对变化量还进行基线校准处理。

16、一种实现所述的fnirs多模态情感数据集采集方法的系统,包括:

17、刺激源选择模块,用于得到有效的刺激材料,所述刺激材料包括五种情绪,分别为悲伤、恐惧、中性、快乐和自豪,所述悲伤、恐惧、中性和快乐的一部分刺激源选自seed数据集,另一部分的刺激源是根据受试者观看视频片段的诱发反应进行选择,所述自豪的刺激源是根据受试者观看视频片段的诱发反应进行选择;

18、fnirs以及其他生理信号采集模块:利用fnirs采集设备连续采集发射-接收前后光强的变化量,将光强的变化量转化为吸光度的变化,进一步得到氧合血红蛋白与脱氧血红蛋白浓度的相对变化量;利用e4手环获得bvp、eda生理信号模态;利用摄像头得到面部表情模态。

19、信号预处理模块:用于对相对变化量进行预处理;

20、情绪识别模块:用于将预处理后的数据输入knn机器学习或者cnn深度学习模型进行分类。

21、进一步,还包括受试者筛选模块,用于筛选受试者。

22、与现有技术相比,本专利技术具有以下优点和有益效果:

23、(1)本专利技术利用便携式近红外,在视频诱发态下,构建了一个包含面部表情、fnirs、eda、bvp数据的多模态情感数据集。实验采集之前,通过大五人格问卷筛选受试者,很大程度上避免了受试者对刺激材料的无效性,大部分情绪材料都能使得受试者诱发正确且强度较高的情绪种类。试验的自我评估阶段以及心算任务等的实验设置,最大程度上保证了实验的有效性,使得受试者在实验过程中有充足的情绪恢复时间和手段,保证了数据集的质量。

24、(2)将fnirs应用于情绪识别领域,探究前额脑血流动力学的变换与情绪之间的联系。基于构建的数据库,进行视频情绪诱发下的前额叶激活特征研究,研究不同受试在不同情绪下的前额叶激活状态,并利用深度学习等方法对各种情绪进行分类。

本文档来自技高网
...

【技术保护点】

1.一种fNIRS多模态情感数据集采集方法,其特征在于,包括:

2.根据权利要求1所述的fNIRS多模态情感数据集采集方法,其特征在于,根据受试者观看视频片段的诱发反应进行选择,具体包括;

3.根据权利要求1或2所述的fNIRS多模态情感数据集采集方法,其特征在于,所述受试者需要接受受试者筛选,所述受试者筛选具体是通过发布大五人格问卷的方式,选择性格特质为情绪稳定且外向的受试者进行刺激源选择受试。

4.根据权利要求2所述的fNIRS多模态情感数据集采集方法,其特征在于,所述视频片段的数量为30个,视频时长为2分钟到4分钟。

5.根据权利要求1所述的fNIRS多模态情感数据集采集方法,其特征在于,截取每个视频片段的最后30秒的fNIRS数据和E4手环的数据以获得最大的情绪反应,每个受试者每次实验得到15个样本,其中每类情绪各三个样本,验证策略为留一验证法:即一个受试者的数据作测试集其余受试者的数据作训练集。

6.根据权利要求1所述的fNIRS多模态情感数据集采集方法,其特征在于,利用比尔-朗伯定律求得吸光度变化与脑组织中的吸光色团浓度变化量的关系方程,通过方程的求解得到氧合血红蛋白与脱氧血红蛋白浓度的相对变化量。

7.根据权利要求1所述的fNIRS多模态情感数据集采集方法,其特征在于,所述将得到的氧合血红蛋白与脱氧血红蛋白浓度的相对变化量还包括预处理,所述预处理包括三阶0.01至0.5Hz带通IIR巴特沃斯滤波去除仪器、心跳等噪声、利用样条插值法移除与实验无关的运动伪迹。

8.根据权利要求7所述的fNIRS多模态情感数据集采集方法,其特征在于,预处理后的相对变化量还进行基线校准处理。

9.一种实现权利要求1-8任一项所述的fNIRS多模态情感数据集采集方法的系统,其特征在于,包括:

10.根据权利要求9所述的系统,其特征在于,还包括受试者筛选模块,用于筛选受试者。

...

【技术特征摘要】

1.一种fnirs多模态情感数据集采集方法,其特征在于,包括:

2.根据权利要求1所述的fnirs多模态情感数据集采集方法,其特征在于,根据受试者观看视频片段的诱发反应进行选择,具体包括;

3.根据权利要求1或2所述的fnirs多模态情感数据集采集方法,其特征在于,所述受试者需要接受受试者筛选,所述受试者筛选具体是通过发布大五人格问卷的方式,选择性格特质为情绪稳定且外向的受试者进行刺激源选择受试。

4.根据权利要求2所述的fnirs多模态情感数据集采集方法,其特征在于,所述视频片段的数量为30个,视频时长为2分钟到4分钟。

5.根据权利要求1所述的fnirs多模态情感数据集采集方法,其特征在于,截取每个视频片段的最后30秒的fnirs数据和e4手环的数据以获得最大的情绪反应,每个受试者每次实验得到15个样本,其中每类情绪各三个样本,验证策略为留一验证法:即一个受试者的数据作测试集其余受试者...

【专利技术属性】
技术研发人员:孙邓君谭明奎青春美徐向民
申请(专利权)人:华南理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1