基于脑机接口的虚拟现实可交互式情绪检测与调控系统技术方案

本发明专利技术公开了一种基于脑机接口的虚拟现实可交互式情绪检测与调控系统，包括：刺激模块，用于传递刺激信息，通过视频或三维场景播放表达不同情绪的音视频以及虚拟人的动作调动用户的情绪；反馈模块，用于传递反馈数据处理模块处理后的结果，帮助用户调节实时情绪；数据采集模块，用于采集并记录用户的脑电信号；数据处理模块，用于处理脑电信号，包括对脑电数据标记状态、分割数据、提取特征、计算分类器模型和产生相应的反馈命令。本发明专利技术解决了目前脑电情绪检测系统反馈形式单一、无法实现交互的问题，将脑机接口技术与虚拟现实技术结合，创建了一个基于虚拟人的可交互式情绪检测和调控系统，实现情绪检测与情绪调控，并拥有良好的使用体验。良好的使用体验。良好的使用体验。

Virtual reality interactive emotion detection and regulation system based on brain computer interface

【技术实现步骤摘要】
基于脑机接口的虚拟现实可交互式情绪检测与调控系统


[0001]本专利技术涉及脑机接口技术、虚拟现实技术与情绪诱发、检测与调控的
，尤其是指一种基于脑机接口的虚拟现实可交互式情绪检测与调控系统。

技术介绍

[0002]从定义上讲，情绪是一系列主观认知体验的总称，包括但不限于人对客观事物的态度、体验和相应的行为反应。脑电是了解人脑无害、无痛和可操作性如何工作的有效方法之一，因此我们希望通过脑电了解一个人的情绪状态。在算法上，情绪识别是关键任务，但对于实际应用，情绪调控更为关键。然而，有些人很难根据自己的想法调控自己的情绪。我们的重点在于提出一个益于诱发情绪和调控情绪的系统。

技术实现思路

[0003]本专利技术的目的在于针对目前的脑电情绪检测系统反馈形式单一，无法实现交互等问题，提出了一种基于脑机接口的虚拟现实可交互式情绪检测与调控系统，将脑机接口技术与虚拟现实技术结合，创建了一个基于虚拟人的可交互式情绪检测和调控系统，该系统用虚拟人的表情展示用户的情绪状态，并反馈给用户，实现情绪检测与情绪调控，在获得不错的分类准确率的同时获得良好的使用体验。
[0004]为实现上述目的，本专利技术所提供的技术方案为：基于脑机接口的虚拟现实可交互式情绪检测与调控系统，包括：
[0005]刺激模块，用于传递刺激信息，通过视频或三维场景播放表达不同情绪的音视频以及虚拟人的动作调动用户的情绪；
[0006]反馈模块，用于传递反馈数据处理模块处理后的结果，通过视频或三维场景反馈用户的实时情绪状态，帮助用户调节实时情绪；
[0007]数据采集模块，用于采集并记录用户的脑电信号；
[0008]数据处理模块，用于对采集的脑电信号进行处理，包括对脑电数据进行状态标记，并根据标记进行训练数据和在线测试数据的分割和特征提取，训练数据对应的特征将用于在线检测与调控中使用的分类器模型的计算，而在线测试数据对应的特征将通过分类器模型计算实时情绪状态并根据其与反馈模块连接产生相应的反馈命令。
[0009]进一步，所述刺激模块在开始刺激前，首先提示用户即将呈现的刺激情绪类型，有正性、中性或负性，刺激开始后将持续一段时间，刺激将通过视频或三维场景呈现；每个刺激结束后，用户将短暂休息；刺激模块由与数据处理模块相同或不同的计算机驱动。
[0010]进一步，所述反馈模块包括两个部分，一是虚拟人的表情，二是情绪坐标；其中虚拟人的表情根据用户的情绪变化，能做出大笑、微笑、无表情、叹气表情，用户观看虚拟人表情状态并对自身情绪状态进行调整；情绪坐标是精确反应用户情绪状态的指标，用户能根据情绪坐标的位置，对自己的情绪状态进行调整。
[0011]进一步，所述数据采集模块采集用户的脑电信号，并通过串口连接线和并口连接
线与安装有数据处理模块的计算机连接。
[0012]进一步，所述数据采集模块采用脑电放大器和30通道的EEG电极帽来记录头皮脑电信号，并将脑电信号传输给数据处理模块；其中，所有通道的脑电信号均以右耳突为参照，在脑电采集过程中，所有电极的阻抗值皆为5KΩ以下，以保证数据良好的质量，且脑电信号以250Hz的频率采样，并在0.1至48Hz的范围内进行带通滤波。
[0013]进一步，所述数据采集模块采集信号时，用户坐在距离3D屏幕中央3米处，头戴同步式3D眼镜，3D屏幕用作场景的播放，音乐播放依靠立体声环绕音响；开始前，用户会观看一个测试歌曲视频，能够根据自己的喜好，将音量和屏幕亮度调整到合适的大小，以保证在使用过程中，用户能准确接受刺激；每个用户需要进行两段脑电数据的采集，一段是训练数据采集，另一段是在线测试数据采集。
[0014]进一步，在所述数据处理模块中，对训练数据根据标记分为正性、中性、负性情绪状态的数据，形成训练数据集，在对训练数据集进行滤波预处理后，计算脑电频率段微分熵，结果作为特征向量，完成特征提取，而后将这些特征向量根据标记送入基于线性核的支持向量机训练生成用于情绪的在线检测与调控阶段的分类器模型；在情绪的在线检测与调控阶段，对实时数据使用与处理训练数据集时完全相同的方法和参数进行预处理、特征提取后，将特征向量输入训练好的分类器模型，得到正性—中性、中性—负性、负性—正性三组情绪对的预测可能性值，并基于这三个值进行线性变换，得到实时情绪坐标，基于这个坐标的位置判定用户情绪状态，并调整虚拟人的表情，用户根据坐标和虚拟人的表情改变自己的情绪调节策略，进一步提升情绪调节效果。
[0015]进一步，在所述数据处理模块中，对标记好的训练数据和在线测试数据进行滤波预处理和微分熵特征提取的操作如下：
[0016]对于训练数据和在线测试数据，经过带通滤波器滤波，滤波带宽为0.1
–
48Hz；对于训练数据和在线测试数据的每一个数据段，采用滑动窗口的方式将其切割成时间窗口为5秒的小窗，滑动间隔为1秒；对于每一个小窗，提取30个通道在6个频率段：
①
Delta频段：0.1
‑
4Hz，
②
Theta频段：4
‑
8Hz，
③
Alpha频段：8
‑
14Hz，
④
Low Beta频段：14
‑
21.5Hz，
⑤
High Beta频段：21.5
‑
30Hz，
⑥
Gamma频段：30
‑
48Hz内的微分熵特征，得到30
×
6的特征向量，通过变化转化为180
×
1的特征向量；其中，微分熵特征的具体计算方法如下：
[0017]对于每个数据通道，使用短时傅里叶变化(STFT)将信号变化到时频域，随后按照下列公式：
[0018]DE＝log(|x(m，f
k
)|2)
[0019]式中，DE为微分熵特征，x为通道数据，m为对应时间段序号，f
k
为对应频率的组合；在频率域上分别计算每个频段的信号能量，并将对应的能量值取对数之后就得到了相应的微分熵特征。
[0020]进一步，在所述数据处理模块中，对于分类器模型的训练，是将特征向量送入基于线性核的支持向量机SVM构建情绪分类的分类器，将训练中的正性、中性、负性情绪状态下对应的情绪特征数据构成一个训练集，并将正性、中性、负性情绪状态下对应的特征向量送入上述分类器进行训练，得到基于情绪的分类器模型。
[0021]进一步，在所述数据处理模块中，对于实时情绪坐标的计算，假设一个边长为1的等边三角形，三角形的三个顶点为三种情绪的原点，其中左下角为正性，上方为中性，右下
角为负性，三条边上为三个两两情绪对的预测可能性所对应的小球，将三个小球的重心定义为情绪坐标，通过情绪坐标的反馈，用户能够更加准确获取自己当前的情绪状态。
[0022]本专利技术与现有技术相比，具有如下优点与有益效果：
[0023]1、基于脑机接口的方式进行情绪检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，包括：刺激模块，用于传递刺激信息，通过视频或三维场景播放表达不同情绪的音视频以及虚拟人的动作调动用户的情绪；反馈模块，用于传递反馈数据处理模块处理后的结果，通过视频或三维场景反馈用户的实时情绪状态，帮助用户调节实时情绪；数据采集模块，用于采集并记录用户的脑电信号；数据处理模块，用于对采集的脑电信号进行处理，包括对脑电数据进行状态标记，并根据标记进行训练数据和在线测试数据的分割和特征提取，训练数据对应的特征将用于在线检测与调控中使用的分类器模型的计算，而在线测试数据对应的特征将通过分类器模型计算实时情绪状态并根据其与反馈模块连接产生相应的反馈命令。2.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，所述刺激模块在开始刺激前，首先提示用户即将呈现的刺激情绪类型，有正性、中性或负性，刺激开始后将持续一段时间，刺激将通过视频或三维场景呈现；每个刺激结束后，用户将短暂休息；刺激模块由与数据处理模块相同或不同的计算机驱动。3.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，所述反馈模块包括两个部分，一是虚拟人的表情，二是情绪坐标；其中虚拟人的表情根据用户的情绪变化，能做出大笑、微笑、无表情、叹气表情，用户观看虚拟人表情状态并对自身情绪状态进行调整；情绪坐标是精确反应用户情绪状态的指标，用户能根据情绪坐标的位置，对自己的情绪状态进行调整。4.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，所述数据采集模块采集用户的脑电信号，并通过串口连接线和并口连接线与安装有数据处理模块的计算机连接。5.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，所述数据采集模块采用脑电放大器和30通道的EEG电极帽来记录头皮脑电信号，并将脑电信号传输给数据处理模块；其中，所有通道的脑电信号均以右耳突为参照，在脑电采集过程中，所有电极的阻抗值皆为5KΩ以下，以保证数据良好的质量，且脑电信号以250Hz的频率采样，并在0.1至48Hz的范围内进行带通滤波。6.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，所述数据采集模块采集信号时，用户坐在距离3D屏幕中央3米处，头戴同步式3D眼镜，3D屏幕用作场景的播放，音乐播放依靠立体声环绕音响；开始前，用户会观看一个测试歌曲视频，能够根据自己的喜好，将音量和屏幕亮度调整到合适的大小，以保证在使用过程中，用户能准确接受刺激；每个用户需要进行两段脑电数据的采集，一段是训练数据采集，另一段是在线测试数据采集。7.根据权利要求1所述的基于脑机接口的虚拟现实可交互式情绪检测与调控系统，其特征在于，在所述数据处理模块中，对训练数据根据标记分为正性、中性、负性情绪状态的数据，形成训练数据集，在对训练数据集进行滤波预处理后，计算脑电频率段微分熵，结果作为特征向量，完成特征提取，而后将这些特征向量根据标记送入基于线性核的支持向量机训练生成用于情绪的在线检测与调控阶段的分类器模型；在情绪的...

【专利技术属性】
技术研发人员：李远清，黎肯迪，黄炜琛，高炜，江娅，
申请(专利权)人：人工智能与数字经济广东省实验室广州，
类型：发明
国别省市：