一种基于多模态脑功能信号识别的系统及方法技术方案

本发明专利技术属于智能医疗器械领域，具体的涉及基于多模态脑功能信号识别方法。基于多模态脑功能信号识别方法，具体包括硬件模块，软件模块，算法控制模块，APP控制模块，同时所述的模块集成于头戴式VR设备中，其具体结构还包括头盔本体、系带、护目镜、内盔收缩层。通过将多级集成学习和多模态生理信号的脑功能状态认知识别，采集人脑电信号，并对脑电波的变化趋势进行分析用以预测热的脑健康状态与心理状态，同时改进头戴式VR设备的结构，若被试者中途出现不适应状态，可立即按下一键暂停按钮，立即停止实验，算法分析匹配得到的数据更准确，更针对性的分析出客户的脑部状态。针对性的分析出客户的脑部状态。针对性的分析出客户的脑部状态。

【技术实现步骤摘要】
设备中。
[0009]优选的，所述的硬件模块包括无线通信、摄像头、主板、电源、VR头显、脑电仪、近 红外脑功能成像仪、眼动追踪仪、指示灯；
[0010]所述的软件模块包括语音提示模板、自动校准模板、APP安装卸载模板、用户信息登录模板； 所述的APP控制模块包括指令控制模块、用户信息登录模块、实时语音传输模块、一键启 停模块、紧急制动模块。
[0011]优选的，所述的脑电仪采用脑功能状态认知识别方法，具体包括基于多级集成学习和多 模态生理信号的脑功能状态认知识别。
[0012]优选的，所述的头戴式VR设备具有自动收缩与一键暂停功能，用以固定被测试者的头 部位置，同时防止被测试者在实验中发生意外情况，同时被测试者通过APP控制模块发出 传输指令至沉浸式头盔，用以实现沉浸式头盔中各项目的完成。
[0013]一种基于多模态脑功能信号识别方法，其特征在于，基于多级集成学习和多模态生理信 号的脑功能状态认知识别具体步骤为：
[0014]S1、获取被测试对象的个人信息，按语音提示佩戴头戴式VR设备；
[0015]S2、通过APP控制模块，使得头戴式VR设备中播放VR影像，用以通过眼动追踪与近红外 获取被测试者的心理负荷与情绪转换，进行数据采集；
[0016]S3、获取被测试者在实验过程中，不同情绪状态对应不同颜色指示灯，对采集到的被测试者 的生理状态的多模态数据进行数据预处理，所述的多模态数据包括脑电数据，眼电数据，心 电数据，近红外数据，眼动数据；
[0017]S4、获取被测试者的脑电数据，进行相应的特征提取；
[0018]S5、对特征提取后得到的数据进行认知识别与分类性能评估。
[0019]优选的，在所述步骤S2中，所述的数据采集通过头戴式VR设备所建立的人机系统交 互，进行8通道EEG采集。
[0020]优选的，在所述步骤S3中，对所述的数据预处理包括巴特沃斯滤波，眼电、肌肉噪声 移除，独立变量分析。
[0021]优选的，在所述步骤S4中，对所述的特征提取包括非重叠片段选择，FFT变换；所述 的FFT变换具体包括频域特征变换，时域特征变换域PSD差变换，其中所述的频域特征包含Delta、Theta、Alpha、Beta、Gamma频带，时域特征包含过零点、香农熵、峰度、偏斜度、 峰度、标准偏差、均方根、波形因子、波峰因子、脉冲指数，并对所述的频域特征绘制出8 通道Delta、Theta、Alpha、Beta、Gamma脑电波变化趋势，其中所述的Delta波在0.5
‑
4Hz， Theta波在4
‑
8Hz，Alpha波在8
‑
13Hz，Beta波在14
‑
30Hz，Gamma波在31
‑
40Hz。
[0022]优选的，在所述步骤S5中，所述的分类性能评估通过使用CRBFS分类器，用以对特征 提取得到的数据进行分析并评估被试者的脑功能状态，具体评估方式如下：
[0023]所述的CRBFS分类器，首先确定度量指标，并建立评估模型，如下：
[0024]Accuracy＝(TP+TN)/(TP+FP+FN+TN)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0025]Sensitivity＝TP/(TP+FN)(2)
[0026]Specificity＝TN/(FP+TN)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0027]Pr ecision＝TP/(TP+FP)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0028]NPV＝TN/(FN+TN)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0029]F1
‑
score＝(2
×
TP)/(2
×
TP+FP+FN)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0030]使用基学习器SDAE，其输入层和第一隐层间的权重由LPP映射层计算得到，并给出 N1个D维脑电样例，将其映射到低维特征表示，如公式(7)，用来评估两个样例间的相似性 (S＝1，相似；S＝0，不相似)，转换矩阵由最小化目标函数计算得到：
[0031]z
i
＝A
T
x
i
ꢀꢀꢀ
(7)
[0032][0033]s.t.A
T
XDX
Τ
A＝1
[0034]在下列方程中，D是S的对角矩阵，A为对应的特征向量，
[0035]L＝D
‑
S
ꢀꢀ
(9)
[0036]XLX
T
A＝λXDX
T
A
ꢀꢀ
(10)
[0037]SDAE的深度结构通过堆叠AE而构成，为了消除噪声抽象，添加去噪层，第H隐层高 水平特征表示被计算为，
[0038][0039][0040]被试的CW水平由监督层计算如下，
[0041][0042]其中，V和b
V
表示输出权重和偏置，SDAE的最优参数基于反向传播算法实现。
[0043]引入Q
‑
statistics来评估基学习器的多样性，例如，一对学习器E
i
和E
j
的Q值为，
[0044][0045]N
ij
表示样例正确或错误分类的个数，对于n个SDAE，平均值为，
[0046][0047]从而得到新的特征子集S
tr
，见公式(16)
‑
(17)，
[0048][0049][0050][0051]其中基学习器的输出表示为E(k)，
[0052]训练ELM分类器，目的是最小化正则化误差，
[0053][0054]其中g表示激活函数，v表示输出权重，常量C用来平衡拟合误差，因此，最终的集成 输出为：
[0055][0056]考虑到ELM的岭回归问题，将向量I/C添加到ggT的对角线上。
[0057]优选的，所述的CRBFS分类器，首先建立混合矩阵，用以计算分类性能评估的性能指标， 并在此基础上建立基于CRBFS分类器的后验概率估计模型，用以得到评价脑功能状态的最优 参数，根据最优参数来确定是否患有相应的脑部疾病。
[0058]本专利技术具有一下有益效果：
[0059](1)通过将多级集成学习和多模态生理信号的脑功能状态认知识别，采集人脑电信号， 并对脑电波的变化趋势进行分析用以预测热的脑健康状态与心理状态。
[0060](2)本专利技术所述的头戴式VR设备通过结构改进，可适应人脑的结构，并更好的固定 在被试头上，若中途出现不适应状态，可立即按下一键暂停按钮，立即停止实验。...

【技术保护点】

【技术特征摘要】
1.一种基于多模态脑功能信号识别系统，其特征在于，包括硬件模块，软件模块，算法控制模块，APP控制模块，所述硬件模块，软件模块，算法控制模块，APP控制模块集成于头戴式VR设备中。2.根据权利要求1所述的基于多模态脑功能信号识别系统，其特征在于，所述的硬件模块包括无线通信、摄像头、主板、电源、VR头显、脑电仪、近红外脑功能成像仪、眼动追踪仪、指示灯；所述的软件模块包括语音提示模板、自动校准模板、APP安装卸载模板、用户信息登录模板；所述的APP控制模块包括指令控制模块、用户信息登录模块、实时语音传输模块、一键启停模块、紧急制动模块。3.根据权利要求2所述的基于多模态脑功能信号识别系统，其特征在于，所述的脑电仪采用脑功能状态认知识别方法，具体包括基于多级集成学习和多模态生理信号的脑功能状态认知识别。4.根据权利要求1所述的基于多模态脑功能信号识别系统，其特征在于，所述的头戴式VR设备具有自动收缩与一键暂停功能，用以固定被测试者的头部位置，同时防止被测试者在实验中发生意外情况，同时被测试者通过APP控制模块发出传输指令至沉浸式头盔，用以实现沉浸式头盔中各项目的完成。5.一种基于多模态脑功能信号识别方法，其特征在于，基于多级集成学习和多模态生理信号的脑功能状态认知识别具体步骤为：S1、获取被测试对象的个人信息，按语音提示佩戴头戴式VR设备；S2、通过APP控制模块，使得头戴式VR设备中播放VR影像，用以通过眼动追踪与近红外获取被测试者的心理负荷与情绪转换，进行数据采集；S3、获取被测试者在实验过程中，不同情绪状态对应不同颜色指示灯，对采集到的被测试者的生理状态的多模态数据进行数据预处理，所述的多模态数据包括脑电数据，眼电数据，心电数据，近红外数据，眼动数据；S4、获取被测试者的脑电数据，进行相应的特征提取；S5、对特征提取后得到的数据进行认知识别与分类性能评估。6.根据权利要求5所述的基于多模态脑功能信号识别方法，其特征在于，在所述步骤S2中，所述的数据采集通过头戴式VR设备所建立的人机系统交互，进行8通道EEG采集。7.根据权利要求5所述的基于多模态脑功能信号识别方法，其特征在于，在所述步骤S3中，对所述的数据预处理包括巴特沃斯滤波，眼电、肌肉噪声移除，独立变量分析。8.根据权利要求5所述的基于多模态脑功能信号识别方法，其特征在于，在所述步骤S4中，对所述的特征提取包括非重叠片段选择，FFT变换；所述的FFT变换具体包括频域特征变换，时域特征变换域PSD差变换，其中所述的频域特征包含Delta、Theta、Alpha、Beta、Gamma频带，时域特征包含过零点、香农熵、峰度、偏斜度、峰度、标准偏差、均方根、波形因子、波峰因子、脉冲指数，并对所述的频域特征绘制出8通道Delta、Theta、Alpha、Beta、Gamma脑电波变化趋势，其中所述的Delta波在0.5
‑
4Hz，Theta波在4
‑
8Hz，Alpha波在8
‑
13Hz，Beta波在14
‑
30Hz，Gamma波在31
‑
40Hz。9.根据权利要求5所述的基于...

【专利技术属性】
技术研发人员：蔡江，
申请(专利权)人：燧人上海医疗科技有限公司，
类型：发明
国别省市：