一种基于多尺度特征融合的意识状态分析方法和设备技术

本发明专利技术提出了一种基于多尺度特征融合的意识状态分析方法，将视觉图片和语音同时输出给受试者，所述语音的词语内容与所述视觉图片的物品内容对应；采集受试者反馈的

【技术实现步骤摘要】
一种基于多尺度特征融合的意识状态分析方法和设备


[0001]本专利技术涉及脑机接口技术与电生理事件相关诱发电位的
，特别是涉及一种基于多尺度特征融合的意识状态分析方法和设备领域
。

技术介绍

[0002]我国保守估计有
50
‑
100
万名患者因颅脑外伤
、
脑卒中
、
缺血缺氧性脑病等病陷入昏迷，继而进入长期的意识障碍状态
(Disorder of Consciousness,DoC)
，即成为传统意义上的“植物人”，并且还在以每年
10
万名患者的速度增加
。
虽然现代医学的迅猛发展，这类脑损伤患者的死亡率明显下降，但意识障碍患者逐渐增多，随之带来的一个重大难题就是患者后期的诊断与康复
。
慢性意识障碍根据意识水平的高低，可以分为最小意识状态
(Minimally Consciousness State
，
MCS)
和持续的植物人状态
(Vegetative State,VS)
两个层次，后者也叫无反应觉醒综合征
(Unresponsive Wakefulness Syndrome,UWS)。
慢性意识障碍患者往往由于无法交流，常常被延误治疗甚至是误诊，错失了最佳的康复机会
。
[0003]近年来，脑机接口技术在慢性意识障碍诊疗领域的研究开始逐渐增多
。
与
fMRI
技术相比，脑机接口
(Brain
‑
Computer Interface,BCI)
技术具有相对廉价，设备体积小，容易在临床上应用，脑电数据较容易分析等优势
。
通过脑机接口设备获取并分析患者的脑电信号
(electroencephalograph
，
EEG)
，可以在不依赖患者的行为反应基础之上掌握患者的意识状态，实现意识障碍诊断与评定
、
预后判断，甚至与意识障碍患者实现交流，成为了今后可以研究的方向
。
[0004]在众多
BCI
中，
P300
‑
BCI
在
DoC
患者残余意识检测和预后中表现出较为稳定
。P300
是事件相关电位中的一个正向波形，只有在受试者积极参加检测目标的任务时才会出现，可以作为认知能力的一种可靠测量方法
。P300
的诱发常常遵循
Oddball
范式，即由较低概率的靶刺激和较高概率的非刺激组成，通过任务提示语要求被试只对靶刺激由反应
。
在
P300
‑
BCI
的刺激材料选择上，常以视觉
、
听觉或触觉为主，使用单一感官刺激的
P300
‑
BCI
准确率低，并且需要多次重复任务才能够稳定触发
P300
响应
。
目前从基于
P300
‑
BCI
的临床意识障碍评估来看，使用多感官刺激的
P300
‑
BCI(
比如视觉
+
听觉
)
的准确率比单一感官刺激的
P300
‑
BCI
要准确得多
。
[0005]但现有检测意识障碍患者状态的方法匮乏，且大多数方法都会因为患者视觉注意力不集中，难以诱发
P300
成分导致难以获取导致够多的数据来准确的检测意识结果的问题
。

技术实现思路

[0006]因此，本专利技术提出一种基于多尺度特征融合的意识状态分析方法，用于
DoC
患者残余意识检测及预后，通过将多尺度卷积神经网络作为特征提取器，将真实特征与样本特征之间的余弦距离作为分类依据，提取了脑电数据在时间与空间维度上的特征信息，能够有效地处理在小样本数据量的情况下实现对患者残余意识水平的准确分类
。
[0007]本专利技术是通过如下技术方案实现的：
[0008]一方面，本专利技术提供一种基于多尺度特征融合的意识状态分析方法，其包括：
[0009]对受试者反馈的脑电信号进行频域变换，再计算相位角得到包络信号，并根据相位角计算试次间的次间相位一致性；
[0010]根据所述脑电信号采集对应的
P300
信号，对所述
P300
信号进行多尺度卷积特征融合，得到
P300
特征；
[0011]计算所述
P300
特征与一样本特征之间的余弦相似度，并与一阈值比较，得到所述
P300
信号的类别；
[0012]根据
P300
信号的类别和试次间的次间相位一致性，判断受试者残余意识水平
。
[0013]进一步地，所述根据受试者反馈的脑电信号采集对应的
P300
信号，对所述
P300
信号进行多尺度卷积特征融合，得到
P300
特征；具体包括：
[0014]对所述脑电信号进行特征提取，得到
P300
信号；
[0015]对所述
P300
信号以及包络信号进行空间滤波和非线性激活，得到一特征图
output
(1)
；
[0016]对
output
(1)
进行时间卷积，得到两个特征图
output
(,)
和
output
(,)
；
[0017]对
output
(,)
和
output
(,)
两个特征图进行特征融合得到
output
(3)
；
[0018]对
output
(3)
进行池化，去除冗余特征得到特征输出图
output
(4)
；
[0019]对
output
(4)
进行维度转换，将
output
(4)
从多维转到一维，得到
output
(5)
；
[0020]将输入的
output
(5)
经过非线性映射得到嵌入空间的非线性映射输出
output
(6)
。
[0021]进一步地，所述对
output
(1)
进行时间卷积，得到两个特征图
output
(,)
和
output
(,)
的具体公式为
[0022][0023][0024]其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多尺度特征融合的意识状态分析方法，其特征在于，包括：对受试者反馈的脑电信号进行频域变换，再计算相位角得到包络信号，并根据相位角计算试次间的次间相位一致性；根据所述脑电信号采集对应的
P300
信号，对所述
P300
信号进行多尺度卷积特征融合，得到
P300
特征；计算所述
P300
特征与一样本特征之间的余弦相似度，并与一阈值比较，得到所述
P300
信号的类别；根据
P300
信号的类别和所述试次间的次间相位一致性，判断受试者残余意识水平
。2.
根据权利要求1所述的一种基于多尺度特征融合的意识状态分析方法，其特征在于，所述根据受试者反馈的脑电信号采集对应的
P300
信号，对所述
P300
信号进行多尺度卷积特征融合，得到
P300
特征；具体包括：对所述脑电信号进行特征提取，得到
P300
信号；对所述
P300
信号进行空间滤波和非线性激活，得到一特征图
output
(1)
；对
output
(1)
进行时间卷积，得到两个特征图
output
(,)
和
output
(,)
；对
output
(,)
和
output
(,)
两个特征图进行特征融合得到
output
(3)
；对
output
(3)
进行池化，去除冗余特征得到特征输出图
output
(4)
；对
output
(4)
进行维度转换，将
output
(4)
从多维转到一维，得到
output
(5)
；将输入的
output
(5)
经过非线性映射得到嵌入空间的非线性映射输出
output
(6)
。3.
根据权利要求1所述的一种基于多尺度特征融合的意识状态分析方法，其特征在于，在对所述
P300
信号进行多尺度卷积特征融合前还包括：将所述包络信号与所述
P300
信号进行拼接，拼接后的拼接信号进行多尺度卷积融合，得到拼接特征
。4.
根据权利要求1‑3任一所述的一种基于多尺度特征融合的意识状态分析方法，其特征在于，所述对
output
(1)
进行时间卷积，得到两个特征图
output
(,)
和
output
(,)
的具体公式为为其中
output
(,)
和
output
(,)
表示不同卷积核的得到的不同尺度感受野的特征图，包含脑电数据中不同尺度的上下文特征
。
和表示两个不同核对应的卷积核矩阵
。
和是两个不同核对应的加性偏置
。5.
根据权利要求4所述的一种基于多尺度特征融合的意识状态分析方法，其特征在于，在训练阶段，对
output
(4)
进行维度转换，将
output
(4)
从多维转到一维，得到
output
(5)
前，还包括
dropout
，其具体公式为：
r
()
～
Bernoulli(p
(5)
)
其中，
p
(5)
为丢弃率，
r
()
为伯努利函数
(Bernoulli function)
以概率
p
(5)
随机泛化一个由0和1组成的向量，
f
为
tanh
激活函数，
ω
(5)
为卷积核矩阵，
b
()
为偏置
。6.
...

【专利技术属性】
技术研发人员：潘家辉，蔡洪华，金家瑞，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：