【技术实现步骤摘要】
本专利技术涉及脑机接口，更具体地，涉及一种基于脑机接口和多模态信号的注意状态评估方法及系统。
技术介绍
1、脑机接口(brain-computer interface,bci)是一种在人脑和计算机等外部设备建立的直接连接的中间件，用以将抽象复杂的脑信号转化为机器能理解的操作指令，从而实现大脑与设备的信息交换。脑机接口的应用场景广泛，其在医疗康复、游戏与虚拟现实，以及人机控制等领域都有不同程度的应用，特别地，目前大部分关于脑机接口的应用集中于脑功能区和人体行为的分析与解构。
2、脑认知学和其他研究指出，人的注意状态由人脑中的不同功能区域协同控制，如大脑的前额叶，特别是前额皮质，在引导和维持注意集中方面发挥作用，此外这部分区域还可以同时抑制干扰，而人脑上顶叶主要负责空间注意，下顶叶则将人的注意引导到特定的刺激上等等。
3、然而，现有的多模态脑机接口，特别是注意状态相关任务的脑机接口在多模态信号的分析上面，往往是将不同信号提取的特征进行特征级融合，抑或是对不同模态下目标任务的结果输出进行决策级的融合，而忽略了不同的脑功能区域负责的对应功能，以及不同脑功能区驱使人体行为动作时的强相关性。除此之外，不考虑不同脑功能区与对应任务之间的特征提取往往可解释性较差，不利于对人脑认知以及后续研究的进一步发展。
技术实现思路
1、针对现有技术忽视不同脑功能区与目标任务的相关性的缺陷，本专利技术提供了一种基于脑机接口和多模态信号的注意状态评估方法及系统，基于不同脑功能区对不同注意相
2、为实现上述目的，第一方面，本专利技术提供一种脑机接口用注意状态评估方法，包括信号采集、特征提取阶段、特征学习阶段和注意状态评估阶段，其特征在于，还包括构图阶段；所述构图阶段包括以下步骤：
3、步骤s101、设计不同的注意评估子任务范式；
4、步骤s102、基于不同脑区对不同任务的主导贡献构建脑功能区动态图，建立以脑电信号为主的目标任务的特征范式；构建以不同脑功能区为触发，其他生理信号为反应的多模态信号功能连接动态图，获得脑电各功能区与反应生理信号针对目标注意子任务所建立的协同范式，多模态信号对注意任务的有关于动作意图和反应行为的关系，以及从意图到行为的反应机制；结合所述脑功能区动态图和多模态信号功能连接动态图，构建针对注意状态任务的多区域动态图卷积网络；
5、所述特征提取阶段通过所述多区域动态图卷积网络对不同目标注意子任务的不同实验数据进行相关性特征提取；
6、所述特征学习阶段通过对多受试者在不同注意状态子任务的特征进行训练让模型学习到不同注意状态子任务的标准范式；
7、所述注意评估阶段采集通过脑机接口进行注意相关任务的训练或康复的人员的多模态信号，通过所述脑功能区动态图和多模态信号功能连接动态图学习到的注意相关任务的标准范式对病患提供评估标准和有效指导。
8、进一步地，所述步骤s101中的注意评估子任务范式从注意选择、注意保持、注意分配、注意控制、注意广度5个维度来评估受试者的注意能力。
9、进一步地，所述步骤s102中，所述脑功能区动态图将大脑前额叶位置的所有主要导联组成主要作用区，其他辅助功能区根据相对位置与对不同目标子任务的辅助贡献程度与主功能区进行相关性连接，即初始化图邻接关系矩阵。
10、进一步地，所述步骤s102中，所述其他生理信号包括心电、皮电以及肌电信号。
11、第二方面，本专利技术提供一种脑机接口用多模态信号注意评估分析系统，其特征在于，实现如上述的注意状态评估方法，包括：
12、数据采集模块，采集受试者在进行注意相关任务时的多模态信号，构建不同的注意评估子任务范式；
13、构图模块，基于不同脑区对不同任务的主导贡献构建脑功能区动态图，构建以不同脑功能区为触发，生理信号为反应的多模态信号功能连接动态图；
14、特征提取模块，结合所述脑功能区动态图和多模态信号功能连接动态图，构建针对注意状态任务的多区域动态图卷积网络，进行反应范式的捕捉，提取相关性特征；
15、特征学习模块，对所述多区域动态图卷积网络提取到的相关性特征进行学习和强调与目标任务相关的相关性特性；
16、注意评估模块，通过若干个全连接层神经网络对特征进行进一步的特征整合和降维，最后给出用户不同注意范式的综合评估结果。
17、进一步地，所述脑功能区动态图采用皮尔逊相关系数来定义；给定输入其中nsingle表示单个模态的导联节点数，r表示每个导联信号的特征维度，则该输入的脑功能区动态图为abr，其中对于p,q∈{1,…,nsingle},abr-pq可由下式计算：
18、
19、进一步地，所述多模态信号功能连接动态图中，对于同一个任务的多模态信号，首先通过特征映射的方式将多模态信号进行特征对齐，然后给定多模态信号输入其中nmm为多模态信号导联节点总数，r为每个导联信号的对齐后的特征维度，则该输入的多模态功能连接动态图为amm，其中对于p,q∈{1,…,nmm},amm-pq可由下式计算：
20、
21、其中，ωt∈rf*1为可学习向量，relu(·)为relu操作。
22、进一步地，所述特征学习模块采用transformer架构下的基于多头注意力机制的encoder框架对所述多区域动态图卷积网络提取到的相关性特征进行学习和强调与目标任务相关的相关性特性，得到经过由n个自注意力模块组成的encoder输出attentionn；第i个自注意力模块的输入vi为第i-1个自注意力模块的输入即vi＝attentioni-1，第i个自注意力模块的输出attentioni可由下式计算得到：
23、
24、其中，qi,ki,vii为第i个自注意力模块的中的查询(query)，键(key)和值(val)的特征向量，其中sqrt(·)为取根号操作，do表示输入特征的维度。
25、与现有技术相比，本专利技术具有以下技术效果：
26、(1)本专利技术基于多模态脑机接口的注意评估方法关注于不同脑功能区与不同注意任务的联系强弱，强调不同脑功能区对于注意状态任务的不同时间下的不同贡献；
27、(2)本专利技术考虑了除脑电信号外的其他生理信号，强调特定脑区与其他不同的生理反应信号对注意任务的协同范式的贡献，进一步提高注意评估的可靠性和稳定性；
28、(3)本专利技术构建以脑电，特别是不同注意任务下以主要脑功能区为核心的，从脑到心，从脑到皮和从脑到肌的辐射协同范式，并由本文档来自技高网...
【技术保护点】
1.一种基于脑机接口和多模态信号的注意状态评估方法，包括信号采集、特征提取阶段、特征学习阶段和注意状态评估阶段，其特征在于，还包括构图阶段；所述构图阶段包括以下步骤：
2.根据权利要求1所述的一种基于脑机接口和多模态信号的注意状态评估方法，其特征在于，所述步骤S101中的注意评估子任务范式为注意选择、注意保持、注意分配、注意控制、注意广度5个维度来评估受试者的注意能力。
3.根据权利要求1所述的一种基于脑机接口和多模态信号的注意状态评估方法，其特征在于，所述步骤S102中，所述脑功能区动态图将大脑前额叶位置的所有主要导联组成主要作用区，其他辅助功能区根据相对位置与对不同目标子任务的辅助贡献程度与主功能区进行相关性连接，即初始化图邻接关系矩阵。
4.根据权利要求1或3所述的一种基于脑机接口和多模态信号的注意状态评估方法，其特征在于，所述步骤S102中，所述其他生理信号包括心电、皮电以及肌电信号。
5.一种基于脑机接口和多模态信号的注意状态评估系统，其特征在于，实现如权利要求1至4任一项所述的基于脑机接口和多模态信号的注意状态评估方法，
6.根据权利要求5所述的一种基于脑机接口和多模态信号的注意状态评估系统，其特征在于，所述脑功能区动态图采用皮尔逊相关系数来定义；给定输入其中Nsingle表示单个模态的导联节点数，r表示每个导联信号的特征维度，则该输入的脑功能区动态图为Abr，其中对于p,q∈{1,…,Nsingle},Abr-pq可由下式计算：
7.根据权利要求6所述的一种基于脑机接口和多模态信号的注意状态评估系统，其特征在于，所述多模态信号功能连接动态图中，对于同一个任务的多模态信号，首先通过特征映射的方式将多模态信号进行特征对齐，然后给定多模态信号输入其中Nmm为多模态信号导联节点总数，r为每个导联信号的对齐后的特征维度，则该输入的多模态功能连接动态图为Amm，其中对于p,q∈{1,…,Nsingle},Amm-pq可由下式计算：
8.根据权利要求7所述的一种基于脑机接口和多模态信号的注意状态评估系统，其特征在于，所述特征学习模块采用Transformer架构下的基于多头注意力机制的Encoder框架对所述多区域动态图卷积网络提取到的相关性特征进行学习和强调与目标任务相关的相关性特性，得到经过由n个自注意力模块组成的Encoder输出Attentionn；第i个自注意力模块的输入Vi为第i-1个自注意力模块的输入即Vi＝Attentioni-1，第i个自注意力模块的输出Attentioni可由下式计算得到：
...【技术特征摘要】
1.一种基于脑机接口和多模态信号的注意状态评估方法，包括信号采集、特征提取阶段、特征学习阶段和注意状态评估阶段，其特征在于，还包括构图阶段；所述构图阶段包括以下步骤：
2.根据权利要求1所述的一种基于脑机接口和多模态信号的注意状态评估方法，其特征在于，所述步骤s101中的注意评估子任务范式为注意选择、注意保持、注意分配、注意控制、注意广度5个维度来评估受试者的注意能力。
3.根据权利要求1所述的一种基于脑机接口和多模态信号的注意状态评估方法，其特征在于，所述步骤s102中，所述脑功能区动态图将大脑前额叶位置的所有主要导联组成主要作用区，其他辅助功能区根据相对位置与对不同目标子任务的辅助贡献程度与主功能区进行相关性连接，即初始化图邻接关系矩阵。
4.根据权利要求1或3所述的一种基于脑机接口和多模态信号的注意状态评估方法，其特征在于，所述步骤s102中，所述其他生理信号包括心电、皮电以及肌电信号。
5.一种基于脑机接口和多模态信号的注意状态评估系统，其特征在于，实现如权利要求1至4任一项所述的基于脑机接口和多模态信号的注意状态评估方法，包括：
6.根据权利要求5所述的一种基于脑机接口和多模态信号的注意状态评估系统，其特征在于，所述脑功能区动态图采...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。