【技术实现步骤摘要】
本专利技术涉及脑机接口的脑电图信号，具体为一种用于高性能脑机接口的脑电图信号通用表示的系统和方法。
技术介绍
1、脑电图(electroencephalogram，eeg)，eeg是一种通过记录大脑皮层的电信号来动态反映大脑功能状态的技术。
2、eeg是研究大脑活动和功能的重要数据，而由于其非侵入性和便携性，在脑机接口bci应用中也占有不可替代的地位，然而，由于目前eeg信号的低信噪比、大的个体间变异性以及跨任务的大幅度变化，使得eeg信号的极低信噪比和任务中复杂的大脑活动使得使用掩码自编码器学习抽象特征变得困难，这在nlp(natural language processing)和cv(computer vision)中很常见，nlp和cv是人工智能领域中的两个重要分支，nlp是研究如何使计算机能够理解、分析和生成人类自然语言的学科，涉及到对文本语言的处理和理解，包括语言的语法、语义、语用等方面吗，nlp的应用非常广泛，包括机器翻译、文本分类、情感分析、问答系统等，cv则是研究如何使计算机能够理解和处理图像和视频的学科，它的目标是通过模仿人类视觉系统的方式，使计算机能够对图像和视频做出理解、识别和分析，cv的研究领域包括图像分类、目标检测、图像分割、人脸识别等。
3、由于不同eeg采集设备的采样率不一致以及电极通道位置的差异，通过卷积编码器提取初始特征无法解耦电极通道和eeg信号之间的相关性，这使得模型在鲁棒性和可扩展性方面存在显著缺陷，导致一些基于eeg的方法仍难以实际应用；
4、因此，基
技术实现思路
1、本专利技术意在提供一种用于高性能脑机接口的脑电图信号通用表示的系统和方法，以解决现有技术由于不同eeg采集设备的采样率不一致以及电极通道位置的差异，通过卷积编码器提取初始特征无法解耦电极通道和eeg信号之间的相关性，这使得模型在鲁棒性和可扩展性方面存在显著缺陷的问题。
2、为了实现上述目的，本专利技术提供如下技术方案：
3、一种用于高性能脑机接口的脑电图信号通用表示的系统，包括eegpt结构，eegpt结构包括分块、掩码、嵌入操作，以及编码器模块、动量编码器模块、预测器模块和重构器模块。
4、进一步的，所述动量编码器的结构与编码器结构相同。
5、进一步的，提出了一种用于高性能脑机接口的脑电图信号通用表示的方法，eegpt结构包括将输入脑电信号分成补丁块记为pi,j，通过掩蔽50％的时间和80％的通道的补丁将补丁划分掩码部分和非掩码部分，然后通过局部时空嵌入方法将其标记化为tokeni,j，编码器处理掩码部分，为掩码部分中的每个时间段提取由组成的掩码特征encj，其中为总结标记，预测器为每个时间段预测与动量编码器输出mencj一致的特征predj。
6、进一步的，所述eegpt结构能够根据预测器和编码器提取的特征，重建器生成脑电信号reci,j，对应重构非掩码部分。
7、进一步的，包括时空表示对齐方法，所述时空表示对齐方法的步骤包括：
8、s1-1：编码器整合解耦：采用的编码器和预测器将空间维度和时间维度的特征解耦，编码器为enc，enc在时间j所有属于掩码部分的标记为tokeni,j作为输入，并计算编码器的输出特征encj；
9、
10、s1-2：预测器模块预测所有补丁块的特征：预测器pred以编码器输出的掩码部分补丁块的特征encj，加上时间位置信息posj作为输入，来预测所有补丁块的特征，嵌入和解嵌入在输入和输出上线性进行，采用旋转位置嵌入法生成posj以引入相对位置信息和时间信息；
11、
12、s1-3：动量编码器模块：动量编码器以时间j的所有tokeni,j为输入，并计算相应动量编码器的输出mencj；
13、动量编码器在时间j所有属于掩码和非掩码部分标记为：tokeni,j；
14、
15、s1-4：对齐损失函数采用基于均方误差mse的对齐损失来实现时空信息表示的对齐，ln表示归一化；
16、动量编码器的输出表示为：mencj；
17、
18、进一步的，包括基于掩码的重构方法，所述基于掩码的重构方法的步骤包括：
19、s2-1：重构器模块：重构器rec利用编码器编码的掩码部分的编码器的输出特征encj和预测器预测的时间位置为posj的非掩码部分的特征predj来生成重构补丁recu,t；
20、重构器表示为：rec；
21、编码器的输出特征表示为：encj；
22、预测器预测的时间位置表示为：posj
23、预测器每个时间段预测与动量编码器输出mencj一致的特征表示为：predj；
24、
25、s2-2：重构损失函数使用基于均方误差的重构损失来完成基于掩码的重构任务；
26、脑电信号表示为：reci,j；
27、归一化表示为：ln；
28、脑电信号分成补丁块表示为：pi,j；
29、
30、s2-3：预训练损失函数：完整的预训练损失通过对和求和得到；
31、重构损失函数表示为：
32、对齐损失函数表示为：
33、
34、进一步的，包括局部时空嵌入方法，所述局部时空嵌入方法的步骤包括：
35、s4-1：首先在时空维度上对脑电信号进行分块和嵌入，然后将其送入编码器；
36、s4-2：定义补丁块：输入的脑电信号表示为：
37、x∈rm×t
38、脑电信号通道集表示为：
39、
40、其中，m是通道数，t是时间维度上的采样点数，d是补丁的时间长度，n＝t/d是时间补丁的数量，其中ci是每个通道的名称；
41、pi，j＝xi，(j-1)d：jd
42、脑电信号分成补丁块表示为：pi,j；
43、脑电信号在时空维度上被分割成大小相等的片段patch，如pi,j,i∈{1,2,…,m},j∈{1,2,…,n}；
44、s4-3：定义token令牌：embed结合信道嵌入信息对补丁进行线性嵌入，构建一个包含所有可学习的信道嵌入向量的编码本：
45、
46、以及从信道名称集到信道嵌入channel embedding特征的映射r：
47、r:
48、补丁内容的线性嵌入方程为：
49、embed(pi,j)＝wppi,j+bp
50、嵌入的标记表示为tokeni,j：
51、
本文档来自技高网...
【技术保护点】
1.一种用于高性能脑机接口的脑电图信号通用表示的系统，其特征在于：包括EEGPT结构，所述EEGPT结构包括分块、掩码、嵌入操作，以及编码器模块、动量编码器模块、预测器模块和重构器模块；
2.根据权利要求1所述的一种用于高性能脑机接口的脑电图信号通用表示的系统，其特征在于：所述动量编码器的结构与所述编码器结构相同。
3.根据权利要求1所述的一种用于高性能脑机接口的脑电图信号通用表示的方法，其特征在于：所述EEGPT结构包括将输入脑电信号分成补丁块记为pi,j，通过掩蔽50％的时间和80％的通道的补丁将补丁划分掩码部分和非掩码部分，然后通过局部时空嵌入方法将其标记化为tokeni,j，编码器处理掩码部分，为掩码部分中的每个时间段提取由组成的掩码特征encj，其中为总结标记，预测器为每个时间段预测与动量编码器输出mencj一致的特征predj。
4.根据权利要求3所述的一种用于高性能脑机接口的脑电图信号通用表示的方法，其特征在于：所述EEGPT结构用于根据预测器和编码器提取的特征，重建器生成脑电信号reci,j，对应重构非掩码部分。
5
6.根据权利要求5所述的一种用于高性能脑机接口的脑电图信号通用表示的方法，其特征在于：所述步骤S1-2中为了生成属于非掩码的预测特征，使用可学习向量query作为查询标记。
7.根据权利要求5所述的一种用于高性能脑机接口的脑电图信号通用表示的方法，其特征在于：所述步骤S1-3中的每次训练迭代后，编码器的参数都会以0.01的系数累积到动量编码器中。
8.根据权利要求5所述的一种用于高性能脑机接口的脑电图信号通用表示的方法，其特征在于：包括基于掩码的重构方法，所述基于掩码的重构方法的步骤包括：
9.根据权利要求6所述的一种用于高性能脑机接口的脑电图信号通用表示的方法，其特征在于：包括局部时空嵌入方法，所述局部时空嵌入方法的步骤包括：
10.根据权利要求7所述的一种用于高性能脑机接口的脑电图信号通用表示的方法，其特征在于：包括两种微调方法，所述微调方法包括：
...【技术特征摘要】
1.一种用于高性能脑机接口的脑电图信号通用表示的系统，其特征在于：包括eegpt结构，所述eegpt结构包括分块、掩码、嵌入操作，以及编码器模块、动量编码器模块、预测器模块和重构器模块；
2.根据权利要求1所述的一种用于高性能脑机接口的脑电图信号通用表示的系统，其特征在于：所述动量编码器的结构与所述编码器结构相同。
3.根据权利要求1所述的一种用于高性能脑机接口的脑电图信号通用表示的方法，其特征在于：所述eegpt结构包括将输入脑电信号分成补丁块记为pi,j，通过掩蔽50％的时间和80％的通道的补丁将补丁划分掩码部分和非掩码部分，然后通过局部时空嵌入方法将其标记化为tokeni,j，编码器处理掩码部分，为掩码部分中的每个时间段提取由组成的掩码特征encj，其中为总结标记，预测器为每个时间段预测与动量编码器输出mencj一致的特征predj。
4.根据权利要求3所述的一种用于高性能脑机接口的脑电图信号通用表示的方法，其特征在于：所述eegpt结构用于根据预测器和编码器提取的特征，重建器生成脑电信号reci,j，对应重构非掩码部分。...
【专利技术属性】
技术研发人员：李海峰，王光宇，刘文超，何雨鸿，徐聪，马琳，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。