一种多模态脑机接口的半监督训练方法技术

本发明专利技术公开了一种多模态脑机接口的半监督训练方法，步骤：脑电信号处理模型和肌电信号处理模型的预训练；多模态信号处理模型的训练：多模态信号处理模型包括脑电信号处理模型和肌电信号处理模型，多模态信号处理模型的输入为多模态信号数据组，多模态信号处理模型的输出为多模态信号数据组对应的标签信息，多模态信号数据组包括同一时刻的肌电信号数据和脑电信号数据，同一时刻的肌电信号数据和脑电信号数据分别输入肌电信号处理模型和脑电信号处理模型所得的输出相同。本发明专利技术应用半监督学习方法并构建生理信号与脑电信号的深层次协同互补关系，大幅度降低所需的计算校准时间和准确标签量，应用前景好。应用前景好。应用前景好。

【技术实现步骤摘要】
一种多模态脑机接口的半监督训练方法


[0001]本专利技术涉及脑机接口、多模态分析、康复训练、半监督
，涉及一种多模态脑机接口的半监督训练方法。

技术介绍

[0002]脑机接口(Brain Computer Interface，BCI)，指在人或动物大脑与外部设备之间创建的直接连接，实现脑与设备的信息交换。脑机接口技术的应用前景广泛，不仅其能够在智能家居、环境交互、游戏娱乐等诸多领域发挥作用，而且更能够在运动康复、神经干预等领域大展身手。
[0003]在当前的EEG(脑电信号)研究领域，主流为基于脑电的脑机接口系统。但由于脑电图的空间分辨率极低，导致基于脑电的脑机接口系统对精细肢体运动的辨别能力差。为解决这一问题，在实际康复系统的搭建过程中搭建混合信号的脑机接口引入肌电信号来分析识别精细的肢体运动。但是，大多数现有的混合脑机接口系统只是简单整合了脑电和肌电的分析结果，这通常需要大量准确的标签和大量的计算校准时间来计算每对脑电和肌电通道之间的相关性，却忽略了脑电和肌电整体作为生理信号，所代表的运动意图与运动执行之间的协同互补性。
[0004]因此，开发一种所需训练集少且有效关联运动意图与运动执行的混合脑机接口系统极具现实意义。

技术实现思路

[0005]由于现有技术存在上述缺陷，本专利技术提供了一种所需训练集少且有效关联运动意图与运动执行的混合脑机接口系统，具体为一种多模态脑机接口的半监督训练方法，克服了当前混合脑机接口系统需要大量准确的标签和大量的计算校准时间、无法有效关联运动意图与运动执行的缺陷。
[0006]为了实现上述目的，本专利技术提供以下技术方案：
[0007]一种多模态脑机接口的半监督训练方法，其步骤如下：
[0008](1)脑电信号处理模型和肌电信号处理模型的预训练：
[0009]使用第一训练数据集分别对脑电信号处理模型和肌电信号处理模型进行预训练，所述第一训练数据集中的脑电信号数据和肌电信号数据对应的标签信息均已知；
[0010]所述脑电信号处理模型的预训练是指以第一训练数据集中的脑电信号数据作为输入，以所述脑电信号数据对应的已知标签信息作为理论输出，不断调整脑电信号处理模型的参数；
[0011]所述肌电信号处理模型的预训练是指以第一训练数据集中的肌电信号数据作为输入，以所述肌电信号数据对应的已知标签信息作为理论输出，不断调整肌电信号处理模型的参数；
[0012](2)多模态信号处理模型的训练，所述多模态信号处理模型包括脑电信号处理模
型和肌电信号处理模型，多模态信号处理模型的输入为多模态信号数据组，多模态信号处理模型的输出为多模态信号数据组对应的标签信息，所述多模态信号数据组包括同一时刻的肌电信号数据和脑电信号数据，所述多模态信号处理模型中脑电信号处理模型和肌电信号处理模型之间的关系为同一时刻的肌电信号数据和脑电信号数据分别输入肌电信号处理模型和脑电信号处理模型所得的输出相同；在多模态信号处理模型中脑电信号处理模型和肌电信号处理模型相对于被赋予了权重，多模态信号处理模型的训练过程不仅对脑电信号处理模型和肌电信号处理模型的参数进行调整，而且将对权重进行优化，进而获取高精度的多模态信号处理模型，在多模态信号处理模型应用时将同一时刻的肌电信号数据和脑电信号数据输入多模态信号处理模型即可获取一标签信息；
[0013](2.1)选取第二训练数据集中的某一数据组，分别将数据组中的肌电信号数据和脑电信号数据输入包括预训练的肌电信号处理模型和预训练的脑电信号处理模型的多模态信号处理模型，对其进行训练；
[0014]所述第二训练数据集中一数据组包括同一时刻的肌电信号数据及脑电信号数据，第二训练数据集中的脑电信号数据和肌电信号数据对应的标签信息均未知；
[0015](2.2)重复步骤(2.1)直至第二训练数据集中所有的数据组均被选取。
[0016]本专利技术为了更好的解决自发脑电领域的多模态信号分析问题，对于整个网络模型应用半监督学习方法，即首先使用肌电等生理信号的特征模式或是脑电信号的特征模式，作为模型的半监督学习任务的监督信息，使得模型学习到抽象的多模态信号特征模式；接下来使用具体的运动想象任务的指令，作为模型的监督学习任务的标签，此时模型利用在半监督学习任务中学习到的抽象的多模态信号特征模式来辅助对于具体的运动想象任务的特征模式的学习，因而模型将更高效快速的完成监督学习任务并学习得到更强的性能表现。
[0017]对于精细的肢体运动任务，本专利技术的基于半监督学习的混合脑机接口框架，对于脑电信号和肌电信号深层次协同互补性特征的分析方法，大幅度降低所需的计算校准时间和准确标签量。
[0018]作为优选的技术方案：
[0019]如上所述的一种多模态脑机接口的半监督训练方法，所述脑电信号处理模型和肌电信号处理模型为参数相同或不同的同类模型。
[0020]如上所述的一种多模态脑机接口的半监督训练方法，所述脑电信号处理模型为基于逐步学习的半监督学习框架。
[0021]如上所述的一种多模态脑机接口的半监督训练方法，所述脑电信号处理模型包括用于信号特征提取的第一深度学习模块和用于特征分类的第二深度学习模块。
[0022]如上所述的一种多模态脑机接口的半监督训练方法，所述第一深度学习模块与第二深度学习模块在同一个深度学习框架下学习更新。
[0023]如上所述的一种多模态脑机接口的半监督训练方法，步骤(2)中，按照置信度大小从大到小的顺序依次选取数据组进行训练。本专利技术通过所设计的假定标签生成公式，标签采样方案，逐步学习计划，基于半监督学习框架，通过提取无标签脑电和肌电样本的深层次特征，来辅助引导有标签样本的学习过程。
[0024]如上所述的一种多模态脑机接口的半监督训练方法，所述第二训练数据集的数据
组是通过脑机接口实时获取的，即第二训练数据集中的大量数据可通过实时获得，利用第二训练数据集的数据能够有效提高多模态信号处理模型的精度。
[0025]以上技术方案仅为本专利技术的一种可行的技术方案而已，本专利技术的保护范围并不仅限于此，本领域技术人员可根据实际需求合理调整具体设计。
[0026]上述专利技术具有如下优点或者有益效果：
[0027](1)本专利技术通过导入半监督学习方法，可以辅助解决自发脑电信号领域的大量数据缺乏精确标注的标签的问题，并进一步提升脑机接口系统对于大量的无标签数据的学习和理解能力，从而提升整个脑机接口系统的泛化能力和实用性，其可以有效的减少混合脑机系统所需的计算校准时间和准确标签量；
[0028](2)本专利技术相较于单纯基于脑电信号的脑机接口系统，基于多模态信号的脑机接口系统可以综合的分析受试的多种生理信号状态，对于复杂的现实应用场景具有更强的适应能力，更加适合于应用于真实的生活场景中；
[0029](3)本专利技术从多个生理学角度综合分析受试的身体状态与思维活动，具有更强的泛化能力和更高的可信度，因而被广泛的应用于脑卒中患者康复和驾驶员警觉本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态脑机接口的半监督训练方法，其特征在于：其步骤如下：(1)脑电信号处理模型和肌电信号处理模型的预训练：使用第一训练数据集分别对脑电信号处理模型和肌电信号处理模型进行预训练，所述第一训练数据集中的脑电信号数据和肌电信号数据对应的标签信息均已知；所述脑电信号处理模型的预训练是指以第一训练数据集中的脑电信号数据作为输入，以所述脑电信号数据对应的已知标签信息作为理论输出，不断调整脑电信号处理模型的参数；所述肌电信号处理模型的预训练是指以第一训练数据集中的肌电信号数据作为输入，以所述肌电信号数据对应的已知标签信息作为理论输出，不断调整肌电信号处理模型的参数；(2)多模态信号处理模型的训练，所述多模态信号处理模型包括脑电信号处理模型和肌电信号处理模型，多模态信号处理模型的输入为多模态信号数据组，多模态信号处理模型的输出为多模态信号数据组对应的标签信息，所述多模态信号数据组包括同一时刻的肌电信号数据和脑电信号数据，所述多模态信号处理模型中脑电信号处理模型和肌电信号处理模型之间的关系为同一时刻的肌电信号数据和脑电信号数据分别输入肌电信号处理模型和脑电信号处理模型所得的输出相同；(2.1)选取第二训练数据集中的某一数据组，分别将数据组中的肌电信号数据和脑电信号数据输入包括预训练的肌电信号处理模型和...

【专利技术属性】
技术研发人员：李洁，季洪飞，魏宇轩，
申请(专利权)人：同济大学，
类型：发明
国别省市：