基于脑-肌电双模态神经信号的人机交互系统及其方法技术方案

本发明专利技术涉及基于脑‑肌电双模态神经信号的人机交互系统及其方法，属于人机交互系统领域，解决了现有技术中仅使用单一神经生理信号无法实现运动意图的可靠解码的问题。包括：神经信号采集模块，用于采集并输出脑电信号、肌电信号；疲劳预测模块，用于根据肌电信号，判断肌肉是否疲劳；肌电解码模块1，用于在肌肉不疲劳时，通过肌电信号单独识别运动意图信息；脑‑肌电联合解码模块，用于在肌肉疲劳时，对脑电信号和肌电信号进行联合解码，根据脑电解码模块和肌电解码模块2的决策融合结果识别运动意图信息。实现了精准的运动意图识别。

【技术实现步骤摘要】
基于脑-肌电双模态神经信号的人机交互系统及其方法
本专利技术涉及人机交互系统
，尤其涉及一种基于脑-肌电双模态神经信号的人机交互系统及其方法。
技术介绍
基于脑电、肌电等神经生理信号的人机交互技术已广泛用于神经康复工程、娱乐以及军事等领域，可用于控制神经假体帮助截肢病人重建肢体运动功能，也可用于外骨骼、机械臂等外设的控制从而实现人体机能增强。由于大脑容积导体效应，头皮脑电信号微弱，空间分辨率低，且易受周围环境干扰，无法解析人体精细运动意图信息。相比于微弱的脑电信号，肌电信号具有高信噪比、高空间分辨率等优点，对运动的空间定位更准确，使用表面肌电能精确识别多种运动学以及动力学参数。基于肌电信号的神经接口可识别人体多种运动意图，实现神经假体、机械臂的高自由度控制，实时性和准确率高。尽管肌电对运动意图响应迅速，解码正确率高，但是其易受肌肉疲劳影响。肌肉疲劳，指的是当肌肉持续收缩一段时间，肌肉生理特性发生改变，表现为兴奋性、传导性和收缩性的降低，并引起肌肉物理展长性和弹性减弱，肌肉变得不能够产生所需要的力。当产生肌肉疲劳时，肌肉收缩强度明显降低，并且肌电信号的时频以及非线性特征将发生变化。当使用者应用肌电神经接口控制外部设备一段时间后，虽然其自身并不能明显觉察到肌肉状态的变化，但是肌电信号的幅值、频率等特征已经发生改变，从而导致神经接口解码性能降低，影响了外设的使用效果。受限于脑电或肌电的信号特性，仅使用单一神经生理信号无法实现运动意图的可靠、稳定解码，保证外部设备的长时间高效使用。
技术实现思路
鉴于上述的分析，本专利技术旨在提供一种基于脑-肌电双模态神经信号的人机交互系统及其方法，用以解决现有技术中仅使用单一神经生理信号无法实现运动意图的可靠、稳定解码的问题。本专利技术的目的主要是通过以下技术方案实现的：基于脑-肌电双模态神经信号的人机交互系统，包括：神经信号采集模块，用于采集并输出脑电信号、肌电信号；疲劳预测模块，用于根据肌电信号，判断肌肉是否疲劳；肌电解码模块1，用于在肌肉不疲劳时，通过肌电信号单独识别运动意图信息；脑-肌电联合解码模块，用于在肌肉疲劳时，对脑电信号和肌电信号进行联合解码，根据脑电解码模块和肌电解码模块2的决策融合结果识别运动意图信息。本专利技术有益效果如下：本实施例提供的基于脑-肌电双模态神经信号的人机交互系统，通过分析肌电信号疲劳时的肌电信号特性，在肌肉疲劳情况下利用脑-肌电联合解码获取最终的运动意图，充分发挥不同神经生理信号的优点，从而克服肌肉疲劳造成的解码性能降低的问题，最终实现稳定、连续、精准的运动意图识别。在上述方案的基础上，本专利技术还做了如下改进：进一步，所述疲劳预测模块包括中值频率计算模块和AR模型系数计算模块；所述中值频率计算模块，用于利用公式(1)计算当前肌电信号的中值频率MDF：其中，P表示功率谱，i为频率，K为最大频率；所述AR模型系数计算模块，用于根据肌电信号的AR模型，获取AR模型的第一个系数，计算公式：其中，ai为肌电信号x(n-i)的系数，ω(n)为白噪声残差，p为AR模型的阶数。采用上述进一步方案的有益效果是：在疲劳预测模块中，通过计算肌电信号中值频率MDF和AR模型系数，能够得到比较有代表性的肌电信号特性值，同时计算方法比较简单，容易实现。进一步，所述疲劳预测模块还包括疲劳判断模块，所述疲劳判断模块，用于根据中值频率MDF和AR模型的第一个系数a1判断肌肉是否疲劳：若满足MDF≤MDFH且a1≤aH，则肌肉疲劳，否则肌肉不疲劳，其中，MDFH为肌电信号中值频率阈值，aH为肌电信号AR模型第一个系数的阈值。采用上述进一步方案的有益效果是：根据肌电信号特征值判断肌肉是否疲劳，能够得到较为准确的肌肉疲劳判断结果，方便后续根据疲劳预测模型结果选择哪种方式获取运动意图。进一步，肌电解码模块1、肌电解码模块2均包括肌电信号特征提取模块和肌电信号决策模块，所述肌电信号特征提取模块，用于计算肌电信号绝对值均值、波形长度、过零点数和斜率改变次数：绝对值均值计算公式：N为设定时间段内的数据点数；肌电信号波形长度计算公式：过零点数ZC为两个连续肌电信号采样点幅值经过零值的次数；斜率改变次数SSC表示对于三个连续肌电信号采样点斜率变化的次数；所述肌电信号决策模块，用于根据得到的所述肌电信号绝对值均值、波形长度、过零点数和斜率改变次数信息，利用肌电信号模式识别模型，输出肌电解码决策结果。采用上述进一步方案的有益效果是：肌电解码模块通过计算肌电信号的特征值，并根据所述特征值输出最终的肌电解码决策结果。进一步，通过采集不同运动意图下的肌电信号绝对值均值和肌电信号波形长度、过零点数和斜率改变次数信息，将肌电信号绝对值均值、肌电信号波形长度信息、过零点数和斜率改变次数作为训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，得到所述肌电信号模式识别模型。采用上述进一步方案的有益效果是：通过将肌电信号的特征值作为肌电信号模式识别模型训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，能够得到所述肌电信号模式识别模型，为肌电解码模块输出结果提供必要的支撑。进一步，脑电解码模块包括脑电信号特征提取模块和脑电信号决策模块，所述脑电信号特征提取模块，用于根据共空间模式算法得到脑电信号特征提取结果；所述脑电信号决策模块，用于根据所述脑电信号特征提取结果，利用脑电信号模式识别模型，输出脑电解码决策结果。采用上述进一步方案的有益效果是：脑电解码模块通过计算脑电信号的特征值，并根据所述特征值输出最终的脑电解码决策结果。进一步，通过采集不同运动意图下的脑电信号特征提取结果，将脑电信号特征提取结果作为训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，得到所述脑电信号模式识别模型。采用上述进一步方案的有益效果是：通过将脑电信号的特征值作为脑电信号模式识别模型训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，能够得到所述脑电信号模式识别模型，为脑电解码模块输出结果提供必要的支撑。进一步，肌电解码模块1将肌电解码决策结果作为运动意图输出。采用上述进一步方案的有益效果是：当肌肉不疲劳时，由运动意图由肌电解码模块单独输出，有利于较少计算量，同时得到较为准备的运动意图输出结果。进一步，脑-肌电联合识别模块输出结果：Cout＝argmaxc(P(C＝c)P(O1|C＝c)P(O2|C＝c))(5)其中，其中C为运动意图任务类型，P(C＝c)为当运动意图为第c类时的先验概率，O1、O2分别表示脑电解码决策结果、肌电解码模块2的肌电解码决策结果，P(O1|C)和P(O2|C)分别为脑电解码决策结果的类条件概率密度函数、肌电解码决策结果的类条件概率密度函数，计算过程如下式所述：其中，μc,i和σc,i分别表示当任务类型为c时脑电信号决策模块或肌电解码模块2中肌电信号决策模块输出的决策均值和标准差，i∈{1,2}；将脑-肌电联合识别模块输出结果作为运动意图输出。采用上述进一步方案的有益效果是：在肌肉疲劳时，利用肌电信号判断运动意图的准确率下降，此时利用脑电信号和肌本文档来自技高网...

【技术保护点】
1.基于脑‑肌电双模态神经信号的人机交互系统，其特征在于，包括：神经信号采集模块，用于采集并输出脑电信号、肌电信号；疲劳预测模块，用于根据肌电信号，判断肌肉是否疲劳；肌电解码模块1，用于在肌肉不疲劳时，通过肌电信号单独识别运动意图信息；脑‑肌电联合解码模块，用于在肌肉疲劳时，对脑电信号和肌电信号进行联合解码，根据脑电解码模块和肌电解码模块2的决策融合结果识别运动意图信息。

【技术特征摘要】
1.基于脑-肌电双模态神经信号的人机交互系统，其特征在于，包括：神经信号采集模块，用于采集并输出脑电信号、肌电信号；疲劳预测模块，用于根据肌电信号，判断肌肉是否疲劳；肌电解码模块1，用于在肌肉不疲劳时，通过肌电信号单独识别运动意图信息；脑-肌电联合解码模块，用于在肌肉疲劳时，对脑电信号和肌电信号进行联合解码，根据脑电解码模块和肌电解码模块2的决策融合结果识别运动意图信息。2.根据权利要求1所述的基于脑-肌电双模态神经信号的人机交互系统，其特征在于，所述疲劳预测模块包括中值频率计算模块和AR模型系数计算模块；所述中值频率计算模块，用于利用公式(1)计算当前肌电信号的中值频率MDF：其中，P表示功率谱，i为频率，K为最大频率；所述AR模型系数计算模块，用于根据肌电信号的AR模型，获取AR模型的第一个系数，计算公式：其中，ai为肌电信号x(n-i)的系数，ω(n)为白噪声残差，p为AR模型的阶数。3.根据权利要求2所述的基于脑-肌电双模态神经信号的人机交互系统，其特征在于，所述疲劳预测模块还包括疲劳判断模块，所述疲劳判断模块，用于根据中值频率MDF和AR模型的第一个系数a1判断肌肉是否疲劳：若满足MDF≤MDFH且a1≤aH，则肌肉疲劳，否则肌肉不疲劳，其中，MDFH为肌电信号中值频率阈值，aH为肌电信号AR模型第一个系数的阈值。4.根据权利要求1-3中任一项所述的基于脑-肌电双模态神经信号的人机交互系统，其特征在于，肌电解码模块1、肌电解码模块2均包括肌电信号特征提取模块和肌电信号决策模块，所述肌电信号特征提取模块，用于计算肌电信号绝对值均值、波形长度、过零点数和斜率改变次数：绝对值均值计算公式：N为设定时间段内的数据点数；肌电信号波形长度计算公式：过零点数ZC为两个连续肌电信号采样点幅值经过零值的次数；斜率改变次数SSC表示对于三个连续肌电信号采样点斜率变化的次数；所述肌电信号决策模块，用于根据得到的所述肌电信号绝对值均值、波形长度、过零点数和斜率改变次数信息，利用肌电信号模式识别模型，输出肌电解码决策结果。5.根据权利要求4所述的基于脑-肌电双模态神经信号的人机交互系统，其特征在于，通过采集不同运动意图下的肌电信号绝对值均值和肌电信号波形长度、过零点数和斜率改变次数信息，将肌电信号绝对值均值、肌电信号波形长度信息、过零点数和斜率改变次数作为训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，得到所述肌电信号模式识别模型。6.根据权利要求1所述的基于脑-肌电双模态神经信号的人机交互系统，其特征在于，脑电解码模块包括脑电信号特征提取模块和脑电信号决策模块，所述脑电信号特征提取模块，用于根据共空间模式算法得到脑电信号特...

【专利技术属性】
技术研发人员：奕伟波，陈远方，范新安，张利剑，
申请(专利权)人：北京机械设备研究所，
类型：发明
国别省市：北京,11