智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器制造技术

本发明专利技术公开了一种智能假肢脑‑肌电融合感知的并行嵌套与自主择优分类器，通过构造多卷积神经网络分类器，兼顾脑电、肌电、脑‑肌电融合特征的时间跨度特征变化，通过测定脑、肌电活跃程度与特征水平构造脑‑肌电权重指标，并参与分类器的构建与训练，自主智能地适应时间跨度脑‑肌电融合信号感知识别任务，实现最优分类的自主决策，相比于以往单一信号源、不具备智能择优的传统分类器，具有更加优秀的信号解析性能与自适应能力，适用于康复假肢等具有时间跨度模型更新要求的设备。

【技术实现步骤摘要】
智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
本专利技术涉及脑-机接口技术与人工智能领域，具体涉及一种脑-肌电融合感知的并行嵌套与自主择优分类器。
技术介绍
在生机电系统中，脑电信号与肌电信号包含着关于动作意图和肢体行为特征的生理信号，广泛应用于残疾人(康复)假肢、外骨骼等领域；针对残疾患者，代表动作意图的脑电信号识别一直面临着正确率不高、稳定性差、鲁棒性弱的难题，尤其对于单侧肢体动作操控，其区分不同动作的脑电意图来自于单侧大脑运动感觉区，混淆程度高；肌电信号具有比脑电信号更明显的特征，但是往往交互逻辑的限制较大，且针对残疾初期患者，其肌电信号相对微弱；脑-肌电融合感知可以在一定程度上联合考虑脑电信号与肌电信号两者的特征与时间跨度的互补性，以达到取长补短的效果。在脊髓损伤或中风等残疾人的康复过程中，其脑电和肌电的特征与活跃水平会发生变化，具体体现在：康复初期患者肢体可控性极差，肌电信号极其微弱或极其混乱，无有效特征，因此基于肌电信号的意图识别效果较差；而此时意识清醒患者的脑电信号包含了具有有效动作意图的特征，此时的肌电信号很大程度上视作干扰项；随着康复过程的进行，患者肌肉功能获得逐渐恢复，肌肉特征的明显性与有效性增强；到了康复后期，肌电信号意图特征更为明显，而此时相对特征混淆度较大的脑电信号逐渐视作干扰项。因此在康复过程中，对脑-肌电融合分类器的主要要求之一是康复过程时间跨度的适应性与子分类器择优的自主性，并能够在脑-肌电的融合感知中加入时间跨度的权重指标，以适应患者康复过程的要求。传统的脑电或肌电感知分类器大多没有考虑到脑电信号与肌电信号的融合，且没有对时间跨度的信号特征进行分析，主要不足体现在：分类性能较差、自主性不强、智能化弱等，不具有时间跨度自主适应性的分类器难以胜任复杂的脑-肌电融合康复过程。以卷积神经网络为主的深度学习算法为生理信号识别与控制算法提供了理论基础；并行分类器理论用于在一个模型中构建多个具有不同侧重的分类器，以适应不同环境的要求；深度学习的多层结构具有相比传统分类算法更加优秀的性能，且其自学习与自适应能力能够给予脑-肌电融合分类器智能调控与自主判断的能力，为融合生理信号的感知提供新思路。但是，目前报道的并行分类器及基于深度学习的脑-肌电融合分类器，存在以下问题：均是利用基于范式的脑电与肌电特征信息进行标签分类，并未能够考虑受试者个体情况差异(残疾水平差异)、脑-肌电特征差异，也未能够考虑在康复过程(时间跨度)中脑-肌电信号的特征随康复运动的变化，并未能够将脑电与肌电信号权重纳入分类器的自适应调节指标当中，以至于分类器局限性大、融合信号识别性能较差。
技术实现思路
本专利技术的目的在于提供一种智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器，解决了现有脑-肌电融合感知策略与康复智能方面的难题。为达到上述目的，本专利技术采用了以下技术方案：一种脑-肌电融合感知的并行嵌套与自主择优分类器，该并行嵌套与自主择优分类器包括信号接收与预处理模块、信号分流模块、信号活跃性检测模块、脑电信号感知识别模块、肌电信号感知识别模块、脑肌电信号融合感知识别模块和分类器决策模块；所述信号接收与预处理模块接收由脑电与肌电放大器同步采集到的实时脑电信号与肌电信号，并对该脑电信号与肌电信号分别进行预处理，得到与运动感觉相关的Alpha与Beta频段全通道脑电信号以及滤除了与肌肉运动无关特征成分的全通道肌电信号；所述信号分流模块接收经过预处理的实时脑电信号与肌电信号，将该脑电信号与肌电信号通过事件标定在时序上进行偏移校正，以消除由于脑电与肌电放大器的信号传输速率与延迟差异所引起的时序偏移，得到脑肌电实时同步信号，将脑肌电实时同步信号分流为三个用于动作意图感知识别的独立信号，即：脑电信号(具体为脑电实时同步信号)、肌电信号(具体为肌电实时同步信号)、由该脑电信号与肌电信号组成的脑-肌电融合信号；所述信号活跃性检测模块通过对脑电实时同步信号、肌电实时同步信号分别进行活跃性检测，得到反映脑电、肌电的信号强壮程度及特征明显度的脑电活跃性权重指标、肌电活跃性权重指标；所述脑电信号感知识别模块包括通过模型构造和训练而形成的脑电分类器(分类器I)，脑电分类器可以通过脑电实时同步信号的特征提取与特征分类对采集到的脑电信号中的动作意图进行感知识别；所述肌电信号感知识别模块包括通过模型构造和训练而形成的肌电分类器(分类器II)，肌电分类器可以通过肌电实时同步信号的特征提取与特征分类对采集到的肌电信号中的动作意图进行感知识别；所述脑肌电信号融合感知识别模块包括通过特征融合及损失函数修正并对脑-肌电融合特征分类进行训练而形成的脑-肌电融合分类器(分类器III)，所述损失函数修正采用依据脑-肌电权重指标构建的脑-肌电权重分配原则，脑-肌电权重指标由脑电活跃性权重指标和肌电活跃性权重指标以及脑电分类正确率指标(即脑电分类器的分类正确率)和肌电分类正确率指标(即肌电分类器的分类正确率)构成；脑-肌电融合分类器可以通过脑-肌电融合信号的特征提取与特征分类对采集到的脑电信号与肌电信号中的动作意图进行融合感知识别；所述分类器决策模块用于在实际使用过程(非训练过程)中对所述并行嵌套与自主择优分类器输出的分类结果(某个动作意图的对应标签)进行自主决策，即根据决策因子对脑电分类器、肌电分类器、脑-肌电融合分类器(分类器I、II、III)预测的分类结果进行信任度判定，并选择信任度最高的分类结果进行输出；所述决策因子(决策指标)根据对应分类器(分类器I、II、III)的分类正确率确定。分类器决策模块仅对分类器I、II、III的分类结果进行选择，不参与脑电与肌电的动作意图识别训练过程，旨在适应康复过程中由于脑肌电信号变化而导致的各分类器性能差异，从而提高对康复过程脑、肌电信号的解析能力，并确定最终的动作意图。优选的，所述并行嵌套与自主择优分类器的功能实现过程包括分类器I、II、III的模型训练过程和实时分类过程，所述训练过程中，参照上述脑电信号(具体为脑电实时同步信号)、肌电信号(具体为肌电实时同步信号)、脑-肌电融合信号获得对应分类器的训练数据，将训练数据按一定比例划分为训练集与测试集，其中，训练集旨在拟合学习分类器参数，测试集旨在检验分类器性能，例如，利用测试集测试训练过程中的分类正确率(即分类器I、II、III的分类正确率)。优选的，所述训练过程采用的训练方式为剪裁训练，各训练样本组是以试验为单位通过滑动时窗剪裁的方式获得的，即各试验的经过信号分流模块的信号通过滑动时窗拓增数据集(训练集和测试集)：其中，j代表试验j，Xj为试验j待剪裁样本，T为试验j的总采样点数，E为总通道数，T′为剪裁子采样点数，Cj为试验j经剪裁后的训练样本组。优选的，所述信号接收与预处理模块分别进行脑电预处理和肌电预处理，旨在消除实时采集到的同步脑电信号与肌电信号中的伪迹、人为或环境干扰、工频干扰，及与特征无关信号频带信息等；脑电预处理与肌电预处理在处理方式上有所不同，脑电预本文档来自技高网...

【技术保护点】
1.一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：该并行嵌套与自主择优分类器包括脑电信号感知识别模块、肌电信号感知识别模块、脑肌电信号融合感知识别模块和分类器决策模块；/n所述脑电信号感知识别模块包括通过模型构造和训练而形成的脑电分类器，脑电分类器用于通过脑电实时同步信号的特征提取与特征分类对与肌电信号同步采集到的脑电信号中的动作意图进行感知识别；/n所述肌电信号感知识别模块包括通过模型构造和训练而形成的肌电分类器，肌电分类器用于通过肌电实时同步信号的特征提取与特征分类对与脑电信号同步采集到的肌电信号中的动作意图进行感知识别；/n所述脑肌电信号融合感知识别模块包括通过特征融合及损失函数修正并对脑-肌电融合特征分类进行训练而形成的脑-肌电融合分类器，所述损失函数修正采用依据脑-肌电权重指标构建的脑-肌电权重分配原则，脑-肌电权重指标由脑电活跃性权重指标和肌电活跃性权重指标以及脑电分类正确率指标和肌电分类正确率指标构成；脑-肌电融合分类器用于通过脑-肌电融合信号的特征提取与特征分类对同步采集到的脑电信号与肌电信号中的动作意图进行融合感知识别；/n所述分类器决策模块用于对所述并行嵌套与自主择优分类器输出的分类结果进行自主决策，自主决策即根据决策因子对脑电分类器、肌电分类器、脑-肌电融合分类器的分类结果进行信任度判定，并选择信任度最高的分类结果进行输出。/n...

【技术特征摘要】
1.一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：该并行嵌套与自主择优分类器包括脑电信号感知识别模块、肌电信号感知识别模块、脑肌电信号融合感知识别模块和分类器决策模块；
所述脑电信号感知识别模块包括通过模型构造和训练而形成的脑电分类器，脑电分类器用于通过脑电实时同步信号的特征提取与特征分类对与肌电信号同步采集到的脑电信号中的动作意图进行感知识别；
所述肌电信号感知识别模块包括通过模型构造和训练而形成的肌电分类器，肌电分类器用于通过肌电实时同步信号的特征提取与特征分类对与脑电信号同步采集到的肌电信号中的动作意图进行感知识别；
所述脑肌电信号融合感知识别模块包括通过特征融合及损失函数修正并对脑-肌电融合特征分类进行训练而形成的脑-肌电融合分类器，所述损失函数修正采用依据脑-肌电权重指标构建的脑-肌电权重分配原则，脑-肌电权重指标由脑电活跃性权重指标和肌电活跃性权重指标以及脑电分类正确率指标和肌电分类正确率指标构成；脑-肌电融合分类器用于通过脑-肌电融合信号的特征提取与特征分类对同步采集到的脑电信号与肌电信号中的动作意图进行融合感知识别；
所述分类器决策模块用于对所述并行嵌套与自主择优分类器输出的分类结果进行自主决策，自主决策即根据决策因子对脑电分类器、肌电分类器、脑-肌电融合分类器的分类结果进行信任度判定，并选择信任度最高的分类结果进行输出。


2.根据权利要求1所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述训练的过程中采用的训练方式为剪裁训练。


3.根据权利要求1所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述脑电分类器、肌电分类器均采用卷积神经网络分类器的模型结构，脑-肌电融合分类器的模型结构包括嵌套的脑电分类器和肌电分类器的特征提取部分以及融合特征分类部分。


4.根据权利要求3所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述脑电分类器、肌电分类器的输入分别为通道×时间的二维脑电信号、二维肌电信号，脑-肌电融合分类器的输入为二维脑电信号与二维肌电信号的组合；脑电分类器、肌电分类器、脑-肌电融合分类器的全连接层输出经过激活函数处理之后转换为统一的N×1维独热码，其中N为动作意图分类数。


5.根据权利要求3所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述脑电分类器、肌电分类器及脑-肌电融合分类器的反向传播过程采用Adam优化器，学习率为0.003-0.05；脑电分类器、肌电分类器均采用交叉熵作为损失函数；脑-肌电融合分类器所采用的损失函数是在脑电分类器、肌电分类器的损失函...

【专利技术属性】
技术研发人员：张小栋，蒋永玉，陆竹风，张毅，蒋志明，朱文静，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61