一种上肢康复机器人多模态信息融合感知系统技术方案

本发明专利技术公开了一种上肢康复机器人多模态信息融合感知系统，包括初始状态检验模块、信息采集识别模块、意图融合感知模块和运动反馈执行模块。该系统的整体流程为四个模块循环进行，通过对感知系统进行初始化操作，然后基于信号采集电路所得到的运动信号特征信息完成sEMG、EEG、ECG信号的数学模型建立、信号滤波处理以及信号特征表征，再通过建立M‑C‑E融合模型实现运动意图感知融合，从而进入卷积神经网络进行识别分类，最后通过预测模型对驱动单元发出操作指令，以完成患者的上肢康复训练。本发明专利技术系统成熟高效，可满足上肢康复机器人的人机交互和运动康复等功能，具有广泛的应用范围和良好的经济效益。

【技术实现步骤摘要】
一种上肢康复机器人多模态信息融合感知系统
本专利技术属于智能信息处理领域，具体涉及一种信息融合感知系统。
技术介绍
在当今社会老龄化严重的情况下，中风是老年疾病中造成人体残疾并失去生活自理能力的主要因素。人体临床研究表明，运动训练可以诱导皮质层变化和重组。这意味着发生中风后，患者可以基于脑组织的自我恢复以及对受损功能的重新学习与补偿并通过上肢康复机器人进行康复训练。上肢康复机器人作为一种仿生辅助装备，为实现人机耦合的运动控制效果，其关键点是准确感知人体运动意图。因此，准确感知人体运动意图是实现人机耦合的基础，也是实现机器人柔顺控制的难点。目前，基于人体生物电信号的方法运用广泛，多模态信息融合感知是指利用人体产生的脑电信号(EEG)和表面肌电信号(sEMG)以及心电(ECG)等信号解析其中所包含的人体运动信息。开发上肢康复机器人运动意图感知系统的目的是完善人体生物电信号的信号感知处理体系。最大程度地提高运动意图感知准确性成为实现人机耦合的关键。专利技术专利CN104013513A公开了“康复机器人感知系统机器方法”，所述康复机器人感知系统包括以下模块：初始化模块，用于对感知系统进行初始化并启动；环境感知模块，用于对康复机器人进行分析判断并选择合适的行走模式；运动意图感知模块，用于通过传感器采集传感数据，并生成患者的运动意图指令；动作执行模块，用于控制所述康复机器人执行康复训练动作。专利技术专利CN109953761A公开了一种“下肢康复机器人感知系统及运动意图推理方法”能够有效地对分布式异构步态数据源从采集、处理、分析进行组织和管理，利用信息融合、学习推理的方式完成对运动模态的判别、步态子相的分类和补偿力矩值的预测，推理出人体运动意图。但是，现有技术与方法在以下几个方面还有不足：1.缺少生物电信号sEMG-ECG-EEG的多模态信息融合，意图感知分类方法集中在如SVM、BPNN、KNN等单一的识别精度与深度尚浅的分类方法中，缺少多类神经网络协同分类的模式；2.生物电信号采集过程较为简单，导致信号跟随性、实时性较差，单一硬件电路的设计服务于某一特定模态信息中，不具有良好的通用性。
技术实现思路
为了克服现有技术的不足，本专利技术提供了一种上肢康复机器人多模态信息融合感知系统，包括初始状态检验模块、信息采集识别模块、意图融合感知模块和运动反馈执行模块。该系统的整体流程为四个模块循环进行，通过对感知系统进行初始化操作，然后基于信号采集电路所得到的运动信号特征信息完成sEMG、EEG、ECG信号的数学模型建立、信号滤波处理以及信号特征表征，再通过建立M-C-E融合模型实现运动意图感知融合，从而进入卷积神经网络进行识别分类，最后通过预测模型对驱动单元发出操作指令，以完成患者的上肢康复训练。本专利技术系统成熟高效，可满足上肢康复机器人的人机交互和运动康复等功能，具有广泛的应用范围和良好的经济效益。本专利技术解决其技术问题所采用的技术方案如下：一种上肢康复机器人多模态信息融合感知系统，包括初始状态检验模块、信息采集识别模块、意图融合感知模块和运动反馈执行模块；所述初始状态检验模块完成上肢康复机器人中信号采集器件的初始化工作及按照预设值设定系统参数；所述信息采集识别模块包括M-C-E信号采集电路和信号滤波单元；所述M-C-E信号采集电路包括sEMG采集单元、EEG采集单元、ECG采集单元、LDO线性稳压电路、嵌入式控制器、通信电平转换单元和上位机控制单元；所述sEMG采集单元包括多个姿态传感器、多个压力传感器、光电编码器、多个sEMG采集电极和ADC转换电路；所述多个姿态传感器分别放置于患者手心与小臂位置，所述多个压力传感器分别放置于患者小臂周围，所述光电编码器放置于患者肘关节的侧边，所述多个sEMG电极按照等间隔同方向形式分别放置于患者的三角肌不同位置；姿态传感器、压力传感器、光电编码器和sEMG采集电极采集患者身体运动信号，将患者身体运动信号送入嵌入式控制器；所述EEG采集单元包括脑电采集帽、显示器和采集标准检验软件；通过采集标准检验软件设定脑电采集帽的电极与头皮之间的阻抗允许区间，当脑电采集帽的电极与头皮之间的阻抗处于设定的阻抗允许区间内时，将脑电采集帽采集的数据送入嵌入式控制器，并在EEG采集单元的显示器上显示；所述ECG采集单元包括心率IR红外检测装置和心率信号模拟转脉冲电路；所述心率IR红外检测装置采用光电容积传感器，使用时固定在患者指尖位置，采集患者心率模拟信号，将患者心率模拟信号送入心率信号模拟转脉冲信号电路；所述心率信号模拟转脉冲信号电路将接收到的患者心率模拟信号转变为脉冲信号送入所述上位机控制单元，上位机控制单元通过外部中断读取脉冲信号上升沿，并记录两次上升沿的间隔时间，计算出心率的大小；所述LDO线性稳压电路为M-C-E信号采集电路供电；所述嵌入式控制器采用单片机为主控芯片，接收sEMG采集单元和EEG采集单元输入的信号，再将sEMG采集单元和EEG采集单元输入的信号转换为TTL电平信号输出到通信电平转换单元，通信电平转换单元将接收到TTL电平信号转换为USB信号输入到上位机控制单元；所述上位机控制单元接收M-C-E信号采集电路采集的信号，通过信号滤波单元对M-C-E信号采集电路采集的信号进行滤波，然后执行意图融合感知模块，对患者运动意图进行分类及预测，驱动运动反馈执行模块控制上肢康复机器人运行；所述信号滤波单元采用限幅滤波与卡尔曼滤波相结合对M-C-E信号采集电路采集的信号进行组合滤波，包括以下步骤：步骤1-1：将sEMG采集单元的姿态传感器在患者胳膊极限运动角度下所对应的采样电压最大值设定为误差阈值；若sEMG采集单元的姿态传感器当前采样电压值未超过误差阈值，则判定信号有效并输出信号；否则将下一时刻sEMG采集单元的姿态传感器采样电压值与当前采样电压值做差，若差值超过误差阈值判定为噪声信号，将下一时刻sEMG采集单元的姿态传感器采样电压值用当前时刻和下一时刻的采样电压平均值代替；若差值未超过误差阈值则输出信号；步骤1-2：对步骤1-1输出的信号采用带修正因子的自适应卡尔曼滤波算法进行滤波；步骤1-3：重复步骤1-1和步骤1-2对M-C-E信号采集电路采集的信号进行滤波，消除噪声误差信号；所述意图融合感知模块，包括数据预处理、CNN局部特征提取、GRU-CNN时序特征提取与多模态信息融合、分类结果与康复决策输出四个步骤；具体如下：步骤2-1：建立总体融合损失函数模型为：式中：G(x,y,z)为相似度估计函数，即任意三个向量x,y,z的点乘；e,c,m分别为EEG、ECG、sEMG的输入向量，为EEG与ECG、sEMG信息不匹配的嵌入向量，为ECG与EEG、sEMG信息不匹配的嵌入向量，为sEMG与EEG、ECG信息不匹配的嵌入向量，α是softmax函数间隔参数，β是损失阈值，v是神经网络中所有待学习参数已确定的条件，L(α,β)表示在所有待学习参数确定下的最小总体本文档来自技高网...

【技术保护点】
1.一种上肢康复机器人多模态信息融合感知系统，其特征在于，包括初始状态检验模块、信息采集识别模块、意图融合感知模块和运动反馈执行模块；/n所述初始状态检验模块完成上肢康复机器人中信号采集器件的初始化工作及按照预设值设定系统参数；/n所述信息采集识别模块包括M-C-E信号采集电路和信号滤波单元；/n所述M-C-E信号采集电路包括sEMG采集单元、EEG采集单元、ECG采集单元、LDO线性稳压电路、嵌入式控制器、通信电平转换单元和上位机控制单元；/n所述sEMG采集单元包括多个姿态传感器、多个压力传感器、光电编码器、多个sEMG采集电极和ADC转换电路；所述多个姿态传感器分别放置于患者手心与小臂位置，所述多个压力传感器分别放置于患者小臂周围，所述光电编码器放置于患者肘关节的侧边，所述多个sEMG电极按照等间隔同方向形式分别放置于患者的三角肌不同位置；姿态传感器、压力传感器、光电编码器和sEMG采集电极采集患者身体运动信号，将患者身体运动信号送入嵌入式控制器；/n所述EEG采集单元包括脑电采集帽、显示器和采集标准检验软件；通过采集标准检验软件设定脑电采集帽的电极与头皮之间的阻抗允许区间，当脑电采集帽的电极与头皮之间的阻抗处于设定的阻抗允许区间内时，将脑电采集帽采集的数据送入嵌入式控制器，并在EEG采集单元的显示器上显示；/n所述ECG采集单元包括心率IR红外检测装置和心率信号模拟转脉冲电路；所述心率IR红外检测装置采用光电容积传感器，使用时固定在患者指尖位置，采集患者心率模拟信号，将患者心率模拟信号送入心率信号模拟转脉冲信号电路；所述心率信号模拟转脉冲信号电路将接收到的患者心率模拟信号转变为脉冲信号送入所述上位机控制单元，上位机控制单元通过外部中断读取脉冲信号上升沿，并记录两次上升沿的间隔时间，计算出心率的大小；/n所述LDO线性稳压电路为M-C-E信号采集电路供电；/n所述嵌入式控制器采用单片机为主控芯片，接收sEMG采集单元和EEG采集单元输入的信号，再将sEMG采集单元和EEG采集单元输入的信号转换为TTL电平信号输出到通信电平转换单元，通信电平转换单元将接收到TTL电平信号转换为USB信号输入到上位机控制单元；/n所述上位机控制单元接收M-C-E信号采集电路采集的信号，通过信号滤波单元对M-C-E信号采集电路采集的信号进行滤波，然后执行意图融合感知模块，对患者运动意图进行分类及预测，驱动运动反馈执行模块控制上肢康复机器人运行；/n所述信号滤波单元采用限幅滤波与卡尔曼滤波相结合对M-C-E信号采集电路采集的信号进行组合滤波，包括以下步骤：/n步骤1-1：将sEMG采集单元的姿态传感器在患者胳膊极限运动角度下所对应的采样电压最大值设定为误差阈值；若sEMG采集单元的姿态传感器当前采样电压值未超过误差阈值，则判定信号有效并输出信号；否则将下一时刻sEMG采集单元的姿态传感器采样电压值与当前采样电压值做差，若差值超过误差阈值判定为噪声信号，将下一时刻sEMG采集单元的姿态传感器采样电压值用当前时刻和下一时刻的采样电压平均值代替；若差值未超过误差阈值则输出信号；/n步骤1-2：对步骤1-1输出的信号采用带修正因子的自适应卡尔曼滤波算法进行滤波；/n步骤1-3：重复步骤1-1和步骤1-2对M-C-E信号采集电路采集的信号进行滤波，消除噪声误差信号；/n所述意图融合感知模块，包括数据预处理、CNN局部特征提取、GRU-CNN时序特征提取与多模态信息融合、分类结果与康复决策输出四个步骤；具体如下：/n步骤2-1：建立总体融合损失函数模型为：/n...

【技术特征摘要】
1.一种上肢康复机器人多模态信息融合感知系统，其特征在于，包括初始状态检验模块、信息采集识别模块、意图融合感知模块和运动反馈执行模块；
所述初始状态检验模块完成上肢康复机器人中信号采集器件的初始化工作及按照预设值设定系统参数；
所述信息采集识别模块包括M-C-E信号采集电路和信号滤波单元；
所述M-C-E信号采集电路包括sEMG采集单元、EEG采集单元、ECG采集单元、LDO线性稳压电路、嵌入式控制器、通信电平转换单元和上位机控制单元；
所述sEMG采集单元包括多个姿态传感器、多个压力传感器、光电编码器、多个sEMG采集电极和ADC转换电路；所述多个姿态传感器分别放置于患者手心与小臂位置，所述多个压力传感器分别放置于患者小臂周围，所述光电编码器放置于患者肘关节的侧边，所述多个sEMG电极按照等间隔同方向形式分别放置于患者的三角肌不同位置；姿态传感器、压力传感器、光电编码器和sEMG采集电极采集患者身体运动信号，将患者身体运动信号送入嵌入式控制器；
所述EEG采集单元包括脑电采集帽、显示器和采集标准检验软件；通过采集标准检验软件设定脑电采集帽的电极与头皮之间的阻抗允许区间，当脑电采集帽的电极与头皮之间的阻抗处于设定的阻抗允许区间内时，将脑电采集帽采集的数据送入嵌入式控制器，并在EEG采集单元的显示器上显示；
所述ECG采集单元包括心率IR红外检测装置和心率信号模拟转脉冲电路；所述心率IR红外检测装置采用光电容积传感器，使用时固定在患者指尖位置，采集患者心率模拟信号，将患者心率模拟信号送入心率信号模拟转脉冲信号电路；所述心率信号模拟转脉冲信号电路将接收到的患者心率模拟信号转变为脉冲信号送入所述上位机控制单元，上位机控制单元通过外部中断读取脉冲信号上升沿，并记录两次上升沿的间隔时间，计算出心率的大小；
所述LDO线性稳压电路为M-C-E信号采集电路供电；
所述嵌入式控制器采用单片机为主控芯片，接收sEMG采集单元和EEG采集单元输入的信号，再将sEMG采集单元和EEG采集单元输入的信号转换为TTL电平信号输出到通信电平转换单元，通信电平转换单元将接收到TTL电平信号转换为USB信号输入到上位机控制单元；
所述上位机控制单元接收M-C-E信号采集电路采集的信号，通过信号滤波单元对M-C-E信号采集电路采集的信号进行滤波，然后执行意图融合感知模块，对患者运动意图进行分类及预测，驱动运动反馈执行模块控制上肢康复机器人运行；
所述信号滤波单元采用限幅滤波与卡尔曼滤波相结合对M-C-E信号采集电路采集的信号进行组合滤波，包括以下步骤：
步骤1-1：将sEMG采集单元的姿态传感器在患者胳膊极限运动角度下所对应的采样电压最大值设定为误差阈值；若sEMG采集单元的姿态传感器当前采样电压值未超过误差阈值，则判定信号有效并输出信号；否则将下一时刻sEMG采集单元的姿态传感器采样电压值与当前采样电压值做差，若差值超过误差阈值判定为噪声信号，将下一时刻sEMG采集单元的姿态传感器采样电压值用当前时刻和下一时刻的采样电压平均值代替；若差值未超过误差阈值则输出信号；
步骤1-2：对步骤1-1输出的信号采用带修正因子的自适应卡尔曼滤波算法进行滤波；
步骤1-3：重复步骤1-1和步骤1-2对M-C-E信号采集电路采集的信号进行滤波，消除噪声误差信号；
所述意图融合感知模块，包括数据预处理、CNN局部特征提取、GRU-CNN时序特征提取与多模态信息融合、分类结果与康复决策输出四个步骤；具体如下：
步...

【专利技术属性】
技术研发人员：王文东，李翰豪，郭栋，张鹏，孔德智，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61