用于步态分类的基于深度学习的多传感器信号融合方法技术

本发明专利技术属于生物特征识别技术领域，具体涉及一种用于步态分类的基于深度学习的多传感器信号融合方法。本发明专利技术通过构建深度神经网络对异常步态进行分类，并利用卷积神经网络对来自IMU惯性传感单元和SEMG表面肌电的多源异构信息源数据进行融合；融合内容包括数据层（CNN输入层）、特征层（CNN池化层1至卷积层2）以及决策层（CNN输出层）融合，从而完备提取多源异构传感器信息，提高分类器分类精度，同时减少数据预处理工作量，提高分类准确度与判别效率。经验证，本发明专利技术在多种异常步态分类任务中分类效果较单模态传感器有显著提升，在实施例中所举异常步态六分类任务中，分类准确率达到99.15%，较单IMU信息源CNN网络提升约三个百分点。

Deep Learning Based Multi-Sensor Signal Fusion Method for Gait Classification

The invention belongs to the technical field of biometric recognition, and specifically relates to a multi-sensor signal fusion method based on deep learning for gait classification. The invention classifies abnormal gait by constructing a depth neural network, and uses convolution neural network to fuse multi-source heterogeneous information source data from IMU inertial sensing unit and SEMG surface electromyography; the fusion content includes data layer (CNN input layer), feature layer (CNN pooling layer 1 to convolution layer 2) and decision layer (CNN output layer), so as to extract multi-source heterogeneity completely. The sensor information is constructed to improve the classification accuracy of the classifier, reduce the workload of data preprocessing, and improve the classification accuracy and discrimination efficiency. It has been proved that the classification effect of the present method in various abnormal gait classification tasks is significantly improved than that of single-mode sensors. In the six abnormal gait classification tasks mentioned in the implementation example, the classification accuracy rate reaches 99.15%, which is about three percentage points higher than that of the single IMU information source CNN network.

【技术实现步骤摘要】
用于步态分类的基于深度学习的多传感器信号融合方法
本专利技术属于生物信号传感
，具体涉及一种用于步态分类的多传感器信号融合方法。
技术介绍
步态指人走路时所表现出来的姿态，是人体重要生物特征之一。异常步态多与病变部位有关，作为反映人体健康状况和行为能力的重要特征，及时获得准确可信的步态信息，训练异常步态分类器对步态异常进行及时预警，且长期对其进行监测与评估，在医疗诊断、疾病预防中具有重要的指导意义。多传感器数据融合MSDF(Multi-sensorDataFusion)技术首先在军事中被广泛使用，近来随着生物医学信息采集技术的日益成熟完善，尤其是可穿戴设备及身体传感网(BodySensorNetwork)的兴起，对医学信号的多传感器融合引起了关注。目前主流的步态识别方法主要分基于视频及图像处理的计算机视觉方案和基于步道与穿戴式传感器如IMU的传感器方案。基于传感器有基于下肢运动信息、基于下肢表面肌电、基于足底压力分布等众多单传感器方案，但单一传感器与多传感器相比数据单薄，不能获取对象完整、全面的信息。
技术实现思路
本专利技术的目的在于提出一种分类精度高、计算复杂度低的用于步态分类的多传感器信号融合方法。本专利技术提出的用于步态分类的多传感器信号融合方法，是基于深度神经网络技术的，其通过构建深度神经网络对异常步态进行分类，并利用神经网络对多信息源数据的数据层、特征层、决策层进行融合，从而完备提取多源异构传感器信息，提高分类器分类精度。具体步骤如下：步骤一，采集正常步态信息。利用穿戴于人体的IMU(惯性传感单元)模块与SEMG(表面肌电)模块采集人体正常行走时的信号，得到正常步态三轴加速度信息及下肢肌群表面肌电信息；步骤二，采集异常步态信息。利用穿戴于人体的IMU采集人体模拟典型异常步态行走时的信号，得到异常步态三轴加速度信息及下肢肌群表面肌电信息；步骤三，数据预处理与数据层融合。将来自两种传感器的原始各通道数据根据时间戳做数据对齐，将IMU数据与EMG数据滤波后进行归一化处理；根据目标典型行走步频将原始数据各自做开窗切割预处理，并根据步态类别将各数据队列打上相应标签，得到分别为IMU、SEMG数据的两组数据标签对；其中，IMU三轴数据的组内时间戳对齐，SEMG多通道数据的组内时间戳对齐，以及IMU、SEMG数据的组间时间戳对齐；步骤四，搭建特征融合深度卷积神经网络(CNN)，该CNN网络为六层结构，卷积层一A与池化层一A全连接，卷积层一B与池化层一B全连接，池化层一A与池化层一B融合至卷积层二，卷积层二连接池化层二，池化层二连接全连接隐藏层，全连接隐藏层连接至全连接输出层；定义两个并列的卷积层一(卷积层一A，卷积层一B)、池化层一，定义一个卷积层二、池化层二，定义全连接层及各激活函数；步骤五，将步骤三中得到的数据标签对分成训练集与测试集，将时间戳对齐后的IMU与SEMG数据成组分别送入步骤四中的卷积层一(IMU进入卷积层一A，SEMG进入卷积层一B)进行训练；数据在卷积层二完成特征级融合；步骤六，重复步骤三至步骤五三次，得到三个模型；步骤七，训练完成后利用测试集评估模型，将三个模型的预测结果做多数判决选举，完成数据决策层融合。本专利技术步骤一、二中，所述IMU采集单元可安置但不限于小腿、鞋中、腰间，但要求正常步态与异常步态的安装方式一致。本专利技术步骤一、二中，所述SEMG采集单元可安置但不限于腓肠肌肌腹、胫前肌肌腹，但要求正常步态与异常步态的安装方式一致。本专利技术步骤二中，所述典型异常步态包括但不限于偏瘫步态、帕金森步态、鸭步步态、跨阈步态、双瘫步态。本专利技术步骤三中，所述将原始数据各自做开窗切割，其数据窗长度典型值为但不限于两个步态周期，窗间逐段步进值可取但不限于开窗长度的四分之一，所述标签形式为但不限于独热编码。本专利技术步骤四中，所述卷积层一A与卷积层一B的输入矩阵Shapecov1A与Shapecov1B定义为步骤三中每段数据窗(数据信源通道数，当前采样频率下来自各自信号数据的采样点数)也即：Shapecov1A：(NIMU，Twindows*fc)Shapecov1B：(NSEMG，Twindows*fc)其中，NIMU为IMU数据通道数，NSEMG为SEMG数据通道数，Twindows为数据窗时域长度，fc为当前采样频率。所述输出层结点数定义为当前模型中步态种类数，也即一种正常步态与所有异常步态之和。所述CNN网络的优化算法可为但不限于Adam优化器。所述各层激励函数可为但不限于ReLU函数、Sigmod函数、tanh函数，输出层激励函数为Softmax函数。所述CNN网络的损失函数为多类对数损失函数。本专利技术步骤七中，决策层融合的实现方式为三模型多数表决制。本专利技术的有益效果是，利用CNN深度神经网络完成下肢运动加速度信息与下肢表面肌电信息的数据层与特征层融合，利用多CNN模型多数选举完成数据的决策层融合，从而在异常步态分类器的构建中充分利用IMU单元与SEMG单元多源异构传感器的数据，提高分类器准确度。经验证，本模型在多种异常步态分类任务中分类效果较单模态传感器有显著提升。如在本专利技术实施例中所举异常步态六分类任务中，分类准确率可达到99.15％，较单IMU信息源CNN网络提升约三个百分点。附图说明图1为本专利技术用于步态分类的基于深度卷积神经网络的多传感器信号融合方法结构图。图2为本专利技术搭建的深度卷积神经网络的结构图。图3为本专利技术实施例中送入神经网络的一段信号窗所含预处理后的加速度传感器数据。图4为本专利技术实施例中送入神经网络的一段信号窗所含预处理后的表面肌电数据。图5为本专利技术实施例中偏瘫步态(划圈步态)下加速度信号示例(截取10s)。图6为本专利技术实施例中帕金森步态(慌张步态)下加速度信号示例(截取10s)。图7为本专利技术实施例中臀中肌肌病步态(鸭步步态)。图8为本专利技术实施例中跨阈步态下加速度信号示例(截取10s)。图9为本专利技术实施例中双瘫步态(剪刀样步态)下加速度信号示例(截取10s)。图10为实施例中训练7轮后模型在在训练集中的ROC曲线。图11为实施例中训练7轮后模型在测试集中的混淆矩阵。具体实施方式下面结合附图并举较佳实施例，对本专利技术进行详细描述。本专利技术提供了一种用于步态分类的基于深度卷积神经网络的多传感器信号融合方法，方法结构示意图如图1所示。该方法采用如下步骤实现：步骤一，采集正常步态信息。将IMU与SEMG硬件采集系统通过绑带固定于左右小腿外侧，其中IMUY轴与水平面垂直，X轴与人体冠状面垂直，Z轴与人体矢状面垂直。SEMG两通道分别贴于腓肠肌肌腹与胫前肌肌腹，每通道两片电极间距4厘米，参考电极贴于腓骨外踝处皮肤。设置系统采样率为512Hz，设置IMU加速度计灵敏度为±2g，采集人体正常行走时的运动信号，采集步数不少于100步，得到正常步态下的左右下肢三轴加速度信息以及两块关键肌肉的表面肌电信息。步骤二，采集异常步态信息。IMU以及SEMG硬件采集系统放置与采集流程同步骤一，采集异常步态下的左右下肢三轴加速度信息以及两块关键肌肉的表面肌电信息。在本实施例中从肌病、骨病、大脑损伤等常见致病因导致的异常步态中选取五种典型异常步态进行模拟，分别为偏瘫步态(划圈步态)、帕金森步态(慌张步态)、臀中肌肌本文档来自技高网...

【技术保护点】
1.一种用于步态分类的基于深度学习的多传感器信号融合方法，其特征在于，通过构建深度神经网络对异常步态进行分类，并利用神经网络对多信息源数据的数据层、特征层、决策层进行融合，从而完备提取多源异构传感器信息，具体步骤如下：步骤一，采集正常步态信息：利用穿戴于人体的IMU模块与SEMG模块采集人体正常行走时的信号，得到正常步态三轴加速度信息及下肢肌群表面肌电信息；步骤二，采集异常步态信息：利用穿戴于人体的IMU采集人体模拟典型异常步态行走时的信号，得到异常步态三轴加速度信息及下肢肌群表面肌电信息；步骤三，数据预处理与数据层融合：将来自两种传感器的原始各通道数据根据时间戳做数据对齐，将IMU数据与EMG数据滤波后进行归一化处理；根据目标典型行走步频将原始数据各自做开窗切割预处理，并根据步态类别将各数据队列打上相应标签，得到分别为IMU、SEMG数据的两组数据标签对；其中，IMU三轴数据的组内时间戳对齐，SEMG多通道数据的组内时间戳对齐，以及IMU、SEMG数据的组间时间戳对齐；步骤四，搭建特征融合深度卷积神经网络(CNN)，该CNN网络为六层结构：卷积层一A与池化层一A全连接，卷积层一B与池化层一B全连接，池化层一A与池化层一B融合至卷积层二，卷积层二连接池化层二，池化层二连接全连接隐藏层，全连接隐藏层连接至全连接输出层；定义两个并列的卷积层一：卷积层一A，卷积层一B，定义池化层一，定义一个卷积层二、池化层二，定义全连接层及各激活函数；步骤五，将步骤三中得到的数据标签对分成训练集与测试集，将时间戳对齐后的IMU与SEMG数据成组分别送入步骤四中的卷积层一：IMU进入卷积层一A，SEMG进入卷积层一B；进行训练；数据在卷积层二完成特征级融合；步骤六，重复步骤三至步骤五三次，得到三个模型；步骤七，训练完成后利用测试集评估模型，将三个模型的预测结果做多数判决选举，完成数据决策层融合。...

【技术特征摘要】
1.一种用于步态分类的基于深度学习的多传感器信号融合方法，其特征在于，通过构建深度神经网络对异常步态进行分类，并利用神经网络对多信息源数据的数据层、特征层、决策层进行融合，从而完备提取多源异构传感器信息，具体步骤如下：步骤一，采集正常步态信息：利用穿戴于人体的IMU模块与SEMG模块采集人体正常行走时的信号，得到正常步态三轴加速度信息及下肢肌群表面肌电信息；步骤二，采集异常步态信息：利用穿戴于人体的IMU采集人体模拟典型异常步态行走时的信号，得到异常步态三轴加速度信息及下肢肌群表面肌电信息；步骤三，数据预处理与数据层融合：将来自两种传感器的原始各通道数据根据时间戳做数据对齐，将IMU数据与EMG数据滤波后进行归一化处理；根据目标典型行走步频将原始数据各自做开窗切割预处理，并根据步态类别将各数据队列打上相应标签，得到分别为IMU、SEMG数据的两组数据标签对；其中，IMU三轴数据的组内时间戳对齐，SEMG多通道数据的组内时间戳对齐，以及IMU、SEMG数据的组间时间戳对齐；步骤四，搭建特征融合深度卷积神经网络(CNN)，该CNN网络为六层结构：卷积层一A与池化层一A全连接，卷积层一B与池化层一B全连接，池化层一A与池化层一B融合至卷积层二，卷积层二连接池化层二，池化层二连接全连接隐藏层，全连接隐藏层连接至全连接输出层；定义两个并列的卷积层一：卷积层一A，卷积层一B，定义池化层一，定义一个卷积层二、池化层二，定义全连接层及各激活函数；步骤五，将步骤三中得到的数据标签对分成训练集与测试集，将时间戳对齐后的IMU与SEMG数据成组分别送入步骤四中的卷积层一：IMU进入卷积层一A，SEMG进入卷积层一B；进行训练；数据在卷积层二完成特征级融合；步骤六，重复步骤三至步骤五三次，得到三个模型；步骤七，训练完成后利用测试集评估模型，将三个模型的预测结果做多数判决选举，完成数据决策层融合。2.根据权利要求1所述的多传感器信号融合方法，其特征在于，步骤一、二中所述IMU采集单元安置于小腿、鞋中、腰间，正常步态与异常步态的安装方式一致；所述SEMG采集单元安置于腓肠肌肌腹、胫前肌肌腹，正常步态与异常...

【专利技术属性】
技术研发人员：殷书宝，陈炜，朱航宇，王心平，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31