一种基于图卷积网络的偏瘫步态分类方法技术

本发明专利技术公开了一种基于图卷积网络的偏瘫步态分类方法，包括下述步骤：S1、获取待分析的步态数据，对该步态数据进行预处理；S2、基于图卷积网络构建检测网络模型，并训练该网络模型；S3、将步态数据按关节点结构输入训练好的模型中，得到最后一层的卷积结果；S4、获取最后一层的卷积结果，按特征权重比进行缩放；S5、根据得到的特征缩放结果，在全连接层中进行计算，分别得到该目标是健康人和是偏瘫患者的分。本发明专利技术利用图卷积神经网络自动提取关节点数据特征，增强了抗噪性能，使得分类速度和分类精度有大幅度提高。

A gait classification method of hemiplegia based on graph convolution network

【技术实现步骤摘要】
一种基于图卷积网络的偏瘫步态分类方法
本专利技术属于步态分析的
，具体涉及一种基于图卷积网络的偏瘫步态分类方法。
技术介绍
步态分析(GaitAnalysis)是指对人体步行运动的系统研究，是计算机视觉和模式识别领域中一个热门研究方向。它主要通过特定仪器测量人体的躯体移动，进行人体力学分析和肌肉活动分析。步态分析常常被用于评估和检测一些影响人类行走的因素，也频繁用于医学研究中判断病人的相关疾病的康复状况。早期偏瘫步态分析的分类方法依赖于医生的人工判断，通过判断下肢关键特征的取值范围来确定患者是否偏瘫。如关节的弯曲角度，动量、对地反作用力等。这种方法涉及因素复杂，依赖人工判断，费时费力。现有技术中主要是以机器学习和深度学习为主的统计学习方法，近年机器学习和深度学习的发展迅速，其强大的特征提取能力使得步态分析有了进一步的突破。一些基于机器学习和深度学习的方法被提出，主要有三类方法：以LR，SVM为代表的传统机器学习方法：该类方法能较为有效提取关节点特征，对偏瘫关键特征进行定位，其特点是实现简易，精度较低；以DeepGait为代表的基于深度学习预训练模型方法：这类方法通过卷积网络提取深度步态特征，再基于深度特征进行偏瘫分类。特点是实现复杂，精度较高；以PLSTM为代表的基于LSTM和GEI的方法：这类方法首先将关节点特征输入LSTM，再基于步态轮廓图GEI进行对比进行分类。特点是使用时序特征，精度较高。但是，LR，SVM传统机器学习类方法搭建的模型较为简单，容易受外界条件干扰，提取步态特征的能力有限，分类精度较低；深度学习预训练模型方法基于二维图像信息进行判断，受数据拍摄视角的影响较大，且未能利用三维关节点间的联系，因此难以提取步态特征的空间信息；基于LSTM和GEI的方法侧重于挖掘数据的时序信息，对关节点之间的空间信息没有进一步的提取分析，因此分类精度受限。
技术实现思路
本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于图卷积网络的偏瘫步态分类方法，解决了关节点结构的数据不能直接进行卷积的问题，有效利用了关节点间的空间信息，高效提取了步态特征，实现高精度分类的效果。为了达到上述目的，本专利技术采用以下技术方案：一种基于图卷积网络的偏瘫步态分类方法，包括下述步骤：S1、获取待分析的步态数据，对该步态数据进行预处理；S2、基于图卷积网络构建检测网络模型，并训练该网络模型；所述建立图卷积网络包括：特征邻接矩阵，将输入图像中有联系的特征点连接起来；建立步态图，直接跟步态数据进行矩阵相乘；建立好步态图以后，对每一个节点初始化权重W，对于每一个输入的矩阵H，将矩阵H、图卷积网络G、初始化权重W进行相乘，即可得到每一个节点的特征，在这个过程中，图卷积利用了关节点间的连接信息，能够更好地提取特征，最后得到特征图；训练网络模型的步骤如下：将步态数据输入神经网络，获取分类结果后计算结果与真实值的差距，使用随机梯度下降和反向传播的方法调整网络参数，逐步缩小检测值与真实值的差距；S3、将步态数据按关节点结构输入训练好的模型中，得到最后一层的卷积结果；S4、获取最后一层的卷积结果，按特征权重比进行缩放；S5、根据得到的特征缩放结果，在全连接层中进行计算，分别得到该目标是健康人和是偏瘫患者的得分。作为优选的技术方案，步骤S1中，对该步态数据进行预处理是将数据缺失值补全，采用下述公式：Dataempty＝1/m∑Datai其中，m是每一个人的步态周期数量，Datai是第i个步态周期数据。作为优选的技术方案，步骤S2中，在特征邻接矩阵中，矩阵的每一行代表一类特征，每一列代表一个特定的帧。作为优选的技术方案，步骤S2中，建立步态图的步骤中，D表示degreematrix度矩阵，每一个点D(i，i)代表有多少个点和该点有连接，为了消除近处节点的影响过大，远处节点过小的问题，步态图的建立需要先将邻接矩阵进行归一化操作，即：其中，为A添加自环后的结果，使得节点本身和邻接节点对自身的影响保持一致。作为优选的技术方案，步骤S2中，在图卷积的操作过程中，计算公式为：其中，σ(·)为激活函数，这里指Relu；H为输入矩阵，W为权重因子，为按关节点和步态数据建的图，A为G的邻接矩阵，L为该图卷积网络的层数，输入H，即可得到对应的特征值。作为优选的技术方案，步骤S2中，使用损失函数训练神经网络，定义如下：其中，x表示样本，y表示预测的输出，a表示实际的输出，n表示样本总数量。作为优选的技术方案，步骤S3具体为：将输入特征进行初步归一化，即将其使用减去总体均值，再放进训练好的模型中。输入的特征图H将进入G2步态图中，和G1中的W、相乘，得到第一层的特征图H1，再对特征图放进Relu激活函数中，即将特征图中的负值置0，使得整个网络结构变成非线性结构，增加了模型的拟合能力。H1出来以后再放进另一个步态模块G2中，同理经过W、ReLu后，得到最后的特征图H2，该特征即为最后一层的卷积结果。作为优选的技术方案，步骤S4中，包括下述步骤：S41、使用SVM对每一项步态特征进行粗分类，得到每一项特征的准确率，SVM公式为：s.t.yi(wTxi+b)≥l，i＝1，2，...，m.其中，w为权重因子，b为偏置项，用于计算；yi为分类结果，二分类中只取0,1；xi为输入的步态数据，i代表第i项数据；S42、在全连接层中，对所有节点进行重新排列，并通过全连接网络输出最终分类结果。本专利技术与现有技术相比，具有如下优点和有益效果：1、相较于基于传统机器学习的分类算法，本专利技术利用图卷积神经网络自动提取关节点数据特征，增强了抗噪性能，使得分类速度大幅度提高，分类精度也有一定程度的提升。2、相较于深度学习的分类算法，本专利技术针对关节点数据难以使用传统卷积网络的特性，采用了图卷积神经网络进行训练和预测，更有效地提取了关节点的空间特征，使得分类的性能进一步加强。附图说明图1是本专利技术基于图卷积网络的偏瘫步态分类方法的流程图；图2是本专利技术检测网络模型的示意图；图3是本专利技术图卷积网络结构的示意图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。实施例如图1所示，本实施例基于图卷积网络的偏瘫步态分类方法，包括下述步骤：S1、获取待分析的步态数据，对该步态数据进行预处理；对该步态数据进行预处理主要是将数据缺失值补全，采用下述公式：Dataempty＝1/m∑Datai其中，m是每一个人的步态周期数量，Datai是第i个步态周期数据。数据缺失补全的策略是从同一个人其他完整的步态数据中取平均值，补全该部分为空的数据，再将每一本文档来自技高网...

【技术保护点】
1.一种基于图卷积网络的偏瘫步态分类方法，其特征在于，包括下述步骤：/nS1、获取待分析的步态数据，对该步态数据进行预处理；/nS2、基于图卷积网络构建检测网络模型，并训练该网络模型；/n所述建立图卷积网络包括：/n特征邻接矩阵，将输入图像中有联系的特征点连接起来；/n建立步态图，直接跟步态数据进行矩阵相乘；/n建立好步态图以后，对每一个节点初始化权重W，对于每一个输入的矩阵H，将矩阵H、图卷积网络G、初始化权重W进行相乘，即可得到每一个节点的特征，在这个过程中，图卷积利用了关节点间的连接信息，能够更好地提取特征，最后得到特征图；/n训练网络模型的步骤如下：/n将步态数据输入神经网络，获取分类结果后计算结果与真实值的差距，使用随机梯度下降和反向传播的方法调整网络参数，逐步缩小检测值与真实值的差距；/nS3、将步态数据按关节点结构输入训练好的模型中，得到最后一层的卷积结果；/nS4、获取最后一层的卷积结果，按特征权重比进行缩放；/nS5、根据得到的特征缩放结果，在全连接层中进行计算，分别得到该目标是健康人和是偏瘫患者的得分。/n

【技术特征摘要】
1.一种基于图卷积网络的偏瘫步态分类方法，其特征在于，包括下述步骤：
S1、获取待分析的步态数据，对该步态数据进行预处理；
S2、基于图卷积网络构建检测网络模型，并训练该网络模型；
所述建立图卷积网络包括：
特征邻接矩阵，将输入图像中有联系的特征点连接起来；
建立步态图，直接跟步态数据进行矩阵相乘；
建立好步态图以后，对每一个节点初始化权重W，对于每一个输入的矩阵H，将矩阵H、图卷积网络G、初始化权重W进行相乘，即可得到每一个节点的特征，在这个过程中，图卷积利用了关节点间的连接信息，能够更好地提取特征，最后得到特征图；
训练网络模型的步骤如下：
将步态数据输入神经网络，获取分类结果后计算结果与真实值的差距，使用随机梯度下降和反向传播的方法调整网络参数，逐步缩小检测值与真实值的差距；
S3、将步态数据按关节点结构输入训练好的模型中，得到最后一层的卷积结果；
S4、获取最后一层的卷积结果，按特征权重比进行缩放；
S5、根据得到的特征缩放结果，在全连接层中进行计算，分别得到该目标是健康人和是偏瘫患者的得分。


2.根据权利要求1所述基于图卷积网络的偏瘫步态分类方法，其特征在于，步骤S1中，对该步态数据进行预处理是将数据缺失值补全，采用下述公式：
Dataempty＝1/m∑Datai
其中，m是每一个人的步态周期数量，Datai是第i个步态周期数据。


3.根据权利要求1所述基于图卷积网络的偏瘫步态分类方法，其特征在于，步骤S2中，在特征邻接矩阵中，矩阵的每一行代表一类特征，每一列代表一个特定的帧。


4.根据权利要求1所述基于图卷积网络的偏瘫步态分类方法，其特征在于，步骤S2中，建立步态图的步骤中，D表示degreematrix度矩阵，每一个点D(i，i)代表有多少个点和该点有连接，为了消除近处节点的影响过大，远处节点过小的问题，步态图的建立需...

【专利技术属性】
技术研发人员：郑伟诗，陈禹亘，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44