基于Kinect和图卷积神经网络的偏瘫步态评估方法和介质技术

本发明专利技术涉及基于Kinect和图卷积神经网络的偏瘫步态评估方法和介质，方法包括以下步骤：S1：通过Kinect相机采集患者的步态视频数据；S2：根据S1获取的步态视频数据提取人体骨架的关节点空间坐标，并进行数据预处理，获取步态特征图，步态特征图包括关节位置特征图、运动速度特征图、骨骼特征图和重心特征图；S3：将S2获取的步态特征图输入预先构建并训练好的评估网络模型中，获取量表得分；S4：获取量表评分准则，根据量表评分准则和S3获取的量表得分对患者的偏瘫步态进行等级划分。与现有技术相比，该发明专利技术能够快速精准的实现对偏瘫患者的步态评估，并对偏瘫患者的偏瘫程度划分等级。并对偏瘫患者的偏瘫程度划分等级。并对偏瘫患者的偏瘫程度划分等级。

【技术实现步骤摘要】
基于Kinect和图卷积神经网络的偏瘫步态评估方法和介质


[0001]本专利技术涉及步态分析的
，尤其是涉及基于Kinect和图卷积神经网络 的偏瘫步态评估方法和介质。

技术介绍

[0002]偏瘫是脑卒中最常出现的疾病类型，运动功能障碍是偏瘫患者最常出现的临 床症状，恢复其步行功能是迫切需要解决的问题之一。在临床康复中，通过对偏瘫 步态进行分析获取定量的步态信息，可为揭示异常步态原因、矫正异常步态、制定 康复治疗计划以及评估康复干预效果提供依据。大多数临床医生在对偏瘫患者的步 态评估中采用的是主观观察和量表评分两种手段，但是带有个人主观差异性的观察 评估在临床治疗中并不够可靠，而量表评分提供的关于患者日常运动能力的信息， 也常被认为不客观以及对患者病情的改变评价不够敏感。
[0003]现有的智能偏瘫步态评估大都是基于步态参数特征进行，通过深度相机或身 上佩戴的传感器获取到的数据计算步长、步速等特征，并使用传统机器学习算法计 算出特征分类的准确性，从而实现偏瘫步态的识别与评估。由于现有技术需要动作 捕捉设备或者佩戴身体上的传感器，导致目前的步态评估系统受环境和场地限制较 大，且评估过程繁琐，需要的成本较高。
[0004]如文献“Random forest
–
based classsification and analysis of hemiplegia gait usinglow
‑
cost depth cameras”(Luo,G.,Zhu,Y.,Wang,R.et al.Med Biol Eng Comput 58, 373
–
382(2020))所述，其使用Kinect相机获取人体关节点坐标并计算出步长、步 速等步态特征，通过构建随机森林模型对偏瘫步态进行分类并得到不同步态特征的 重要性排序，此方法能够对偏瘫步态进行识别但不能评估其偏瘫的严重程度。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供基于Kinect和图 卷积神经网络的偏瘫步态评估方法和介质，该专利技术能够快速精准的实现对偏瘫患者 的步态评估，并对偏瘫患者的偏瘫程度划分等级。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]根据本专利技术的一个方面，本专利技术提供一种基于Kinect和图卷积神经网络的偏 瘫步态评估方法，包括以下步骤：
[0008]S1：通过Kinect相机采集患者的步态视频数据；
[0009]S2：根据S1获取的步态视频数据提取人体骨架的关节点空间坐标，并进行数 据预处理，获取步态特征图，所述步态特征图包括关节位置特征图、运动速度特征 图、骨骼特征图和重心特征图；
[0010]S3：将S2获取的步态特征图输入预先构建并训练好的评估网络模型中，获取 量表得分；
[0011]S4：获取量表评分准则，根据量表评分准则和S3获取的量表得分对患者的偏 瘫步态进行等级划分。
[0012]优选地，所述重心特征图的重心特征集通过各身体节段的质心位置获取，描述 所述重心特征集的公式为：
[0013]G＝{g
t
|t＝1,2,
…
T
in
}
[0014][0015]式中，g
t
为第t帧序列的重心坐标，g
t
，
w
为第t帧序列的三维重心坐标， x,y,z分别为关节点在空间坐标系下x轴、y轴和z轴的坐标值，w∈{x,y,z} 为关节点的三维坐标点，m
j
为第j身体节段的质量；M为15个身体节段的总质 量。
[0016]优选地，所述S2包括以下步骤：
[0017]S2.1：根据步态视频数据提取人体骨架的关节点空间坐标，删除步态视频数据 中的无用帧和未检测到完整骨架的帧，保留其余数据为包含视频帧数的时空坐标序 列；
[0018]S2.2：根据时空坐标序列获取步态特征图，步态特征图包括关节位置特征图、 运动速度特征图、骨骼特征图和重心特征图。
[0019]优选地，所述评估网络模型基于图卷积神经网络构建。
[0020]优选地，所述评估网络模型包括四个输入分支和一个融合分支，四个所述输入 分支的输入分别为关节位置特征图、运动速度特征图、骨骼特征图和重心特征图， 将四个所述输入分支的输出进行融合，作为所述融合分支的输入。
[0021]优选地，每个所述输入分支由输入到输出依次包括批归一化层、初始化层和两 个图卷积层，其中，所述批归一化层用以快速收敛数据，所述初始化层用以实现数 据到特征的转换，所述图卷积层用以进行新特征的提取。
[0022]优选地，所述融合分支由输入到输出依次包括两个图卷积层、全局平均层和全 连接层。
[0023]优选地，所述图卷积层包括一个有序的空间图卷积层和多个时间卷积层，且每 个图卷积层均设有注意力模块。
[0024]优选地，描述所述注意力模块的公式具体为：
[0025][0026][0027]式中，f
in
和f
out
分别为输入特征图和输出特征图，为连接操作，和
⊙
分别 为频域外积和元素乘积操作，pool
t
(
·
)和pool
v
(
·
)分别为在帧维度和关节点维度的平 均池化操作，θ和σ为两个激活函数，W，W
v
，W
t
均为训练参数，f
inner
为单个分支 所得的特征向量。
[0028]根据本专利技术的另一个方面，本专利技术提供一种计算机可读存储介质，包括供电子 设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执 行如上任一所述基于Kinect和图卷积神经网络的偏瘫步态评估方法的指令。
[0029]与现有技术相比，本专利技术具有以下优点：
[0030]1、本专利技术提供的一种基于Kinect和图卷积神经网络的偏瘫步态评估方法通过 采用Kinect相机采集患者的步态视频数据，设备小，成本低，不受环境限制，解 决现有技术采
用动作捕捉设备或者佩戴身体上的传感器导致的受限和成本较高的 问题。
[0031]2、本专利技术提供的一种基于Kinect和图卷积神经网络的偏瘫步态评估方法通过 获取患者的关节位置特征图、运动速度特征图、骨骼特征图和重心特征图，并将这 些特征图输入评估网络模型获取量表得分，根据量表得分评估患者的偏瘫等级，解 决了现有技术中能够对偏瘫步态进行识别但不能评估其偏瘫的严重程度的问题。
附图说明
[0032]图1为本实施例提供的一种基于Kinect和图卷积神经网络的偏瘫步态评估方 法的流程示意图。
[0033]图2为图1所示实施例的评估网络模型的网络结构示意图。
[0034]图3为图1所示实施例的图卷积层的网络结构示意图。...

【技术保护点】

【技术特征摘要】
1.一种基于Kinect和图卷积神经网络的偏瘫步态评估方法，其特征在于，包括以下步骤：S1：通过Kinect相机采集患者的步态视频数据；S2：根据S1获取的步态视频数据提取人体骨架的关节点空间坐标，并进行数据预处理，获取步态特征图，所述步态特征图包括关节位置特征图、运动速度特征图、骨骼特征图和重心特征图；S3：将S2获取的步态特征图输入预先构建并训练好的评估网络模型中，获取量表得分；S4：获取量表评分准则，根据量表评分准则和S3获取的量表得分对患者的偏瘫步态进行等级划分。2.根据权利要求1所述的一种基于Kinect和图卷积神经网络的偏瘫步态评估方法，其特征在于，所述重心特征图的重心特征集通过各身体节段的质心位置获取，描述所述重心特征集的公式为：G＝{g
t
|t＝1,2,
…
，T
in
}式中，g
t
为第t帧序列的重心坐标，g
t，w
为第t帧序列的三维重心坐标，x,y,z分别为关节点在空间坐标系下x轴、y轴和z轴的坐标值，w∈{x,y,z}为关节点的三维坐标点，m
j
为第j身体节段的质量；M为15个身体节段的总质量。3.根据权利要求1所述的一种基于Kinect和图卷积神经网络的偏瘫步态评估方法，其特征在于，所述S2包括以下步骤：S2.1：根据步态视频数据提取人体骨架的关节点空间坐标，删除步态视频数据中的无用帧和未检测到完整骨架的帧，保留其余数据为包含视频帧数的时空坐标序列；S2.2：根据时空坐标序列获取步态特征图，步态特征图包括关节位置特征图、运动速度特征图、骨骼特征图和重心特征图。4.根据权利要求3所述的一种基于Kinect和图卷积神经网络的偏瘫步态评估方法，其特征在于，所述评估网络模型基于图卷积神经网络构建。5.根据权利要求4所述的一种基于Kinect和图卷积神经网络的偏瘫步态评估方法，其特征在于，所述评估网络模型包括四个输入...

【专利技术属性】
技术研发人员：尹梓名，姜艺，喻洪流，郑建立，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：